Polityka moderacji i progi: jak działa ALLOW, REVIEW, BLOCK
Model ocenia treść, a polityka decyduje, co z tą oceną zrobić. Rozdzielenie tych dwóch rzeczy pozwala zmieniać zasady bez przebudowy całego systemu.
- ALLOW publikuje, REVIEW kieruje do człowieka, BLOCK zatrzymuje treść.
- Progi ustawiasz pod pojemność zespołu i koszt pomyłki.
- Zmiana progu nie wymaga ponownego trenowania modelu.
Trzy decyzje
ALLOW: treść jest w porządku z wystarczającą pewnością, więc publikujesz ją automatycznie.
REVIEW: model nie jest pewny albo treść jest sporna, więc decyduje człowiek.
BLOCK: treść narusza zasady z wysoką pewnością, więc system ją zatrzymuje.
Zasada jest prosta: automatyzuj oczywiste, eskaluj niepewne.
Ocena pewności to nie decyzja
Model zwraca liczbę opisującą, jak bardzo jest pewny. Sama liczba, na przykład 0,73, nie mówi moderatorowi, co robić. Politykę stanowią progi: od jakiej pewności system sam blokuje, od jakiej sam puszcza, a to, co leży pomiędzy, trafia do człowieka.
Fałszywe alarmy i przeoczenia
Przesunięcie progu zawsze coś kosztuje. Ostrzejszy próg zatrzymuje więcej naruszeń, ale też więcej uczciwych treści. Łagodniejszy przepuszcza więcej, za to zespół widzi mniej fałszywych alarmów. Nie ma progu dobrego dla wszystkich, dlatego liczymy oba rodzaje błędów na Twojej próbce.
Jak dobieramy progi
Zaczynamy od pojemności zespołu: ile przypadków dziennie moderatorzy realnie przejrzą. Potem od kosztu pomyłki: inaczej w opiniach, inaczej w treściach medycznych. Na koniec sprawdzamy ustawienia na próbce i korygujemy.
Bardzo krótkie teksty mają mało informacji, więc zwykle warto kierować je do REVIEW zamiast decydować automatycznie.
Wersje zasad
Każda decyzja jest zapisana razem z wersją zasad, więc po zmianie progu wiesz, która wersja obowiązywała w danym dniu.