Co znaczy „nauczyć model na naszych danych”

Nie wrzucasz pliku CSV i nie klikasz „trenuj”. Najpierw porządkujemy dane, potem trenujemy, potem ustawiamy progi.

„Nauczyć model na naszych danych” to nie jest wrzucenie pliku CSV i kliknięcie „trenuj”. Zaczynamy od uporządkowania źródeł: usuwamy duplikaty, łączymy kanały i sprawdzamy, czy etykiety rzeczywiście odzwierciedlają decyzje, które podejmują Wasi moderatorzy.

Potem budujemy zestaw testowy z prawdziwego ruchu: krótkie komentarze, dłuższe wpisy, treści graniczne i przypadki, w których wcześniej coś poszło nie tak. Bez tego wyniki na papierze wyglądają dobrze, a model na produkcji się potyka.

Trening to dopiero połowa pracy. Druga połowa to progi: gdzie kończy się ALLOW, a zaczyna REVIEW i BLOCK, i co te progi robią z obciążeniem zespołu. Szukamy rozsądnego kompromisu, a nie najlepszego wyniku w jednej metryce.

Po wdrożeniu przypadki z kolejki REVIEW oraz błędy (fałszywe alarmy i przeoczenia) wracają do kolejnych poprawek modelu. Model lepiej rozumie wtedy język i sposoby nadużyć w Twojej firmie.

Model, który po wdrożeniu przestaje się uczyć, szybko się starzeje. Dlatego poprawki są częścią usługi.