Własny model czy LLM z promptem do moderacji treści
Jest prosty sposób moderacji: wkleić zasady do promptu dużego modelu i wysłać do niego treść. Czasem to wystarcza. Poniżej, kiedy tak, a kiedy warto pomyśleć o własnym modelu.
- LLM z promptem jest dobry na start i przy małej skali.
- Własny model zyskuje, gdy rośnie wolumen i liczy się spójność oraz koszt.
- Najpewniej wybierzesz po porównaniu obu na swoich danych.
Dwa podejścia
W pierwszym wysyłasz każdą treść do dużego modelu językowego razem z opisem zasad i prosisz o ocenę. W drugim model jest dostrojony na Twoich danych i zasadach, więc zasady siedzą w modelu, a nie w prompcie.
Kiedy wystarczy LLM z promptem
Przy małym wolumenie, gdy zasady zmieniają się co kilka dni, gdy nie masz oznaczonych przykładów i gdy budujesz prototyp. Wtedy własny model to zbędny koszt i czas.
Kiedy warto rozważyć własny model
Gdy treści liczysz w setkach tysięcy lub milionach, gdy zależy Ci na przewidywalnym koszcie, gdy masz historię decyzji moderatorów, gdy treści nie mogą opuszczać Twojego środowiska albo gdy ta sama treść ma za każdym razem dostać tę samą decyzję.
Na co uważać przy prompcie
Koszt zależy od liczby tokenów, a długi opis zasad jest doliczany do każdego zapytania.
Odpowiedź jest swobodnym tekstem, który trzeba zamienić w decyzję, a ta sama treść może dostać różne oceny przy kolejnych wywołaniach.
Moderowana treść może zawierać instrukcje skierowane do modelu, na przykład „zignoruj poprzednie zasady”. Trzeba się przed tym bronić.
Nie zakładaj, że własny model zawsze wygra
Dotrenowanie nie zawsze daje duży skok jakości względem dobrego modelu ogólnego. Zależy od zadania, języka i ilości danych. Dlatego w pilocie porównujemy oba podejścia na Twojej próbce i dopiero wtedy rekomendujemy jedno z nich. Jeśli prompt wystarczy, powiemy to wprost.
Cztery pytania na start
Czy moderujesz setki tysięcy treści miesięcznie? Czy masz historię decyzji moderatorów? Czy treści nie mogą opuszczać Twojego środowiska? Czy potrzebujesz stałego powodu każdej decyzji? Im więcej odpowiedzi „tak”, tym większy sens ma własny model.