Jak zautomatyzować moderację treści generowanych przez modele językowe?

Date: 18.06.2024

Author: Maciej Chmurkowski (https://www.linkedin.com/in/maciejchmurkowski/)

• Jak zautomatyzować moderację treści generowanych przez modele językowe?
• Czym jest RAG (Retrieval Augmented Generation)?
• Jak można w znacznym stopniu ograniczyć moderację do wybranych fragmentów?
• Jak to może wyglądać w praktyce?

Jak zautomatyzować moderację treści generowanych przez modele językowe?

To temat, z którymi mierzymy się w zasadzie od pierwszych modeli wprowadzonych przez OpenAI. Chwilę po początkowym zachwycie popularne stało się hasło - “halucynacje AI”.

I właśnie wtedy uświadomiliśmy sobie, że sztuczna inteligencja nie jest idealnym rozwiązaniem do generowania treści, bo trzeba je moderować (ufaj ale sprawdzaj!).

Chyba, że wprowadzimy RAG*, wtedy układ sił zupełnie się zmienia, ale o tym kiedy indziej.

Czym jest RAG (Retrieval Augmented Generation)?

To proste jak budowa cepa, do tworzenia czy otrzymywania wyników razem z danymi wewnętrznymi danego modelu dostarczamy zewnętrzne informacje,

np. w postaci briefu.

Mimo, iż wykorzystujemy potencjał najnowszych technologii, to moderacja takich artykułów (czy choćby przeczytanie i sprawdzenie) staje się wąskim gardłem. Znów potrzebujemy białka (bez obrazy Panie i Panowie copywriterzy).

Jak można w znacznym stopniu ograniczyć moderację do wybranych fragmentów?

Zacznijmy od sposobu generowania tekstów:

1) Według starej szkoły dzielimy tekst na mniejsze fragmenty np. według nagłówków z outline.

Przypatrzmy się temu promptowi, który dodaję po każdym promtcie zwracającym fragmenty artykułu (sposób na całe artykuły poniżej).

Tak, w tym samym prompcie jeszcze raz proszę go o sprawdzenie tekstu i poprawienie, nawet jeżeli nie zawsze to zrobi (ach te kaprysy) to zabezpieczamy się jeszcze 4 rzeczami:

flaws_list - lista wad i błędów logicznych (do wykorzystania np. w kolejnym promptcie w celu poprawy) outdate_probability - procentowe prawdopodobieństwo, że dana tematyka, dane mogą być nieaktualne replace_examples - flaga, która oznacza, że trzeba podmienić przykłady na prawdziwe lub aktualne (zauważyłem to, kiedy w briefie była wzmianka o case study - model tworzył je bardzo dobrze - tylko nie prawdziwe, łącznie z nazwami firm) examples_to_replace - lista rzeczy, które warto sprawdzić czy wymagają poprawy (łatwiej będzie je znaleźć)

Spróbujmy prostego promptu, bez briefu:

Dostajemy output:

Warto zwrócić uwagę na poprawkę treści według “flaws_list”. Uwagi nie tylko zostały wskazane, ale też zastosowane.

W zależności jak dalej przetwarzamy tekst w naszym procesie, możemy bazodanowo oznaczyć te fragmenty, które procentowo (np. ponad 50) mają zdefiniowane prawdopodobieństwo nieaktualnych danych albo zero-jedynkowo wymagają podmiany danych lub przykładów.

Dalej już prosta droga, żeby do moderacji w prostym CMS wyświetlić nie cały artykuł, ale tylko jego części (zapytaj swojego DEV`a).

P.S. Żeby być jeszcze bardziej dokładnym, możemy dodać jeszcze jedno oznaczenie:

"hallucination_probability" - percentage of probability that text or data can be outdated or there is any AI hallucination

jako osobną pozycję - ale to warto wypróbować już na swoich danych.

2) Generowanie cały artykułów/treści bez podziału na fragmenty.

Metodologia jest podobna, ale dodatkowo poprośmy go o wstawienie komentarzy html:

<!--moderate–> <!--/moderate–> oraz <!--examples–> <!--/examples–>

w generowany artykuł.

To wymaga prostego parsera, który do CMS wybierze tylko oznaczone tymi komentarzami fragmenty.

Prompt:

Output:

Na potrzeby tego opracowania bazujemy na prostych przykładach, które mają Wam pomóc w zupełnie innym zrozumieniu możliwości sztucznej inteligencji. Metoda ta sprawdziła się na setkach generowanych artykułów.

Jak to może wyglądać w praktyce?

Podobnie jest z danymi w wykresach, bo kto mierzył się z API GPT-4 lub niższych ten w cyrku się nie śmieje. Godziny poświęcone na dopracowywanie promptów pójdą na marne, bo kaprysy AI nigdy się nie skończą. Ale o tym w następnym odcinku :)