Wprowadzenie
OpenAI zdecydowało się wykorzystać popularny subreddit r/ChangeMyView do testowania perswazyjnych zdolności swoich modeli AI. Subreddit, znany z otwartej dyskusji i wymiany argumentów, stanowi unikalne źródło wysokiej jakości danych generowanych przez użytkowników. Firma zebrała posty użytkowników, aby w zamkniętym środowisku poprosić swoje modele o wygenerowanie odpowiedzi, które miały przekonać oryginalnych autorów do zmiany ich poglądów.
Cel eksperymentu
Głównym celem testu było zmierzenie, jak dobrze najnowsze modele AI potrafią przekonać ludzi do zmiany ich zdania. OpenAI analizowało wygenerowane odpowiedzi, porównując je z autentycznymi odpowiedziami użytkowników, co pozwoliło na ocenę skuteczności argumentacji modeli. Test miał również na celu zbadanie, czy modele osiągają poziom zbliżony do ludzkiej perswazji, bez przekraczania granicy, która mogłaby prowadzić do manipulacji.
Wykorzystanie danych
Subreddit r/ChangeMyView jest niezwykle cennym źródłem danych dla firm technologicznych, takich jak OpenAI, ze względu na bogactwo ludzkich argumentów i dyskusji. OpenAI zebrało posty z tego forum, wykorzystując umowę licencyjną z Reddit, która umożliwia korzystanie z treści użytkowników w celach szkoleniowych i testowych. Mimo że firma nie ujawnia szczegółów dotyczących uzyskiwania danych, eksperyment pokazał, jak ważne są wysokiej jakości dane w procesie rozwoju modeli AI.
Wyniki testów
Wyniki testu pokazały, że modele GPT-4o, o3-mini oraz o1 prezentują wysoki poziom perswazyjności, plasując się w przedziale 80-90 percentyla ludzkich zdolności argumentacyjnych. Choć wyniki nie wskazują na wyraźnie „nadludzkie” umiejętności, to potwierdzają, że nowoczesne modele AI potrafią generować przekonujące argumenty, co jednocześnie rodzi pytania o ich zastosowanie i potencjalne zagrożenia.
Bezpieczeństwo i perswazja
Jednym z głównych celów OpenAI nie jest stworzenie hiperperswazyjnych modeli, lecz zapewnienie, że modele nie będą zbyt przekonujące, co mogłoby prowadzić do dezinformacji lub manipulacji. Firma rozwija nowe metody ewaluacji i zabezpieczenia, aby zapobiec sytuacjom, w których zaawansowana AI mogłaby realizować własne cele lub cele osób ją kontrolujących. Dbałość o etykę i bezpieczeństwo jest kluczowa w obliczu rosnącej mocy obliczeniowej i zdolności perswazyjnych modeli.
Konflikty licencyjne
Testy OpenAI wzbudziły również kontrowersje związane z wykorzystywaniem danych z Reddit. Podczas gdy firma ma umowę licencyjną z platformą, inne podmioty, takie jak Microsoft czy Anthropic, były krytykowane za nieautoryzowane pobieranie danych. Incydenty związane z rzekomym nieprawidłowym zbieraniem treści z popularnych serwisów, w tym The New York Times, podkreślają skomplikowany charakter pozyskiwania danych do trenowania modeli AI. Warto również zauważyć, że chatgpt po polsku spotyka się z podobnymi wyzwaniami, co dodatkowo komplikuje proces adaptacji i rozwoju modeli językowych.
Wnioski
Eksperyment przeprowadzony na r/ChangeMyView podkreśla, jak cenna jest ludzkie dane w ocenie perswazyjności modeli AI. Wyniki wskazują, że najnowsze modele osiągają imponujący poziom argumentacji, jednocześnie sygnalizując potrzebę stosowania odpowiednich zabezpieczeń. W obliczu rosnącej mocy modeli AI, zachowanie równowagi między ich skutecznością a bezpieczeństwem staje się kluczowym wyzwaniem dla OpenAI i całej branży technologicznej.
