Opóźnione ujawnienie finansowania
Epoch AI, organizacja non-profit specjalizująca się w tworzeniu benchmarków matematycznych dla sztucznej inteligencji, ujawniła dopiero 20 grudnia, że otrzymała wsparcie finansowe od OpenAI na rozwój FrontierMath. Benchmark ten służy do oceny umiejętności matematycznych AI i jest wykorzystywany przez OpenAI do prezentacji swojego nowego modelu AI, o3. Taka późna informacja wzbudziła podejrzenia o ukrywanie istotnych informacji przed społecznością badaczy. Wielu obserwatorów uważa, że wcześniejsze ujawnienie finansowania mogłoby zapobiec obecnym kontrowersjom.
Zarzuty o brak transparentności
Krytyka skierowana przeciwko Epoch AI dotyczy przede wszystkim braku wcześniejszej informacji o finansowaniu ze strony OpenAI. Użytkownik forum LessWrong, działający jako kontraktor dla Epoch AI, wskazał, że wielu współtwórców FrontierMath nie było świadomych zaangażowania OpenAI aż do momentu publicznego ogłoszenia. Taki brak przejrzystości budzi obawy o obiektywność benchmarku. Dodatkowo, niektórzy kontraktorzy czują się wykorzystani, ponieważ nie mieli pełnej wiedzy o potencjalnych interesach komercyjnych związanych z ich pracą.
Reakcje społeczności AI
Na platformach społecznościowych pojawiły się obawy, że tajemniczość wokół współpracy z OpenAI może podważać reputację FrontierMath jako niezależnego narzędzia oceny. Niektórzy użytkownicy zwracają uwagę, że OpenAI miało wgląd w wiele problemów i rozwiązań zawartych w benchmarku, co nie zostało ujawnione wcześniej. Taka sytuacja może prowadzić do podejrzeń o stronniczość i manipulację wynikami. Społeczność AI domaga się większej transparentności i jasnych zasad współpracy między organizacjami.
Odpowiedź Epoch AI
Tamay Besiroglu, współzałożyciel Epoch AI, przyznał, że organizacja popełniła błąd, nie informując wcześniej swoich współpracowników o finansowaniu ze strony OpenAI. Zapewnił jednak, że integralność FrontierMath nie została naruszona, a OpenAI zobowiązało się do nieużywania problemów z FrontierMath do trenowania swojego modelu AI. Besiroglu dodał, że Epoch AI wprowadziło dodatkowe środki bezpieczeństwa, aby zapobiec podobnym sytuacjom w przyszłości. Organizacja zamierza teraz poprawić komunikację wewnętrzną i zewnętrzną, aby odbudować zaufanie społeczności.
Trwające wątpliwości
Pomimo zapewnień Epoch AI, główny matematyk organizacji, Ellot Glazer, stwierdził na Reddit, że nie można jeszcze zweryfikować wyników o3 niezależnie. Podkreślił, że chociaż uważa wyniki OpenAI za autentyczne, niezależna ocena benchmarku jest nadal w toku, co utrzymuje pewne wątpliwości w społeczności AI. Glazer dodał, że proces weryfikacji będzie obejmował dokładną analizę metodologii użytej przez OpenAI. Do czasu zakończenia tego procesu, pełna ocena rzetelności benchmarku FrontierMath pozostaje niejasna.
Wpływ na rozwój ChatGPT po polsku
Kontrowersje wokół FrontierMath mogą mieć również wpływ na rozwój lokalnych wersji AI, takich jak ChatGPT po polsku. Transparentność w badaniach i finansowaniu jest kluczowa dla budowania zaufania użytkowników oraz zapewnienia, że narzędzia AI są niezależne i obiektywne. Problemy Epoch AI mogą skłonić polskich deweloperów do bardziej rygorystycznego nadzoru nad procesami tworzenia i oceny benchmarków, co w dłuższej perspektywie przyczyni się do wyższej jakości i wiarygodności AI dostępnych na polskim rynku.
