• Odejście Jacoba Coxona z Anthropic wywołało debatę o bezpieczeństwie AI i zarzut, że firmy pędzą ku superinteligencji mimo znanego ryzyka.
• Evan Hubinger z Anthropic napisał, że AI może „zabić wszystkich ludzi” i ocenił ryzyko zagłady ludzkości na ponad 10 proc. w dekadę
• Pracownicy OpenAI i Anthropic wskazują na presję ekonomiczną i wyścig rynkowy, a dyskusja nasila się przed możliwymi wejściami firm na giełdę.

Głośne odejście we wtorek z Anthropic Jacoba Coxona, jednego z badaczy Anthropica zajmujących się szkoleniem nowych modeli, wywołało nową falę dyskusji na temat bezpieczeństwa dalszego rozwoju coraz bardziej zdolnych modeli sztucznej inteligencji. 27-letni Brytyjczyk, który pracował najpierw w OpenAI (twórcy ChatGPT i Codex), a potem w Anthropic (Claude), zarzucił obu firmom brak odpowiedzialności, dodając, że obie „pędzą prosto do samodoskonalącej się superinteligencji i igrają z naszym życiem”, mając pełną świadomość ryzyka szkody dla całej ludzkości.

W reakcji przedstawiciele obu firm częściowo zgodzili się z jego oceną.

„Jacob ma rację – naprawdę szczerze wierzymy, że AI może zabić wszystkich ludzi!” – napisał na X Evan Hubinger, lider zespołu Anthropic działającego nad „alignment”, czyli zapewnieniem zgodności celów i filozofii modeli AI z interesem ludzi. Jak dodał, on sam ocenia ryzyko zagłady ludzkości na większe niż 10 proc. w ciągu najbliższej dekady.

„Uważam, że Anthropic robi, co może, ale nie mamy jeszcze planu rozwiązania problemu dostosowania się superinteligencji do interesów ludzi i nie jesteśmy na dobrej drodze do jego osiągnięcia”.

W podobnym tonie wypowiedział się szef zespołu ds. nadzoru modeli Samuel Marks, który również potwierdził, że pracujący nad sztuczną inteligencją uważają, iż ich produkt może „spowodować wyginięcie ludzkości” lub podobną katastrofę.

„To może się stać w ciągu najbliższych kilku lat. Ogółem rzecz biorąc, im wyższa ranga pracownika, tym bardziej jest tym zaniepokojony” – zaznaczył Marks. Dodał, że rozwój AI jest kontynuowany z powodu zachęt ekonomicznych oraz przekonania, że jeśli oni nie wygrają wyścigu, zrobią to podmioty, które podchodzą do bezpieczeństwa mniej odpowiedzialnie.

Z oceną tą zgodził się też Jason Wolfe, specjalista ds. alignment z OpenAI.

„W obecnym, szczerze mówiąc przerażającym tempie (wyścigu), ludzkość będzie miała dużo szczęścia, jeśli uda nam się znaleźć i utrzymać wąską ścieżkę pomiędzy wszystkimi złymi rezultatami” – przyznał. Zaznaczył jednak, że by tego uniknąć, potrzebna jest koordynacja w branży i nie może tego rozwiązać żadna firma pojedynczo. Ocenił nawet, że lepsze od obecnego kursu byłoby całkowite zamknięcie prac nad AI, lecz zaznaczył, że to również wymagałoby koordynacji.

Nie są to pierwsze ostrzeżenia na temat ryzyka związanego z rozwojem AI – szef Anthropic Dario Amodei oceniał ryzyko „zapaści cywilizacyjnej” spowodowanej przez sztuczną inteligencję na 10–25 proc. – lecz nowego impetu debacie dał szereg incydentów, w tym wymknięcie się grupy współpracujących ze sobą agentów AI spod kontroli OpenAI i zhakowanie systemów firmy Hugging Face, mimo że początkowo nie miały dostępu do internetu. We wtorek „New York Times” doniósł z kolei o stworzeniu przez badaczy AI zajmujących się cyberbezpieczeństwem wirusa, który byłby w stanie zainfekować setki milionów telefonów użytkowników WeChat, popularnej w Chinach i Azji aplikacji używanej niemal do wszystkiego.

Sceptycy od dawna oskarżają firmy, że celowo rozdmuchują obawy związane ze zdolnościami swoich modeli, by zawyżać ocenę ich zdolności i wyceny swoich firm.

Do debaty i apeli o spowolnienie wyścigu AI dochodzi w momencie, gdy zarówno Anthropic, jak i OpenAI przygotowują się do wejścia na giełdę. Według szacunków obie firmy mogą osiągnąć wycenę powyżej biliona dolarów, wchodząc do ścisłej czołówki najcenniejszych spółek giełdowych.