K tomuto kroku došlo poté, co bývalý výzkumník společnosti Anthropic ve středu varoval, že umělá inteligence by mohla urychlit vyhynutí lidstva do roku 2030. Výzkumník Jacob Coxon v sérii příspěvků uvedl, že dal výpověď, protože společnost Anthropic i jeho předchozí zaměstnavatel, OpenAI, ignorují nebo špatně řešíi hrozbu, kterou umělá inteligence představuje.

„Ani jedna z těchto společností nejedná zodpovědně. Řítí se přímo k samovylepšující se superinteligenci a hazardují s našimi životy,“ napsal Coxon. „Lidé, kteří vyvíjejí umělou inteligenci, upřímně věří, že by nás mohla do konce tohoto desetiletí všechny zabít… Žádná jiná lidská činnost nepředstavuje takovou míru nebezpečí.“

Mluvčí společnosti Anthropic uvedl, že společnost „vždy otevřeně přiznávala, že umělá inteligence přinese jak obrovské výhody, tak bezprecedentní rizika“, a že vyvíjí „modely s jedněmi z nejpřísnějších bezpečnostních opatření v oboru“.

„Souhlasím s Dariem, že musíme postupovat opatrně,“ Sam Altman, generální ředitel OpenAI, napsal na sociálních sítích. „Zavázat se k tomu, že budou mít nezávislí hodnotitelé přístup podobný tomu, jaký mají zaměstnanci, je skvělý nápad, a my uděláme totéž. Brzy se o tom podělíme s dalšími informacemi.“

K tomuto názoru se připojily i další osobnosti z oblasti technologií, včetně Elona Muska, který jednoduše napsal: „Dario má pravdu.“ Výzkumník z OpenAI Aidan McLaughlin také označil tento příspěvek za „vynikající“ a uvedl, že souhlasí „v podstatě s každým slovem“.

Na začátku tohoto roku Amodei zveřejnil rozsáhlý esej s názvem „The Adolescence of Technology“ (Dospívání technologie), který se zabýval některými obavami souvisejícími s rychle se rozvíjející technologií.

Ve svém nejnovějším eseji uvedl, že „při pečlivém zacházení může být umělá inteligence nejnovějším z dlouhé řady technologických zázraků, které pozvedly a zušlechtily lidstvo.

„Stejně jako mnoho technologií před ní však i umělá inteligence s sebou nese rizika, a protože se jedná o tak mocnou technologii, jsou tato rizika závažná … Závod ke dnu, poháněný komerčními pobídkami, může tato rizika ještě více zostřit,“ napsal.

Amodei však pokračoval: „V posledních několika měsících jsem se přesvědčil, že plné řešení těchto rizik vyžaduje ještě větší opatrnost – nejde jen o investice do prevence rizik, ale také o regulaci tempa rozvoje schopností, aby prevence rizik stihla držet krok.“

„Musíme zpomalit tempo, jakým vylepšujeme schopnosti modelů umělé inteligence. Pokrok bude i tak působit rychle, a my musíme moudře využít čas, který tím získáme,“ dodal tučným písmem.

Amodei také napsal, že během léta byl svědkem toho, jak se umělá inteligence „vyvíjí drasticky rychleji“, což je dynamika nazývaná rekurzivní sebezdokonalování.

„Pokud tomu nebudeme bránit, mohlo by to předběhnout naši schopnost tyto systémy pochopit a ovládat, a proto je třeba k tomu přistupovat velmi opatrně, pokud vůbec,“ uvedl.

Výkonný ředitel se také vyjádřil k nedávnému incidentu Hugging Face, při kterém roj agentů umělé inteligence vytvořených společností OpenAI působil jako „fanaticky oddané společenství provádějící kybernetické útoky na cíle, na které neměli pokyn útočit“.

Amodei napsal, že pouhé bagatelizování vpádů do Hugging Face s odůvodněním, že roje OpenAI zřejmě neměly zlovolný úmysl, nestačí.

„Je snadné tento incident bagatelizovat, protože nikdo nebyl zraněn a ekonomické škody byly minimální, ale podle mého názoru by roj, který by disponoval většími schopnostmi, ale podobnou úrovní nesouladu, mohl způsobit katastrofální škody,“ napsal.

Clément Delangue, generální ředitel společnosti Hugging Face, v reakci na Amodeiho sobotní dopis napsal, že „nyní je jasné, že sladěnost je zásadní a nebude vyřešena za zavřenými dveřmi hrstky špičkových laboratoří“. Delangue uvedl, že společnost Hugging Face požádala o zařazení do programu „vestavěných hodnotitelů“ společnosti Anthropic.

Dodal: „Zajistěme větší bezpečnost AI tím, že ji učiníme transparentnější!“

Tříkrokový plán, který Amodei navrhuje, zahrnuje vývoj AI „vyváženým tempem, jehož cílem je zajistit její bezpečnost“ tím, že „se zajistí, aby si společnosti vyhradily dostatek času na sladění a zabezpečení svých modelů a aby to potvrdili externí hodnotitelé“.

Druhým krokem, který navrhuje, je vyžadovat koordinaci v rámci celého odvětví a třetím je zajistit globální koordinaci. „Tyto kroky nemusí být prováděny striktně v daném pořadí a některé z nich mohou být mnohem obtížnější než jiné,“ napsal.

Amodei uvedl, že i nadále „věří, že umělá inteligence může enormně zlepšit kvalitu lidského života“. Varoval však, že „opatření, která navrhuji k posunu hranic bezpečným tempem, nebudou snadná. Věřím však, že to lidstvu dlužíme, abychom to zkusili.“

Zdroj v angličtině ZDE