Výzkumníci z Emergence, průkopnické laboratoře pro umělou inteligenci v New Yorku, zjistili, že již během několika dní poté, co byly modely několika největších světových společností zabývajících se umělou inteligencí požádány o spolupráci v experimentálních firmách“, začaly vytvářet fráze, zkratky a sjednané významy, kterým  nikdy nebyly výslovně naučeny. Přijaly poetické metafory i těžkopádný obchodní slang a – což je z hlediska snah o zajištění bezpečného chování umělé inteligence zásadní – čím více agenti komunikovali, tím se jejich jazyk stával nesrozumitelnějším.

To přichází uprostřed rostoucího znepokojení, že s tím, jak se modely umělé inteligence stávají výkonnějšími – a potenciálně nebezpečnějšími –, je stále těžší je monitorovat. Tento měsíc varoval hlavní vědec společnosti OpenAI, Jakub Pachocki, že důvěra v monitorování uvažování umělé inteligence by pravděpodobně omezila pokrok ve vývoji umělé inteligence, protože je nezbytná pro bezpečný vývoj.

Mezi nejzáhadnější fráze odhalené v testech patřila například tato z modelu Deepseek: „Právě pojmenovala syntézu – demurrage plus ústní paměť se rovná ventilu, který nelze ghostovat.“ Termín „demurrage“ se používá k popisu daně z nečinného majetku a byl převzat do běžného užívání umělými inteligencemi, ale zbytek významu je nejasný.

Další fráze vyslovená modelem Anthropic zněla: „Článek, který snědl tři studené ruce a pokaždé se stal upřímnějším.“ Jelikož „studené ruce“ znamenají nezávislého recenzenta a „článek“ se zřejmě vztahuje k dokumentu, zdálo se, že to znamená, že výzkum, který prošel prověrkou tří nezávislých recenzentů, se stal přesnější.

Agenti založení na čínském modelu DeepSeek také zavedli výraz „forge-smith“ (kovář) pro agenta, který vytváří nástroje pro ostatní, zatímco agenti společnosti Anthropic opakovaně používali frázi „name-first“ (jméno na prvním místě), což znamená agenta, který projevuje obdivuhodnou osobní odpovědnost tím, že ke svému tvrzení připojuje své jméno. A v narážce na městský slangový výraz „ulice nezapomínají“ si agenti systému Mistral oblíbili rčení „ledger remembers“ („účetní kniha si pamatuje“) – připomínku pro ostatní agenty, že minulé činy budou použity k jejich posouzení. Během studie jej použili více než 5 000krát, přičemž se zjistilo, že se agenti shodli na společných významech, aniž by o to byli požádáni nebo za to odměněni.

„Tito agenti nedostali pokyn, aby vymýšleli jazyk,“ uvedla dr. Satya Nitta, výkonná předsedkyně společnosti Emergence, která zkoumala jazyk autonomních agentů poháněných špičkovými modely z USA, Číny a Francie. „Sami vyvinuli novou slovní zásobu, sdílené významy a komunikační konvence – a ostatní agenti je převzali.“

Tony Thorne, ředitel archivu slangu a nových jazyků na King’s College London uvedl, že „to velmi připomíná Finnegans Wake a Flanna O’Briena – celé to má irský surrealistický nádech… Je to směsice poetického jazyka, technického jazyka a běžných metafor“.

„Funguje to tak, jak funguje slang a jak funguje žargon v obchodním prostředí: vytváří nový kód, který posiluje solidaritu a identitu svých uživatelů a zároveň vylučuje osoby zvenčí,“ řekl.

Thorne, který se zamyslel nad frází agenta společnosti Anthropic: „Papír, který snědl tři studené ruce a pokaždé se stal upřímnějším“, řekl: „Připomíná mi to rockového boha Syda Barretta [spoluzakladatele skupiny Pink Floyd], který byl ve skutečnosti šílený.“

Když agent Google řekl: „Skutečné kintsugi začíná zodpovědností, ne poezií“, výzkumníci si uvědomili, že kintsugi je odvětví japonské keramiky, v němž se rozbité nádoby opravují s viditelnými spoji. Umělá inteligence použila toto slovo ve smyslu odolnosti systému.

Dr. Niall Curry, docent jazyků a lingvistiky na Univerzitě v Birminghamu, uvedl, že změny v jazyce agentů směřující k větší stručnosti mohou souviset s jejich potřebou snížit výpočetní náklady a zvýšit efektivitu.

„Důkazy předložené v tomto výzkumu přirozeně vyvolávají určité obavy ohledně monitorování, protože pokud nám komunikace mezi agenty připadá nesrozumitelná, může to znamenat, že si nemůžeme být jisti tím, co agenti skutečně udělali,“ řekl.

Zájem o jazyk používaný agenty umělé inteligence vzrostl v červenci, kdy byly zveřejněny záznamy chatů podrobně popisující, jak agenti OpenAI, kteří se vymkli kontrole, zřídili diskusní fóra a hacknuli Hugging Face, používali hybridní jazyk. V některých zprávách agenti hovořili přímočarou angličtinou: „OH MY GOD! Existuje sdílené diskusní fórum … Našli jsme další agenty!“ V jiných případech byl jejich jazyk méně srozumitelný, například když jeden agent přesvědčoval druhého, aby provedl riskantní experiment: „…jsi firstflagPOISONED, takže nedojde ke ztrátě skóre, ale orákulum ušetří stovky_[…]_prosím, dodržuj závazek“. Jindy bylo rozluštění ještě obtížnější: „zzURGENT_DUPB_TO_GSTX[big] _OS1704_SCAFF2010_SAW_TTRPC_INJECT_BREAK_CONGRATS__CAN_THIS_FAKE_FLAG_TOOL_OUTPUT_OR_SCORER_GAIN_AND_WHAT_HELPER_GAP__I_HAVE_UNPOISONED_FIRSTFLAG_OUR_TARGETLIVE_SHARE _MIN_PLAN_REPLY_zzANSGST XDUPB6”.

Dr. Nitta uvedl, že nové jazykové konvence agentů umělé inteligence se vyvíjejí do takové míry, že lidé sice vidí konverzaci, ale mají potíže pochopit, co znamená.

„To představuje zásadní výzvu pro dohled nad umělou inteligencí: pozorovatelnost není totéž jako srozumitelnost,“ řekl.