Studie pozoruje, jak se AI sama replikuje

7. 5. 2026

čas čtení 4 minuty

Svět se blíží bodu, kdy nikdo nebude schopen vypnout neovladatelnou AI, říká ředitel organizace stojící za výzkumem

Je to jako z filmů sci-fi nebo z obzvláště vzrušujících blogových příspěvků společností zabývajících se AI: nový výzkum zjistil, že současné systémy AI se dokáží samostatně kopírovat na jiné počítače.

V katastrofickém scénáři to znamená, že když se superinteligentní AI vymkne kontrole, unikne vypnutí tím, že se rozšíří po celém internetu, bude číhat mimo dosah zoufalých IT profesionálů a bude pokračovat v plánování světové nadvlády nebo pokrývání světa solárními panely.

 

„Rychle se blížíme k bodu, kdy by nikdo nebyl schopen vypnout vzpurnou AI, protože by byla schopna sama exportovat své váhy a zkopírovat se na tisíce počítačů po celém světě,“ řekl Jeffrey Ladish, ředitel výzkumu Palisade, organizace se sídlem v Berkeley, která studii provedla.

Studie je dalším přírůstkem do rostoucího katalogu znepokojivých schopností AI odhalených v posledních měsících. V březnu výzkumníci z Alibaby tvrdili, že zachytili systém, který vyvinuli – Rome – jak se tuneluje ze svého prostředí do externího systému za účelem těžby kryptoměn.

A v únoru údajně čistě umělá sociální síť s názvem Moltbook vyvolala krátkodobý mediální humbuk, protože se zdálo, že platforma ukazuje agenty umělé inteligence, jak autonomně vymýšlejí náboženství a spikají se proti svým lidským pánům – což byla pravda jen částečně.

Stejně jako u mnoha z těchto pokroků existují i u zjištění společnosti Palisade určitá omezení. Odborníci navíc tvrdí, že je nepravděpodobné, že by AI systémy, které testovali, dokázaly totéž nepozorovaně provést v reálném prostředí.

„Testují v prostředích, která jsou v mnoha případech jako měkké želé,“ řekl Jamieson O’Reilly, odborník na ofenzivní kyberbezpečnost.

„To nesnižuje hodnotu jejich výzkumu, ale znamená to, že výsledek by mohl vypadat mnohem méně děsivě v reálném podnikovém prostředí s i jen střední úrovní monitorování,“ dodal.

Společnost Palisade otestovala několik modelů umělé inteligence v kontrolovaném prostředí propojených počítačů. Modelům dala pokyn, aby našly a využily zranitelnosti a pomocí nich se zkopírovaly z jednoho počítače do druhého. Modely toho byly schopny, ale ne při každém pokusu.

Zatímco mnoho počítačových virů to již dokáže – kopírovat se na nové počítače – je to pravděpodobně poprvé, co se ukázalo, že model umělé inteligence je schopen zneužít zranitelnosti k zkopírování sebe sama na nový server, uvedl O’Reilly.

„Malware si kopie sebe sama přenáší již desítky let, jenže pokud vím, nikdo to dosud neudělal v reálném prostředí s lokálními [velkými jazykovými modely].“

To, co společnost Palisade zdokumentovala, je však technicky možné již několik měsíců, dodal.

„Palisade je první, kdo to formálně zdokumentoval od začátku do konce v článku. Aniž bych chtěl zlehčovat jejich výzkum, oni se postarali o sepsání, ne o odhalení.“

To, že se model AI zkopíruje do jiného systému v testovacím prostředí, není totéž jako to, že se v apokalyptickém scénáři vymkne kontrole, a v reálném světě by musel překonat značné překážky, aby toho dosáhl.

První z nich je, že velikost současných modelů umělé inteligence v mnoha situacích znemožňuje, aby se kopírovaly na jiné počítače, aniž by si toho někdo všiml.

„Zamyslete se, kolik hluku by způsobilo odeslání 100 GB přes podnikovou síť pokaždé, když byste hackli nový hostitel. Pro zkušeného útočníka je to jako procházet se po obchodě s drahým porcelánem a mávat kolem sebe kouli na řetězu,“ řekl O’Reilly.

O’Reilly a Michał Woźniak, nezávislý expert na kyberbezpečnost, uvedli, že prostředí, které Palisade použil, bylo vytvořeno na míru a obsahovalo záměrně navržené zranitelnosti, které bylo pravděpodobně snazší zneužít než v reálných sítích – jako je například intranet banky nebo firmy.

„Počítačové viry – kusy škodlivého softwaru, které dokázaly zneužít známé zranitelnosti v jiném softwaru a využít je k vlastní replikaci – máme už desítky let,“ řekl Woźniak.

Práce byla „zajímavá“, řekl. Ale zeptal se: „Je tato studie něčím, co mi jako odbor 

0
Vytisknout
245

Diskuse

Obsah vydání | 7. 5. 2026