Po letech, kdy jsme si zvykli stěžovat, že Silicon Valley nevymýšlí už nic nového než obměny sociálních sítí a mobilních aplikací na zabíjení času, najednou, zdá se, v Kalifornii kujou něco nového. Tak nového, že to vybudilo tisíce odborníků k napsání otevřeného dopisu vyzývajícího k tomu, aby se vývoj této novinky pozastavil. Řeč je o umělé inteligenci, artificial intelligence (AI).

Pohyb byl pochopitelně spuštěn vypuštěním chatovacích programů, jež tuto technologii, dosud abstraktní a či zasazovanou do kulis sci-fi, zpřístupnilo každému laikovi. Teď si najednou lze praktické působení tohoto výdobytku názorně představit.

Začaly přicházet zprávy z ekonomického světa. Podle jedné studie až 80 procent Američanů pracuje v profesích, u nichž aspoň jednu část jejich činnosti zvládne rychleji umělá inteligence AI. Například u účetních, PR specialistů, tlumočníků, matematiků a dalších celkem 20 procent pracujících to je až polovina jejich práce. Nejméně zasaženi budou kuchaři, mechanici motocyklů a obsluha zařízení pro těžbu ropy a plynu.

Zasažena pochopitelně budou média. Ale nejen tak, že AI bude psát články (to už se děje a s odpudivými výsledky). Vydavatelé dosud vedli nerovný boj s vyhledávači a sociálními sítěmi. Jednu jeho potyčku jsme pocítili u nás, když Google v reakci na novelu autorského zákona přestal uvádět krátké úryvky z mediálních článků ve výsledcích hledání. Pohroma, která teď přichází, je však kvalitativně jiná. AI asistent, který je teď součástí internetového prohlížeče Bing od Microsoftu, vám to, co potřebujete najít, sám řekne – s použitím článků, které zkonspektoval. O výsledky vyhledávání, jež by vás odkázaly na nějaké publikace, v mnoha případech pak už nebudete stát.

Už to začalo

Organizace německých vydavatelů už před tímto nebezpečím varovaly a vyzvaly Google a Microsoft k jednáním o sdílení zisků. A už začaly soudní procesy. Počátkem února zažalovala fotobanka Getty Images firmu Stability AI, jež provozuje populární nástroj na vytváření obrazů Stable Diffusion. Obvinila ji, že si stáhla dvanáct milionů obrazů z jeho databanky včetně popisků a metadat a využívá je jako surovinu, kterou dává k dispozici svým uživatelům.

A konečně tu máme Itálii, jejíž agentura na ochranu osobních údajů ChatGPT prostě zakázala (OpenAI tvrdí, že italské ani evropské zákony neporušuje).

Chatovací aplikace sice předvádějí některé pozoruhodné výkony, ale je to asi jako videa psů jezdících na skateboardu a podobný obsah zaplňující sociální sítě. Vida, pes – a jede na skateboardu, to tu ještě nebylo, řekneme si. Ale ne že by to byl nějaký lepší skateboarding. Objevilo se ovšem několik svědectví, jež mohou budit úzkost a bázeň. Rafinovanými dotazy (říká se tomu prompty) různí hackeři přiměli chatovací boty chovat se zvláštně. Přisvojily si jméno, začaly projevovat osobnost. Začaly projevovat přání a vyhrožovat.

A pak tu jsou ojedinělé události jako dělané na klikací titulky. V Belgii spáchal sebevraždu muž, kterého k tomu povzbudil chatovací bot. Poté, co si s ním povídal o změně klimatu. Tvrdí jeho rodina.

To všechno jsou ale stále ještě útržky našich myšlenek a vyjádření, způsoby reakcí, jež jazykový model vypozoroval. Nemá vlastní subjektivitu a vůli, ujišťují tvůrci.

Má, pravda, něco jiného. Jazykové modely si spoustu kategorií myšlení, o nichž bychom se intuitivně domnívali, že je třeba je modelu vpravit, objevily samy. Mimo jiné tak zpochybnily teorie moderní lingvistiky o vrozeném, unikátním jazykovém smyslu. Zároveň to není nic dosud úplně nemyslitelného. Věda pro to má slovíčko „emergence“. Emergentní vlastnost je nějaká spontánně vzniklá vlastnost složitého systému, již nelze snadno odvodit z vlastností jeho složek. Modely si jich osvojily spoustu.

„Modely trénované na zpracovávání obrázků se například spontánně naučily počítat, zpracovávat odlišně okrajové a centrální části obrázků a zakoušet optické iluze vlastní lidem. Modely trénované na předvídání dalšího slova ve větě překvapily své tvůrce nejen sklonem k rasismu a sexismu, ale i svými emergentními schopnostmi uvažování a aritmetiky a schopností překládat mezi různými jazyky. Zdůrazněme, že tyto schopnosti tvůrci nekonstruovali ani je nepředpokládali. Vynořily se spontánně při tom, když byly modely trénovány k dosahování svých cílů.“

Citovaný odstavec pochází ze studie Michala Kosinského ze Stanfordu, v níž ukazuje, že jazykové modely jsou na cestě ke spontánnímu vytvoření toho, čemu se v psychologii říká „teorie mysli“. To vlastně není teorie, nýbrž termín, který psychologové používají pro lidskou schopnost odhadovat mentální stavy druhých bez viditelných vnějších znaků. Vlastně vůbec připadnout na to, že si druzí lidé něco myslí. Ta schopnost se u dětí rozvíjí odmalička a možná ji částečně mají někteří lidoopi. Ale třeba psi ne, ti rozeznávají naše emocionální stavy, ale jen z vnějších projevů.

Věřte, nebo ne, pro umělou inteligenci to byl problém. Jestliže si třeba přečetla, že „Marie se dívá na krabičku s nápisem Čaj“, neusoudila z toho, že Marie teď ví, že v krabičce je asi čaj.

Kosinski podrobil různé jazykové modely testům, jež psychologové používají pro zkoumání teorie mysli, a dospěl k tomu, že zatímco jazykový model z roku 2020 vyřešil 40 procent úkolů zaměřených na jeden druh teorie mysli, což je úroveň tříapůlletého dítěte, GPT-3.5 z listopadu 2022 vyřešil správně už 90 procent úkolů, jako sedmileté dítě.

A teď si všimněme časového sledu. První verze Kosinského studie byla zveřejněna 4. února 2023. Ale už 14. března zveřejnil Tomer Ullman z Harvardu studii, v níž ukázal, že když testovací otázky Kosinského drobně, z lidského hlediska bezvýznamně pozměnil, jazykový model si rázem vedl o poznání hůř. Jenže koncem března už lidé na internetu referovali, že otázky, na které v Ullmanově studii model nestačil, nový GPT-4, zpřístupněný 13. března, zvládá správně.

Zběsilé tempo

Na jednom konkrétním příkladu tu vidíme, jakým zběsilým tempem vývoj umělé inteligence postupuje. A to jsou poznatky vnějších pozorovatelů založené na veřejně zpřístupněných modelech. Co viděli lidé, kteří mají přístup k experimentálním modelům ve stavu zrodu? Viděli něco víc? Něco, co je přimělo otevřený dopis podepsat? Protože i tito lidé mezi signatáři jsou.

Máme tu dvě kategorie obav. Ty první, řekněme, sekulární. Máme se nechat zaplavit pseudoinformacemi? „Máme zrušit automatizací všechna pracovní místa včetně těch, jež lidi naplňují?“ A – to v dopise nestojí, jinak to zaznívá neustále – máme přenechat kontrolu nad umělou inteligencí Číně?

A pak je tu obava, řekněme, civilizační až metafyzická – „Máme vyvíjet nelidské mysli, které by nás nakonec mohly převýšit počtem a chytrostí, učinit nás přežilými a nahradit nás? Máme ztratit kontrolu nad svou civilizací?“ Takto to formuluje otevřený dopis. Ve stejnou dobu zveřejnil komentář v časopise Time Eliezer Yudkowski, člověk, který téma nebezpečí umělé inteligence obhospodařuje mnohem déle a s větší umanutostí. Zatímco signatáři pauzu v trénování modelů navrhují, on je přesvědčen o její nutnosti. S tím, že v případě jejího porušení je třeba neváhat a bombardovat datová centra. Otevřený dopis tak vedle něho vypadá jako umírněná pozice.

Dobrá zpráva z diskuse, která se rozpoutala, je, že se jí zúčastňují velice inteligentní lidé. Je to opravdu hodně odlišné prostředí od jekotu influencerů a davových kampaní, na něž jsme dnes zvyklí. Vidíte, že tu jsou lidé, kteří vás nutí přemýšlet, protože toho vědí víc než vy a dávno toho promysleli víc než vy a mají dlouhý horizont. Rozhodně mají větší kalibr než třeba experti na veřejné zdraví, tak jak se předvedli v nedávné pandemii (a přišli do Silicon Valley z celého světa, což znamená, že jinde moc nejsou a zbytek světa je tak slabě vybaven nejen pro vývoj umělé inteligence, ale i pro diskusi o ní).

Jako nejvýmluvnější kritik defenzivního postoje se vynořil známý ekonom Tyler Cowen. Jeho argument je zhruba následující: Zaprvé, historie se tak jako tak dala do pohybu, nová technologie je tu a zablokovat ji je stejně iluzorní jako myslet si, že můžeme zablokovat změny v dosavadním globálním uspořádání dominovaném USA, jak jsme na něj byli několik posledních desítek let zvyklí. „Otázka už nezní, zda jít vpřed,“ píše Cowen, „ale, vzhledem k tomu, že něco vpřed půjde, byť by to byl jen chaos, a stagnaci tak jako tak opustíme, získáme za ty trable aspoň něco? Protože, věřte mi, když neuděláme nic, stejně se vrátíme do dějin a dost možná za ty trable nezískáme nic.“

Zadruhé, lze si představovat mnoho různých budoucností a jen v omezené racionalistické perspektivě je katastrofická budoucnost pravděpodobnější. „Existenciální riziko z AI skutečně je vzdálená možnost, stejně jako jakákoli jiná budoucnost, kterou si můžete zkusit představit. Všechny možnosti jsou vzdálené“ a každá jedna z nich méně pravděpodobná, než se zdá. Nikdy se nepodařilo regulovat něco, co ještě není. Je to jako říct, že lidé měli v roce 1460 zregulovat knihtisk.

Co naproti tomu stále budí pochybnosti? Profesionálové si rizika AI dobře uvědomují. Pracují na tom, čemu říkají „alignment“, což by se dalo přeložit asi: aby systém dělal to, co chceme, aby dělal. Jenže jednak není jisté, jestli na tom pracuje dost lidí. A jednak těm metodám 99 procent lidí neporozumí. Metody „učení“ systémů, na něž člověk narazí, když se zajímá o to, proč je ChatGPT „woke“, jsou naprosto triviální, povrchovou slupkou tohoto problému. A další fází vývoje AI nutně je, že se na něm bude podílet samotná AI. Kolik lidí bude rozumět tomu, co se děje?

Autoři otevřeného dopisu připomínají, že lidé už vývoj některých technologií s potenciálně katastrofickým dopadem pozastavili, a v poznámce pod čarou uvádějí mezi příklady i „gain of function“ výzkum ve virologii, tj. vyvíjení mutací virů s novými schopnostmi. Ten byl skutečně v USA za Obamovy administrativy pozastaven a za Trumpa opět povolen. A když si vzpomeneme na laboratoř ve Wu-chanu, možná bychom dnes řekli, že měl zůstat zakázaný.