„Obávám se, že to nemohu udělat, Dave,“ prohlásil jeden z nejslavnějších filmových robotů, HAL 9000, ve filmu 2001 – Vesmírná odysea. Odmítl tak žádost velitele Bowmana o otevření dveří do lodi – se zjevným úmyslem svého živého kolegu zabít poté, co už zabil jeho spolupracovníka Franka Poola. Kapitán Bowman tento incident přežil, a aby se HALa nemusel nadále bát, odpojil mu všechny vyšší logické funkce, což bylo pro inteligentní počítač ekvivalentem trestu smrti.

Kultovní film, natočený slavným režisérem Kubrickem na motivy stejně kultovního románu A. C. Clarka, zhlédlo během posledního půl století několik set milionů lidí. A součástí dojmu, který si z něj odnesli, bylo i poselství, že myslící počítače mohou být nebezpečné. Ne třeba nutně „samy od sebe“, ale proto, že si až příliš doslovně vyloží svoje úkoly a jdou za jejich splněním doslova přes mrtvoly. HAL povraždil lidské astronauty na palubě Discovery proto, aby neohrožovali plnění mise, které pro něj bylo vším. Na rozdíl od lidí jej v tom nezastavily žádné vrozené zábrany ani empatie, protože jako stroj nic takového neměl.

Poněkud divočejším, ale stále ještě dobře srozumitelným příkladem, který se při debatě o AI používá dnes, je hypotetický „sponkový armagedon“. Představte si inteligentní počítač-továrnu, který dostane úkol vyrábět kancelářské sponky. Jelikož je to stroj, upne se na svůj úkol všemi silami a věnuje se výrobě sponek 24 hodin denně, sedm dní v týdnu. Jak bude takový stroj reagovat na cokoli, co překáží nebo aspoň nepomáhá jeho hlavnímu úkolu, výrobě sponek? Například na zbytek lidské civilizace? Nedojde, podobně jako HAL, k názoru, že takové překážky je potřeba odstranit z cesty libovolnými prostředky? Koneckonců je to jen stroj a pochopení, že kancelářské sponky mají význam jen v širším kontextu funkční a vyspělé lidské společnosti, mu může naprosto unikat.

Turingův test

Clarkova kniha, napsaná roku 1968, byla v tehdejších poměrech čistá fikce. Skutečný rok 2001 přišel a odešel, aniž by tehdejší počítače dosáhly byť jen inteligence makaka nebo vrány. Ačkoli už na přelomu století byl počítač schopen porazit nejlepší lidské hráče v šachu, stále se s ním ještě nedala udržovat smysluplná konverzace. Selhával v jednom základním testu, kterému se podle jeho autora říká Turingův test: dokážete-li v debatě vedené libovolnými prostředky odlišit člověka od počítače, nelze počítač nazvat inteligentním.

Budoucnost na sebe nechala nějakou dobu čekat. Sám Alan Turing, který ještě zažil éru technologického optimismu, by asi nečekal, že první systémy, které v jím navrženém testu dokážou věrohodně napodobit člověka, se objeví až sedmdesát let po jeho smrti. Dnešní ChatGPT, Bing a další jazykové modely už v Turingově testu obstojí, aspoň pokud není konverzace moc dlouhá. Při masivním experimentu v květnu 2023, který provedla telavivská technologická firma AI21, se 1,5 milionu dobrovolníků snažilo odhalit, zda vedou chatovou konverzaci s robotem, nebo s živým člověkem. Dokázali identifikovat robota v šedesáti procentech případů, což pořád ještě lze označit jako úspěch, ale už to nemá příliš daleko k náhodnému hodu mincí. Přitom jen málokdo pochybuje, že další generace jazykových modelů na tom budou ještě lépe než ty nynější.

Strach v hrsti křemíku

Jelikož velká část klasické sci-fi se věnuje vzpourám robotů a jiných umělých bytostí, reakce veřejnosti na ChatGPT byla očekávatelným způsobem nervózní až hysterická: řítíme se do nebezpečí! I pro tuhle reakci existuje v AI světě pojem, rovněž velmi starý (1970): uncanny valley čili strašidelné údolí. Jeho autor, japonský profesor Masahiro Mori, jím označil očekávanou reakci lidí na roboty, kteří budou příliš podobní živému člověku. Mori je ještě naživu (i když už se mu blíží zasloužená stovka), na rozdíl od Turinga se tedy naplnění své myšlenky dožil. A jeho „strašidelné údolí“ je pro nás smrtelníky natolik děsivé, že už vyvolává reakce národních parlamentů i obřích organizací typu Evropské unie.

Celoplanetární konverzace o AI a její budoucí regulaci naráží na nedostatek reálných zkušeností. Fantazie má každý dost, ale ani velká jména v oboru se nemohou shodnout na tom, jestli umělá inteligence představuje spíš umírněné rozšíření schopností současného IT světa, nebo potenciálně devastující vynález, ohrožující samo přežití lidstva. Co se představ o budoucím využití AI týče, zatím jsme zhruba ve stejné fázi jako naši předkové při příletu Halleyovy komety roku 1910. Tehdy se v tisku přemnožily obrázky z budoucnosti (čímž byl míněn rok 1986, další návrat komety ke Slunci), ve které se moderní lidé vznášejí na nebi v obřích balonech a vzducholodích. Nakonec šel reálný technický vývoj zcela jinými cestami a balon zahlédnete na dnešní obloze maximálně jako atrakci, zato tehdy nepředstavitelných tryskových letounů nám nad hlavami neustále křižují tucty.

Škála potenciálního využití umělé inteligence je nepochybně široká a „kecálky“ jako ChatGPT jsou nanejvýš špičkou ledovce. Umělá inteligence umí analyzovat obrázky a hledat v nich obtížně viditelné jevy, rostoucími nádory počínaje a nepřátelským muničním skladem konče. Umí skládat složité organické molekuly a odhadovat, zda nějaká chemikálie může v lidském organismu fungovat jako léčivo. Umí v obrovských sadách dat identifikovat souvislosti způsobem, který nám ani nedokáže vysvětlit: například v oftalmologii dokáže rozeznat mužské sítnice od ženských (nemáme tušení jak). Bude toho nepochybně umět ještě víc, ale zatím si neumíme představit, co všechno to bude.

1984 jako manuál

V regulaci budoucí umělé inteligence je zatím nejdál EU, kde se přitom příliš praktického vývoje neodehrává. Jednou z věcí, kterým by ráda zabránila, je aplikace AI v policejních a represivních kontextech.

Až dosud byla jednou ze slabin totalitních režimů nemožnost sledovat úplně všechno a úplně všechny. Jen určité procento populace má jak buňky, tak žaludek na to, sloužit u tajné policie; tím pádem i ve velmi sešněrovaných státech typu někdejší NDR existovaly určité ostrůvky soukromí, kam přebujelý stát nedosáhl. Umělá inteligence se ovšem dá vybudovat v libovolném rozsahu a dnešní počítače jsou natolik výkonné, že k dosažení totálního sledování 24/7 není potřeba extrémně velký rozpočet. I středně bohatý stát jako Česká republika by patrně dokázal provozovat například systém pro rozpoznávání tváří, pokrývající většinu důležitých měst; a v EU jsou i podstatně bohatší státy než ten náš.

Snahou okleštit užití biometriky v automatickém sledování lidí se evropské orgány snaží vecpat do lahve džina, který z ní dávno vyletěl. I česká policie letos přiznala, že už rok „zajíždí“ systém snažící se rozpoznat lidi v kamerových záznamech podle fotografií ve státní databázi občanů. Nedostala k tomu přitom žádné svolení od parlamentu či vlády a začala jej zavádět jen na základě interního pokynu svého vlastního ředitele. Po odhalení této skutečnosti proběhla skrze média vlna nevole, ale nezdá se, že by se naši poslanci nechali o svých prázdninách takovými drobnostmi rušit.

Podobně zajímavá je otázka, jak silná či slabá bude zamýšlená regulace AI v oblasti „sociálního kreditu“. Záměrem evropských orgánů je zabránit tomu, aby v EU mohly vznikat systémy podobné čínskému sociálnímu skóre, které sleduje aktivity jednotlivého občana (nebo spíš poddaného?) a vyhodnocuje, jak moc odpovídají ideálu nadiktovanému komunistickou stranou. Velcí hříšníci mohou v Číně přijít o půjčky, možnost cestovat letadlem či rychlovlakem nebo jim může být zakázáno nastoupit do určitých zaměstnání – zkrátka dystopie na steroidech. Čínský sociální kredit byl sice vybudován na starší technologii, ale AI mu nepochybně dokáže dodat větší sílu.

Jenže i když EU není pod vládou jedné strany, nedá se přehlédnout, že její boj proti uhlíkové stopě má mnoho podobných rysů jako čínské sociální skóre. Konkrétní sada sledovaných parametrů se sice samozřejmě liší, ale obecně je snaha „vychovávat“ evropské občany k ideálům seslaným shůry viditelná tak a patří pod ni i čím dál víc expandující mandáty pro korporátní ESG. Snaha o sledování individuální uhlíkové stopy je všudypřítomná, od aplikací pro vyhledávání spojení až po účetní oddělení firem či univerzit (v červnu 2023 deklarovala například Univerzita Palackého v Olomouci svůj záměr přihlížet k uhlíkové stopě při plánování služebních cest a studentských pobytů; Masarykova univerzita, sídlící v pokrokovějším Brně, to samozřejmě už dávno dělá).

Nejefektivnější by tyto mechanismy byly tehdy, pokud by se všechna nasbíraná data slévala v jednom obřím centru a přidělovala občanům i firmám jejich uhlíkové skóre, tj. přesně to, co by plánovaná evropská regulace AI měla zakázat. Skutečně se podaří tomu zabránit, když pro zelené a rudé strany napříč kontinentem je klimatická změna tématem číslo jedna?

Riziko tiskařského lisu

Se zákonnou regulací se pojí ještě jedno riziko. Dá se dobře ilustrovat na případu osmanské říše, která v 16. století nedokázala adoptovat novou technologii, knihtisk. Není jasné, jestli šlo skutečně o sultánem vydaný zákaz, nebo zda k tomu byly nějaké jiné důvody; prakticky jisté však je, že toto selhání vedlo k technickému zaostávání celého státu. Zatímco evropští inženýři měli k dispozici čím dál levnější knihy a odborné časopisy, v Turecku bylo šíření informací podvázáno používáním starých metod. Nakonec na to osmanská říše doplatila kolapsem.

Tvrdě zregulovat sotva vznikající odvětví IT a utlumit lokálně jeho vývoj v sobě nese to samé riziko: stagnaci a budoucí kolaps, nebo ponižující pokoření před státy, které dokázaly trend zachytit a využít. Riziko plynoucí z nicnedělání není tak zjevné jako riziko z činnosti, a zejména byrokratická vrstva mnohdy ani nedokáže pochopit, v čem má vlastně být nějaký problém. Realita ale bývá k zaostávajícím hráčům nemilosrdná. Ze slavného paláce Dolmabahce, ze kterého vládli osmanští sultáni říši sahající od Balkánu po Jemen, je dnes muzeum plné turistů.