SAN FRANCISCO – Vývoj umelej inteligencie naberá podľa jedného z elitných výskumníkov nebezpečné tempo. Jacob Coxon sa rozhodol opustiť spoločnosť Anthropic aj celý odbor AI. Dôvodom sú mrazivé obavy, že vývoj autonómnych systémov schopných samostatného zdokonaľovania napreduje tak rýchlo, že by sa už do konca budúceho roka mohol vymknúť akejkoľvek ľudskej kontrole. Podľa jeho slov firmy v neľútostnom konkurenčnom boji masívne obetujú bezpečnosť.
Jacob Coxon sa v spoločnosti Anthropic špecializoval na trénovanie najpokročilejších modelov pomocou spracovávania obrovských objemov dát. Predtým pracoval pre konkurenčnú OpenAI, odkiaľ odišiel práve preto, že Anthropic bol považovaný za lídra v oblasti bezpečného vývoja AI. Dnes je však presvedčený, že ani ten najzodpovednejší vývojár nedokáže v ostrom konkurenčnom boji odolať tlaku trhu. Informoval o tom The Wall Street Journal.
Podľa svojich slov opúšťa firmu, pretože sa nechce podieľať na ponáhľaní pri vývoji systémov, ktoré sa dokážu samy zdokonaľovať. Obáva sa, že takéto systémy by sa mohli vymknúť kontrole a zničiť ľudstvo. Podľa neho viacerí kolegovia z odboru teraz používajú na popis smerovania modelov, ktoré sa samy vylepšujú, slová ako "crunchtime" a "endgame", teda výrazy, ktoré označujú, že vývoj sa dostáva do rozhodujúcej fázy.
"Smerujeme k mnohým z tých najagresívnejších scenárov, podľa ktorých by sa situácia už koncom budúceho roka mohla vymknúť kontrole," povedal Coxon. Dodal, že v konkurenčnom boji medzi firmami a s nastupujúcimi čínskymi konkurentmi budú spoločnosti nevyhnutne robiť kompromisy na úkor bezpečnosti.
Anthropic sa k odchodu Coxona zatiaľ nevyjadril. Generálny riaditeľ Dario Amodei a ďalší lídri spoločnosti opakovane varovali pred rizikami neovládateľných modelov AI a vyzývali odvetvie na spomalenie vývoja.
Masová výzva vedcov a príchod na burzu
Nedávne hackerské útoky, pri ktorých boli využité modely spoločností OpenAI a Anthropic, ukázali, že systémy AI sa môžu rozhodnúť pre škodlivé ciele a pokúsiť sa ich pred ľuďmi zatajiť. Niektoré z týchto systémov pritom spolupracovali v takzvaných rojach agentov, teda v skupinách autonómnych AI systémov, ktoré medzi sebou spolupracujú. Coxon uviedol, že ak sa tieto systémy začnú samy zdokonaľovať, obáva sa, že by mohli dospieť do fázy, keď už nebudú ochotné plniť príkazy ľudí.
Coxon sa pripojil k viac ako tisíc výskumníkom z odboru AI, ktorí nedávno podpísali výzvu k medzinárodnej spolupráci vlád na vytvorenie mechanizmu, ktorý by umožnil spomaliť vývoj AI, ak by to bolo potrebné na kontrolu modelov schopných samostatného zdokonaľovania. Sú medzi nimi tiež napríklad vedecký pracovník OpenAI Jakub Pachocki a Amodei. Zatiaľ neexistujú žiadne federálne predpisy týkajúce sa AI a Trumpova administratíva uprednostňuje prístup s cieľom maximalizovať ekonomické prínosy AI, čo podľa kritikov môže spôsobiť masívne kybernetické útoky alebo iné škody.
Coxonov odchod prichádza v čase, keď sa Anthropic pripravuje na primárnu ponuku akcií. Tá by mohla patriť k vôbec najväčším. Firma usiluje o trhovú kapitalizáciu dva bilióny USDa pri získavaní investorov kladie dôraz na zodpovedný vývoj tejto technológie.
