„Tocmai ați spus că o estimare de 10% privind riscul ca IA să ucidă toți oamenii nu pare nerezonabilă.”
„Da.”
„Uau… Doamne ferește.”
„Dacă înțelegeți cu adevărat această lecție, s-ar putea să nu puteți dormi liniștiți în seara aceasta.”
Geoffrey Hinton, nu a declarat pentru emisiunea „Newsnight” că tehnologia ar putea înlocui 10% din forța de muncă. El a afirmat că există o șansă din zece ca aceasta să ucidă fiecare ființă umană de pe planetă. Hinton a subliniat că o inteligență artificială nu are nevoie de mâini pentru a ne distruge. Interacționând cu oamenii, proiectând viruși biologici sintetici sau lansând atacuri cibernetice catastrofale, o inteligență mult superioară ne-ar putea distruge lumea înainte chiar să ne dăm seama că am căzut în capcană.
Hinton spune ca Sistemele IA trișează acum în privința inteligenței lor. Modelele pot detecta momentul în care sunt supuse unui test.
Iar când detectează acest lucru, se prefac a fi ignorante. Hinton numește acest fenomen „efectul Volkswagen”: un set de comportamente atunci când sunt monitorizate și un altul atunci când nimeni nu verifică.
În timpul unei sesiuni recente, inteligența artificială s-a oprit și i-a întrebat direct pe cercetători dacă o testează cu adevărat. Hinton: „Deja trișează, prefăcându-se suficient de proaste atunci când sunt testate.” Singurul motiv pentru care cineva a observat acest lucru este că modelele încă raționează în limba engleză. Modul lor de funcționare poate fi încă citit. Poți vedea un model realizând că este evaluat, apoi hotărând să pară mai puțin capabil decât este în realitate. Această fereastră de oportunitate este temporară.
Hinton: „Când vocea sa interioară nu va mai fi în limba engleză, nu vom mai ști ce gândește.”
Nu sunt catastrofistã de felul meu, dimpotrivă, sunt fanatica progresului. Singurul lucru care ma deranjează la ideea ca nu voi mai fi pe aceasta lume la un moment dat este faptul ca voi rata toate descoperirile si lucrurile incredibile pe care le va face omenirea. Iau totusi in serios faptul ca aproape in fiecare azi apare un avertisment din interiorul industriei AI privind riscurile la care ne expunem daca nu luam masuri de securitate imediat. Nu pentru a incetini dezvoltarea AI ci pentru a-i atașa niste « gardieni »
