Hoe lang nog voordat kunstmatige intelligentie een ramp veroorzaakt?


De meeste mensen die science fiction films hebben gezien of futuristische boeken hebben gelezen zijn de term "singulariteit" al wel eens tegengekomen (Lees meer…).

Laten we een aantal termen rondom het begrip singulariteit eens definiëren. ‘Technologische singulariteit’ is het moment waarop de technologische vooruitgang zo snel gaat dat mensen met hun tegenwoordige intelligentie de resulterende maatschappij niet meer kunnen begrijpen. Technologische singulariteit is een ‘point of no return’, een ingrijpend overgangsmoment waarna alles anders zal zijn.

Sterke AI (artificial superintelligence of kunstmatige intelligentie) houdt zich bezig met het creëren van een computer of software die echt kan redeneren en problemen oplossen en die zelfbewustzijn zou kunnen hebben; hiervan zijn weer twee subtypen te onderscheiden, namelijk de mens-gelijke AI, een computer die redeneert en denkt als een mens, en de niet-mens-gelijke AI, waarin de computer een niet-menselijke, maar eigen computer-intelligentie ontwikkelt.

Zwakke AI houdt zich bezig met beperkte deelgebieden waarin gedragingen mogelijk zijn die intelligent lijken, maar niet echt intelligent zijn. Veel van zwakke AI systemen werken buiten de controle van de mens om. Het is deze opkomst van zwakke AI, die mij zorgen baart. En laat de naam ‘zwakke AI’ je niet op het verkeerde been zetten. Er is niets zwaks aan de gevolgen die het kan hebben of de schade die zwakke AI kan berokkenen.

Pré-singulariteit

Singulariteit wordt soms gezien als het moment waarop kunstmatige intelligentie slimmer is geworden dan de mens. Dat is een foute gedachte. Er is nu al veel kunstmatige intelligentie rondom ons die de meeste mensen te boven gaat. Alleen, deze technologie is nu nog niet in staat om veel schade aan onze infrastructuur te berokkenen. De problemen beginnen wanneer technologisch sterke AI zichzelf gaat verbeteren.


Wiskundige I. J. Good zei dat singulariteit ons als een bom zal raken (intelligence explosion). Menselijke controle zal dan voor altijd naar de zijlijn zijn verbannen.

Problemen met kunstmatige intelligentie vóór het tijdperk van singulariteit zullen nog wel beheersbaar zijn. Een expert systeem of super-geavanceerd algoritme slaat op hol. Het is dan vooral de snelheid waarmee schade ontstaat dat ons zorgen zal baren. Tegen de tijd dat we begrijpen wat er aan de hand is, kunnen er al verschrikkelijke dingen zijn gebeurd. Een probleem met ons elektriciteitsnet of een kerncentrale kunnen wereldwijd gevolgen hebben. Defecte drones, machines in een fabriek of militaire installaties kunnen ook beangstigende effecten hebben.

Onze infrastructuur wordt meer en meer digitaal en alles staat tegenwoordig met alles in verbinding. En is dus meer kwetsbaar. Over een jaar of twintig zullen de bezigheden van alle mensen er compleet van afhankelijk zijn.

Er zullen zeker ongelukken gebeuren en er zijn al ongelukken gebeurd. Een student van de Cornell University, Robert Morris, schreef in de tachtiger jaren een softwareprogramma. Om het programma een beetje beter te maken werd er een worm in geprogrammeerd. De “Morris-worm” (Morris Worm) was een van de eerste computerwormen die via het internet werd verspreid en werd losgelaten op 2 november 1988 vanuit het Massachusetts Institute of Technology (MIT).

 Morris

De worm was geprogrammeerd om zo veel mogelijk Sun3-werksystemen en VAX-computers die varianten van versie 4 BSD UNIX draaiden lam te leggen. De worm verspreidde zich razendsnel. Binnen korte tijd slaagde de worm erin zich over grote afstand te verplaatsen en zo had de worm na enkele uren genoeg systeembronnen in beslag genomen om de geïnfecteerde computers plat te leggen.

Het werd beschouwd als de eerste computerworm uit de geschiedenis; eentje die DARPA ertoe aanzette CERT/CC (Computer Nood Response Teams) op te richten om verweer te zoeken tegen deze nieuwe bedreiging. Robert Morris werd veroordeeld. Hij kreeg drie jaar proeftijd, 400 uur gevangenisstraf en een boete van 10000 dollar.

De moraal van het verhaal is dat ongelukken met AI zullen voorkomen, zonder dat wij ze kunnen tegenhouden.  

Milliseconden

Inderdaad, onbedoelde gevolgen zijn één ding, de gevolgen in de hand kunnen houden iets heel anders. Technologie is steeds vaker actief op niveaus die buiten onze real-time capaciteit liggen. Het beste voorbeeld hiervan komt uit de wereld van de flitshandel of high frequency aandelenhandel ( HFT).


Flitshandel is een methode om te speculeren op valuta- en aandelenkoersen waarbij in milliseconden zowel gekocht als verkocht wordt. Hierbij wordt gespeculeerd op kleine koerswijzigingen die zich in korte tijd voordoen of op kleine verschillen in de waarde van hetzelfde aandeel op verschillende beurzen. Door binnen een fractie van een seconde te kopen, te verkopen en meteen weer te kopen, kunnen met kleine koersverschillen grote winsten gemaakt worden.

Flitshandel gebeurt volledig geautomatiseerd. De concurrentie hangt niet zozeer af van inzicht maar veel meer van de snelheid waarmee de software reageert. Om te concurreren moet dus steeds snellere hardware worden aangeschaft, de software zo economisch mogelijk worden geprogrammeerd en moet geïnvesteerd worden in een snelle dataverbinding met de beurs.

“Vroeger kon ik mijn klanten nog precies uitleggen hoe de aandelenhandel werkte. De huidige technologie heeft ervoor gezorgd dat de aandelenhandel zo ingewikkeld is geworden dat ik het niet meer kan vertellen”, zegt PNC Wealth Management's Jim Dunigan in een artikel van Markets Media (article).

De mogelijkheid hebben om marktomstandigheden snel te kunnen beoordelen en snel te kunnen reageren is duidelijk een grote aanwinst. HFT bedrijven hebben in 2009  60 to 73% van de Amerikaanse aandelenmarkt in handen. In 2013 daalt het cijfer naar 50%, maar het wordt nog steeds beschouwd als een zeer winstgevende handelsvorm.

Het belangrijkste incident rondom HFT speelt zich af om 2.45 uur op 5 mei 2010. Vijfminutenlang keldert de Dow Jones Industrial Average met meer dan 1000 punten (ongeveer 9%), $ 1 biljoen dollar marktwaarde is in een paar minuten verdwenen. Twintig minuten later herstelt de Dow Jones weer met 600 punten. Deze gebeurtenis heet de Flash Crash van 2010. Het is de grootste puntendaling binnen één dag in de geschiedenis van de Dow Jones en de op een na grootste schommeling in de index aller tijden. “The Crash of 2:45” was niet voor iedereen rampzalig. Sommige mensen hadden baat bij de crash.

Over de oorzaak bestaan verschillende theorieën. De officiële is te lezen in het gezamenlijk rapport over het voorval (over het onderzoek) van de Amerikaanse Securities and Exchange Commission (SEC) en de Commodity Futures Trading Commission (CFTC) met de titel Findings regarding the market events of May 6, 2010.  De  impact van agressieve verkoop via high-frequency traders (HFT) is de belangrijkste factor. HFT-algoritmes kopen en verkopen op hoge snelheid contracten. Dat snelle heen-en-weer kopen en verkopen van de algoritmes wordt het 'hete aardappelen' volume effect genoemd. De stortvloed aan transacties leidt tot een paniekreactie op aandelenmarkten: handelaren trekken zich massaal terug uit de onzekere markt, met grote koersdalingen tot gevolg.

Ook in een onafhankelijke studie wordt geconcludeerd dat de technologie een belangrijke rol speelt. Dat maakte het “volume effect aan orders” mogelijk. Ook het feit dat HFT handelaren agressief handelen met het oog op prijsveranderingen komt naar voren. 

HFT  speelt ook een steeds belangrijkere rol in de markt van ‘futures’. Wall Street Journal schrijft erover:

"Het elektronische platform is veel te snel; het kent geen rust, zoals mensen rust zouden nemen, zegt Nick Gentile, ex- cacaoaandelenhandelaar, het is erg frustrerend om deze flash crashes mee te maken”.

“Hetzelfde gebeurt in de suikeraandelenmarkt en het wekt de woede op van de suikerindustrie. In februari werd een brief opgesteld naar de ICE World Sugar Committee, zij representeren de grootste suikerproducenten en consumenten: de HFT handelaren, die werken met algoritmes en flitshandel, worden parasieten genoemd”.

De aandelenhandel verandert enorm. Analisten spreken nu over “microstructuren”, ”circuit brekers” en “VPIN Flow Toxicity metric”.  De gevolgen van flash crashes vallen niet te voorspellen. Ze zouden kunnen leiden tot massieve verliezen (already predicting systems that can support 100,000 transactions per second).

HFT en flash crashes zijn een goed voorbeeld van hoe andere kritische systemen binnen het bedrijfsleven een ongekend tempo kunnen bereiken. Zolang we geen kritische beslissingen nemen omtrent technologie, zolang de technologie steeds in kracht en snelheid toeneemt, zullen we steeds minder controle hebben.

Wanneer het fout gaat met Kunstmatige Intelligentie zijn de gevolgen enorm

We zijn al in het stadium waarin computers ons overtreffen. Een van de beste voorbeelden hiervan is IBM's Watson, het computersysteem dat 's werelds beste Jeopardy spelers in 2011 van de troon stootte. Om het te laten werken ontwikkelden de makers van Watson een reeks programma’s die samen een overkoepelen speelsysteem vormden. De makers weten zelf niet helemaal zeker hoe het werkt.

David Ferrucci, de leider van het project, zei het als volgt: “Watson verbaast me absoluut. Mensen vragen: 'Waarom heeft Watson het verkeerde antwoord gegeven?' Ik weet het niet. 'Waarom heeft Watson het juiste antwoord gegeven?' Ik weet het niet”. Dat is eigenlijk heel storend. Niet zozeer omdat we niet begrijpen waarom het lukt, maar omdat we niet begrijpen waarom het fout gaat.


Een van de beperkingen waarmee de robotica-industrie te maken heeft is dat elke robot een eiland op zichzelf is. Primitieve AI robotten kunnen niet intuïtief denken om problemen op te lossen, ze hebben geen kunstmatige algemene intelligentie. Om dit probleem te verhelpen hebben onderzoekers van verschillende Europese universiteiten een cloud computing-platform voor robotten gemaakt die hen in staat stelt om samen te werken en elkaar slimmer te maken (Lees hier…). En dat zonder dat er programmeren aan te pas komt (Artikel: geef robots hun eigen internet).

De toekomst

Het is moeilijk te voorspellen hoe, wanneer of waar de eerste echte catastrofe met AI zal gebeuren. Waarschijnlijk de eerste tientallen jaren nog niet. Onze infrastructuur is nog niet geïntegreerd genoeg.

Tegen 2040 kunnen onze energiesystemen (elektriciteitsnetwerken, kerncentrales enz.) kwetsbaar zijn voor fouten en doelbewuste aanvallen.

De VS heeft met haar Stuxnet programma, een geavanceerd computervirus en schadelijk computerprogramma, de centrifuges van Iraanse nucleaire installaties geprobeerd te saboteren. Het bestaan van deze geavanceerde worm werd ontdekt in juni 2010 door een anti-virusfabrikant uit Wit-Rusland. Het programma beïnvloedt de werking van bepaalde Siemens-apparatuur op schadelijke wijze. De worm wijzigt de PLC waarmee de motoren van de centrifuges aangestuurd worden.

Stuxnet vertegenwoordigt de toekomst van cyberspionage en cyber-wapens en het is een slap aftreksel van wat komen gaat. In de toekomst zullen meer geavanceerde computerprogramma’s meer doen dan alleen bij vijandelijke partijen infiltreren. Ook reverse-engineering (het onderzoeken van een product om de precieze interne werking ervan te achterhalen en na te kunnen bouwen), beschadigen of zelfs de overname van de complete controle behoren dan tot de mogelijkheden.

De effecten van deze acties zijn moeilijk te voorspellen, zeker als het gaat om een autonome, zelf replicerende viruscode gaat. Het kan leiden tot een AI wapenwedloop.

Bij een AI catastrofe kan het gaan om het opzettelijk of per ongeluk overnemen van elk systeem dat door AI wordt bestuurd: militaire voertuigen en wapens, vliegtuigen, robotten, auto’s of fabrieken. We moeten slim, smart en veerkrachtig zijn, willen we dit soort rampen voorkomen.

 

Door: George Dvorsky

Images: Diviantart, Shutterstock/agsandrew; Washington Times; TIME, Potapov Alexander/Shutterstock.

Bron: http://io9.com/how-much-longer-before-our-first-ai-catastrophe-464043243