Superintelligentie (Nick Bostrom)

Dit is een boek uit 2014 Superintelligence van Nick Bostrom, waar Dario Amodei aan refereert als zijn bijbel.

Hier een bloemlezing

Vragen die in het boek voorkomen.

• Moeten we niet eerst nadenken over de kunst van het temmen en temmen van uilen, voordat we zo’n wezen in ons midden brengen?” 
• Zal de koploper een beslissend strategisch voordeel behalen?
• Eerst kunstmatige intelligentie of volledige hersenemulatie? 
• Wanneer zal machine-intelligentie op menselijk niveau worden bereikt?
• Hoe lang duurt het van menselijk niveau naar superintelligentie? 
• Wat zou er nodig zijn om de evolutie te recapituleren? 
• Hoe groot is de kosmische gave?
• ...
• Hoe ver zijn we momenteel verwijderd van het bereiken van een menselijke emulatie van het hele brein?
• Als een groep uit honderd mensen bestaat, en een meerderheid van zestig mensen de macht kan overnemen en de niet-samenzweerders hun rechten kan ontnemen, wat zal een subgroep van vijfendertig van deze zestig er dan van weerhouden de overige vijfentwintig te ontnemen? 
• ...
• Welke andere doeleinden? Het enige dat uiteindelijk van waarde is voor de AI is, naar veronderstelling, het beloningssignaal.
• ...
• Als dit gedrag werkelijk zo ‘verspillend’ is, hoe komt het dan dat het getolereerd en zelfs gepromoot wordt door de evolutionaire processen die onze soort gevormd hebben? 

Samenvattend

Wat de laatste van deze kwesties betreft, het vooruitzicht van technologieraces, kan bijzonder problematisch zijn als de overgang plaatsvindt naar een intermediaire vorm van machine-intelligentie, volledige hersenemulatie, omdat dit een nieuwe racedynamiek zou creëren die de kansen zou schaden dat het controleprobleem zou worden opgelost voor de daaropvolgende tweede transitie naar een meer geavanceerde vorm van machine-intelligentie, kunstmatige intelligentie. 

 Zal een machine-intelligentieproject de concurrentie zo ver voorlopen dat het een beslissend strategisch voordeel krijgt, dat wil zeggen een niveau van technologische en andere voordelen dat voldoende is om volledige wereldheerschappij te bereiken. Als een project een beslissend strategisch voordeel zou verkrijgen, zou het dit dan gebruiken om concurrenten te onderdrukken en één wereldorde te vormen waarin er op mondiaal niveau één enkel besluitvormend agentschap is? En als er een winnend project is, hoe groot zou het dan zijn? niet in termen van fysieke omvang of budget, maar in termen van hoeveel mensen de wensen van het ontwerp zouden bepalen. We zullen deze vragen achtereenvolgens bespreken. 

Zelfs als een drang naar emulatie van het hele brein daadwerkelijk zou resulteren in emulatie van het hele brein, in tegenstelling tot neuromorfe AI, en zelfs als de komst van emulatie van het hele brein veilig zou kunnen worden afgehandeld, zou er nog steeds een verder risico bestaan dat gepaard gaat met een tweede transitie: een overgang van emulatie van het hele brein naar AI, wat een uiteindelijk krachtigere vorm van machine-intelligentie is.

In plaats van programmeurs te belonen op basis van een ruwe maar gemakkelijk toegankelijke maatstaf, zoals hoeveel uren ze hebben gewerkt of hoeveel bugs ze hebben gecorrigeerd, zou de incentive-wrapping bijvoorbeeld kunnen specificeren dat de AI de inhoud van het doel zou moeten nastreven. Hoe moet een beschrijving van dit doel worden geïnterpreteerd. Zou het doel het geven van speciale beloningen moeten zijn aan degenen die hebben bijgedragen aan het succes van het project. Beslissingstheorie Moet de AI gebruik maken van causale beslissingstheorie? impliciete aannames over de wereld zou het moeten maken Welke antropische theorie zou het moeten gebruiken Ratificatie Moeten de AI-plannen worden onderworpen aan menselijke beoordeling voordat ze in werking worden gesteld Zo ja, wat is het protocol voor dat beoordelingsproces? Componentenlijst     223 programmeurs moeten worden beloond in verhouding tot de mate waarin hun bijdragen de redelijke ex ante waarschijnlijkheid hebben vergroot dat het project met succes wordt voltooid op de manier die de sponsors bedoelden

...  Op de langere termijn, als het emulatietijdperk plaats maakt voor een tijdperk van kunstmatige intelligentie of als machine-intelligentie rechtstreeks via AI wordt verkregen zonder een voorafgaande emulatiefase van het hele brein, kunnen pijn en plezier mogelijk volledig verdwijnen in een multipolaire uitkomst, aangezien een hedonistisch beloningsmechanisme misschien niet het meest effectieve motivatiesysteem is voor een complexe kunstmatige agent die, in tegenstelling tot de menselijke geest, niet belast is met de erfenis van dierlijke wetware 

als de technologie nooit geschikt zal zijn om één van de doelstellingen van de singletons te bereiken of als de singleton een zeer hoge discontovoet heeft die investeringen sterk ontmoedigt de singleton een uiteindelijke waarde heeft die onthouding van bepaalde wegen van technologische ontwikkeling vereist d als de singleton er niet zeker van is dat hij stabiel zal blijven, zou hij er de voorkeur aan kunnen geven om af te zien van het ontwikkelen van technologieën die zijn interne stabiliteit zouden kunnen bedreigen of die de gevolgen van de ontbinding erger zouden maken. de gemakkelijke productie van massavernietigingswapens die grote schade zouden kunnen aanrichten als de wereldregering wijom op dezelfde manier te ontbinden zou de singleton een soort bindende strategische verbintenis hebben aangegaan om een bepaalde technologie niet te ontwikkelen, een verbintenis die van kracht blijft, zelfs als het nu handig zou zijn om deze te ontwikkelen

Hoewel het onderzoek volgens hedendaagse maatstaven een technisch hoogstandje is, laat het onderzoek veel uitdagende vragen onbeantwoord. Hoe goed schaalt de aanpak op naar grotere aantallen herinneringen? Hoe goed kunnen we de combinatorische explosie beheersen die anders dreigt het leren van de juiste mapping onhaalbaar te maken naarmate het aantal input- en outputneuronen toeneemt? Brengt de verbeterde prestatie bij de testtaak verborgen kosten met zich mee, zoals een verminderd vermogen om te generaliseren van de specifieke stimulus die in het experiment wordt gebruikt of een verminderd vermogen om de associatie af te leren wanneer de omgeving verandert? Zouden de proefpersonen er op de een of andere manier nog steeds baat bij hebben? In tegenstelling tot ratten zouden ze gebruik kunnen maken van externe geheugenhulpmiddelen zoals pen en papier. En hoeveel moeilijker zou het zijn om een vergelijkbare methode toe te passen op andere delen van de hersenen. Terwijl de huidige prothese voordeel haalt uit de relatief eenvoudige feed-forward-structuur van delen van de hippocampus, die feitelijk dienen als een unidirectionele brug tussen de CA3- en CA1-gebieden, hebben andere structuren in de cortex ingewikkelde feedbacklussen die de complexiteit van het bedradingsschema aanzienlijk vergroten en vermoedelijk de moeilijkheid van het ontcijferen van de functionaliteit van een ingebedde groep neuronen.

HOOFDSTUK 4 De kinetiek van een intelligentie-explosie -  Zodra machines een vorm van menselijke gelijkwaardigheid in algemeen redeneervermogen bereiken, hoe lang zal het dan duren voordat ze radicale superintelligentie bereiken. Zal dit een langzame, geleidelijke, langdurige transitie zijn of zal het een plotselinge explosie zijn? Dit hoofdstuk analyseert de kinetiek van de transitie naar superintelligentie als een functie van optimalisatievermogen en weerspannigheid van het systeem

Maar we kunnen dit gedeelte samenvatten door drie conclusies te trekken: 1. op zijn minst zwakke vormen van superintelligentie zijn haalbaar door middel van biotechnologische verbeteringen 2 de haalbaarheid van cognitief verbeterde mensen draagt bij aan de plausibiliteit dat geavanceerde vormen van machine-intelligentie haalbaar zijn, want zelfs als we fundamenteel niet in staat zouden zijn om machine-intelligentie te creëren, waarvan er geen reden is om aan te nemen dat machine-intelligentie nog steeds binnen het bereik van cognitief verbeterde mensen zou kunnen zijn, en 3 als we scenario's beschouwen die zich aanzienlijk uitstrekken tot in de tweede helft van deze eeuw en daarna, moeten we rekening houden met rekening houden met de waarschijnlijke opkomst van een generatie van genetisch verbeterde populaties, kiezers, uitvinders, wetenschappers, waarvan de omvang van de verbetering in de daaropvolgende decennia snel zal escaleren

Het resultaat is dat de computerhulpbronnen die nodig zijn om eenvoudigweg de relevante evolutionaire processen op aarde te repliceren die intelligentie op menselijk niveau voortbrachten, ernstig buiten bereik zijn en dat ook zo zullen blijven als de wet van Moore de kunstmatige intelligentie zou voortzetten.

Collectieve superintelligentie Een andere vorm van superintelligentie is een systeem dat superieure prestaties levert door grote aantallen kleinere intelligenties samen te voegen. Collectieve superintelligentie Een systeem dat is samengesteld uit een groot aantal kleinere intellecten, zodat de algehele prestaties van het systeem in veel zeer algemene domeinen die van welk huidig cognitief systeem dan ook ruimschoots overtreffen.

Een van de redenen waarom cognitieve verbeteringen ervoor kunnen zorgen dat er meer vooruitgang is geboekt op het gebied van controle tegen de tijd dat de intelligentie-explosie plaatsvindt, is dat vooruitgang op het gebied van controle vooral afhankelijk kan zijn van extreme niveaus van intellectuele prestaties, zelfs meer dan het soort werk dat nodig is om machine-intelligentie te creëren.

Hoofdstuk 13 Hulpmiddel - Een systeem dat niet is ontworpen om doelgericht gedrag te vertonen   Boxing-methoden kunnen toepasbaar zijn, afhankelijk van de implementatie   Krachtige zoekprocessen zouden waarschijnlijk betrokken zijn bij de ontwikkeling en werking van een machine-superintelligentie   Krachtig zoeken om een oplossing te vinden die aan een formeel criterium voldoet, kan oplossingen opleveren die op een onbedoelde en gevaarlijke manier aan het criterium voldoen   Krachtig zoeken kan gepaard gaan met secundaire interne zoek- en planningsprocessen die gevaarlijke manieren kunnen vinden om het primaire zoekproces uit te voeren 158     orakels genieën soevereinen instrumenten Verder onderzoek zou nodig zijn om te bepalen welk type systeem het veiligst zou zijn

 High performance computing Menselijke emulatie Emulatie van grote zoogdieren Emulatie van kleine zoogdieren Emulatie van ongewervelde dieren Subnetwerkemulaties Simulatie van de lichaamsomgeving Validatiemethoden Beeldvorming Interpretatie Modellering AutomatiseringsprocespijplijnMicroscopie Computervisie Neurowetenschappen Eutelische emulatie Bepaling van neurale granulariteit emulatie van hele hersenen     35 met de hand labelen van monsters

Hoe vergelijkbaar met een brein moet een machine-intelligentie zijn om als een volledige hersenemulatie te gelden in plaats van als een neuromorfe AI. De relevante bepalende factor zou kunnen zijn of het systeem de waarden of het volledige arsenaal aan cognitieve en evaluatieve neigingen van een bepaald individu of een generiek mens reproduceert, omdat dit plausibel een verschil zou maken voor het controleprobleem.

Is het mogelijk om een gecontroleerde ontploffing te bereiken? Kunnen we de beginvoorwaarden van een intelligentie-explosie zo ontwerpen dat een specifiek gewenst resultaat wordt bereikt of op zijn minst wordt gegarandeerd dat het resultaat ergens in de klasse van algemeen aanvaardbare resultaten ligt. Meer specifiek: hoe kan de sponsor van een project dat zich richt op de ontwikkeling van superintelligentie ervoor zorgen dat het project, als het succesvol is, een superintelligentie voortbrengt die de doelstellingen van de sponsors zou verwezenlijken. We kunnen dit controleprobleem in twee delen opdelen.

Technologische koppelingen Stel dat men denkt dat het oplossen van het besturingsprobleem voor kunstmatige intelligentie heel moeilijk is, dat het oplossen ervan voor volledige hersenemulaties veel gemakkelijker is en dat het daarom de voorkeur zou hebben dat machine-intelligentie wordt bereikt via het hele hersenemulatiepad.

Eén reden die eerder is besproken, is dat een latere komst van superintelligentie de voorkeur zou kunnen hebben om meer tijd te geven aan vooruitgang op het gebied van controle en om andere gunstige achtergrondtrends te laten culmineren. Als men er dus zeker van zou zijn dat volledige hersenemulatie toch aan AI zou voorafgaan, zou het contraproductief zijn om de komst van volledige hersenemulatie verder te bespoedigen.

In het geval van nanotechnologie zou men bijvoorbeeld verschillende mogelijke gevolgen moeten overwegen, zoals de verhoging van de hardwareprestaties door nanogefabriceerde computationele substraten, de effecten van goedkoop fysiek kapitaal voor de productie op de economische groei, de proliferatie van geavanceerde surveillancetechnologie, de mogelijkheid dat er een singleton zou kunnen ontstaan door de directe of indirecte effecten van een doorbraak op het gebied van nanotechnologie en de grotere haalbaarheid van neuromorfe en volledige hersenemulatiebenaderingen van machine-intelligentie.

Wat betreft kunstmatige intelligentie, niet-emulatie, machine-intelligentie, hangt de moeilijkheid om een systeem van menselijk niveau naar bovenmenselijke intelligentie te tillen door middel van algoritmische verbeteringen af van de kenmerken van het specifieke systeem.

Sommige technische problemen op het gebied van de kunstmatige intelligentie zouden bijvoorbeeld een negatieve waarde kunnen hebben, omdat de oplossing ervan de ontwikkeling van machine-intelligentie zou versnellen, zonder evenveel te doen aan het versnellen van de ontwikkeling van controlemethoden die de revolutie op het gebied van machine-intelligentie overleefbaar en nuttig zouden kunnen maken.

Maar we kunnen op z'n minst waarnemen dat de systeemintelligentie snel zal toenemen als er ofwel veel deskundige inspanning wordt geleverd om de intelligentie ervan te vergroten en de systeemintelligentie niet al te moeilijk te vergroten is, ofwel als er een niet-triviale ontwerpinspanning is en de weerspannigheid van de systemen laag is, of beide. 

 Hoe slaan de hersenen gestructureerde representaties op in het werkgeheugen en het langetermijngeheugen? Hoe wordt het bindingsprobleem opgelost? Wat is de neurale code? Hoe worden concepten weergegeven? Bestaat er een standaardeenheid van corticale verwerkingsmachines, zoals de corticale kolom, en zo ja, hoe is deze bedraad en hoe hangt de functionaliteit ervan af van de bedrading? AI

Als het oplossen van het besturingsprobleem buitengewoon moeilijk is vergeleken met het oplossen van het prestatieprobleem op het gebied van machine-intelligentie en als de projectcapaciteiten slechts zwak correleren met de projectomvang, dan is het mogelijk dat het beter zou zijn dat een klein project daar als  Hoeveel veiliger zou de AI-transitie zijn in een WBE-wereld Een overweging is dat de AI-transitie minder explosief zou zijn als deze plaatsvindt na een of andere vorm AI eerste AI WBE eerste WBEAI eerste transitie tweede transitie WBE Figuur 13 Kunstmatige intelligentie of volledige hersenemulatie eerst In een AI eerste scenario is er één transitie die een existentieel risico met zich meebrengt

Als toekomstige voordelen worden verdisconteerd met een snelheid van x per jaar en het achtergrondniveau van existentiële risico's uit andere bronnen y per jaar is, dan zou het optimale punt voor de intelligentie-explosie zijn wanneer het uitstellen van de explosie met nog een jaar minder dan x y procentpunten zou opleveren voor de vermindering van het existentiële risico dat gepaard gaat met een intelligentie-explosie.

Maar augmentatie is een potentiële motivatieselectiemethode voor andere paden naar superintelligentie, waaronder hersenemulatie, biologische verbetering, hersencomputerinterfaces en -netwerken en organisaties waar de mogelijkheid bestaat om het systeem uit te bouwen vanuit een normatieve kern van gewone mensen die al een representatie van menselijke waarde bevat.

Eliezer Yudkowsky, een AI-theoreticus die uitgebreid heeft geschreven over de toekomst van machine-intelligentie, stelt het punt als volgt: AI zou een ogenschijnlijk scherpe sprong in intelligentie kunnen maken, puur als gevolg van antropomorfisme: de menselijke neiging om dorpsgek en Einstein te beschouwen als de uiterste uiteinden van de intelligentieschaal in plaats van bijna niet te onderscheiden punten op de schaal van de geest in het algemeen

Deze factoren omvatten bijvoorbeeld de mogelijkheid van snelle hardware-uitbreiding zodra een werkende softwaregeest optimalisatiekracht en explosiviteit heeft gehad.

Om te beginnen met het analyseren van de vraag hoe snel de start zal zijn, kunnen we de snelheid van de toename van de systeemintelligentie opvatten als een monotoon toenemende functie van twee variabelen, de hoeveelheid optimalisatiekracht of kwaliteitsgewogen ontwerpinspanning die wordt toegepast om de systeemintelligentie te vergroten en de reactiesnelheid van het systeem op de toepassing van een bepaalde hoeveelheid van een dergelijke optimalisatiekracht.

Je zou dus een model kunnen hebben waarin de bevolking elk jaar stemt om de intelligentie-explosie met nog een jaar uit te stellen, zodat de intelligentie-explosie nooit zal plaatsvinden, ook al is iedereen die ooit leeft het erover eens dat het beter zou zijn als de intelligentie-explosie op een gegeven moment zou plaatsvinden.Veranderingspercentages en cognitieve verbeteringen Een toename van het gemiddelde of het hogere bereik van de menselijke intellectuele capaciteiten zou waarschijnlijk de technologische vooruitgang over de hele linie versnellen, inclusief de vooruitgang in de richting van verschillende vormen van machine-intelligentie, vooruitgang op het gebied van het controleprobleem en vooruitgang op een breed scala aan andere technische en economische doelstellingen

Moet onderzoek naar volledige hersenemulatie worden bevorderd Hoe moeilijker het lijkt om het controleprobleem voor kunstmatige intelligentie op te lossen, des te verleidelijker het is om het hele hersenemulatiepad te promoten als een minder riskant alternatief

Maar deze kwalificaties mogen het fundamentele punt over de onafhankelijkheid van intelligentie en motivatie niet vertroebelen, dat we als volgt kunnen uitdrukken. De orthogonaliteitsthese Intelligentie en einddoelen zijn orthogonaal, min of meer elk niveau van intelligentie kan in principe worden gecombineerd met min of meer elk einddoel

--

2026/08/amodei