Definition regarding superintelligence and how that might be misleading

Definition regarding superintelligence and how that might be misleading

Debatten kring AI som ett hot mot mänskligheten fortsätter. Kärnan i de olika uppfattningarna, mellan de som hävdar att AI är ett hot och de som hävdar att det inte är ett hot, är synen på hur snabbt artificiell generell intelligens, AGI, utvecklas till artificiell superintelligens, ASI. Med andra ord när AI överträffar mänskligheten och kan utgöra ett hot mot oss.
Även uppfattningen var vi befinner oss i dag är spridd. Men någon form av konsensus är att vi befinner oss mellan smal AI, ANI, det vill säga när AI löser specifika problem inom ett visst begränsat område, och på väg mot AGI, när AI blir lika bra som oss människor på att lösa uppgifter. Det som har överraskat och påskyndat utvecklingshastigheten är generativ AI. Inom vissa områden, till exempel förståelse för det engelska språket och bildklassificering överträffar AI människan. Däremot saknar AI bland annat människans förmåga till att resonera samt sunt förnuft, självreflektion, empati och moral.

Men mer intressant är definitionerna av de olika potentiella utvecklingsfaserna av AI – smal AI, artificiell generell intelligens och superintelligent AI. Liksom att vårt BNP får långsiktigt negativa effekter gällande miljö och social inkludering, är det värt att granska de mått vi sätter på de mänskliga i relation till AI.
För att förstå varför vi skulle kunna hamna snett i debatten och varför det i sådant fall är av värde, låt oss börja med definitionerna. Artificiell generell intelligens (även kallad stark AI) har gått från att i årtionden definieras som när teknologin motsvarar det mänskliga sinnet, till att i dag begränsas till de ekonomiska värdera som uppgifterna uppfyller. Jämför IBM definition sedan länge…
”AGI skulle kräva en intelligens likställd med människors; den skulle ha ett självmedvetande som har förmågan att lösa problem, lära sig och planera för framtiden. ... stark AI syftar till att skapa intelligenta maskiner som inte går att skilja från det mänskliga sinnet.”
…med Open AI:s definition i dag:
”Mycket autonoma system som överträffar människor på de flesta ekonomiskt värdefulla uppgifter.”

Artificiell superintelligens definieras ofta som när AI får övermänskliga förmågor och riskerar att då kunna övermanipulera oss människor mot oönskade utgångar. Generellt definieras denna sista utvecklingsfas som när AI ”överträffar människor i de allra flesta uppgifter.”
Men hotet eller faran med övermänsklig AI är kanske inte som det framstår. Bara för att AI är en oerhört snabb problemlösare betyder det inte att den överträffar oss människor. Vi består av betydligt mer värde än det ekonomiskt värdefulla uppgifter vi utför. Retoriken kring superintelligent AI förminskar det som är viktigast med att vara människa. För visst finns det en enorm skillnad mellan övermänsklig beräkningshastighet eller noggrannhet - och att vara övermänsklig, det vill säga mer än människa. När begreppen kring intelligens reduceras till de uppgifter marknaderna historiskt har betalat för, hamnar vi snett.

Jag tror att marknadskrafterna kommer att visa de omvända. En utbudschock av generell artificiell intelligens, som den definieras i ekonomiska värdesatta uppgifter, borde leda till ett fallande värde av tekniken och parallellt ett ökat värde av det som är unikt för det mänskliga sinnet och som inte AGI kan leverera.
Med detta resonemang ser superintelligent AI avlägset ut. Men AI utgör däremot redanett hot mot våra mänskliga rättigheter och vår säkerhet. Därför behöver vi fokusera på vad som är faran här och nu istället för att resonera kring AI:s inverkan på mänsklighetens överlevnad.

‍

English Translation by AI

‍

The debate over AI as a threat to humanity continues. At the core of the different views—between those who claim AI is a threat and those who argue it is not—is how quickly artificial general intelligence (AGI) will develop into artificial superintelligence (ASI). In other words, when AI surpasses humanity and could pose a threat to us.

Opinions also differ on where we are today. But some form of consensus is that we are currently between narrow AI (ANI)—AI solving specific problems within limited domains—and moving toward AGI, when AI becomes as capable as humans at solving tasks. What has surprised and accelerated the pace of development is generative AI. In certain areas, such as understanding the English language and image classification, AI already surpasses humans. However, AI still lacks human abilities such as reasoning, common sense, self-reflection, empathy, and morality.

Perhaps more interesting are the definitions of the different potential development phases of AI—narrow AI, artificial general intelligence, and superintelligent AI. Just as our GDP carries long-term negative effects on the environment and social inclusion, it is worth scrutinizing the measures we use to define the human in relation to AI.

To understand why we might go astray in this debate—and why it matters—it helps to start with definitions. Artificial general intelligence (also called strong AI) was, for decades, defined as when technology matches the human mind. Today, however, it is increasingly reduced to the economic value of the tasks it can perform. Compare IBM’s long-standing definition:
“AGI would require an intelligence equal to that of humans; it would have self-awareness with the ability to solve problems, learn, and plan for the future. … strong AI aims to create intelligent machines indistinguishable from the human mind.”

…with OpenAI’s definition today:
“Highly autonomous systems that outperform humans at most economically valuable tasks.”

Artificial superintelligence is often defined as when AI gains superhuman capabilities and could then potentially manipulate humans toward undesirable outcomes. In general, this final stage of development is defined as when AI “surpasses humans at virtually all tasks.”

But the threat or danger of superhuman AI may not be as it seems. Just because AI is an incredibly fast problem-solver does not mean it surpasses us as humans. We embody much more value than the economically valuable tasks we perform. The rhetoric around superintelligent AI diminishes what is most important about being human. After all, there is an enormous difference between superhuman calculation speed or precision—and being more than human. When definitions of intelligence are reduced to tasks historically valued by markets, we end up with a distorted picture.

I believe market forces will show the opposite. A supply shock of artificial general intelligence—defined as economically valuable tasks—should lead to falling value of the technology, while in parallel increasing the value of what is unique to the human mind, things AGI cannot deliver.

From this perspective, superintelligent AI appears distant. But AI already poses a threat to our human rights and our security. That is why we need to focus on the dangers here and now, instead of speculating about AI’s impact on the survival of humanity.

‍