ChatGPT4 – enorma möjligheter men både ett GDPR och etiskt bekymmer

Den italienska regeringen har beslutat att tillfälligt förbjuda OpenAI’s ChatGPT för att utredan huruvida den bryter mot GDPR, som omhändertar EU medborgares integritet. Men det finns även risk för andra potentiella övertramp, som diskrimineraing, som EU-medborgare exponeras för. Innan EU’s AI lagstiftning träder i kraft nästa år behöver den svenska regeringen inleda en utredning för att undersöka hurudvida OpenAI bryter mot GDPR och hur våra mänskliga rättigheter omhändertas i generativa AI system som ChatGPT.

ChatGPT och andra generativa AI system[1] förverkligar den efterlängtadade  demokratisering av AI. Fler människor kan ta del av och skapa nytt innehåll framtaget av språkmodeller som tränats på historiska data. Tröskeln för organisationer att tillvarata värdet av teknologin sänks.

Samtidigt exponeras individer och samhället varje dag för oavsiktliga etiska och legala övertramp till följd av oreglerade AI-lösningar. Till exempel har ChatGPT4 producerat falsk data kring individer, genom att den har kompenserat för detaljer som träningsdatan har saknat. Detta är ett GDPR bekymmer eftersom EU medborgare har rätt till sin data och rätt till rättelser av fel och det är i nuläget oklart huruvida personer kan be OpenAI att rätta felaktigheter. Två dagar efter Elon Musk och Steve Wozniaks varningsbrev[2] för mer kraftfulla generativa AI system och uppmaningar till regelverk att komma ikapp den exploderande AI-utvecklingen, förbjöd den italienska regeringen tillfälligt OpenAI att bearbeta lokal data. Den hänvisade till att ChatGPT potentiellt bryter mot GDPR och har initierat en utredning. Sannolikt kommer andra regeringar att följa efter.

När det gäller kontroll av etiska och legala övertramp i generativa AI system som ChatGPT, utmanas vi på ett kraftigare och mer svårgenomskådliga sätt än andra AI-lösningar. Ett skäl till detta är att användningen av generativa AI-system ofta sker via API:er, vilket ger en låg grad av insyn över lösningen och avsaknad av kontroll över utvecklingen av den. Om modellen genererar innehåll som är olämpligt eller skadligt på något sätt, är det svårt att bedöma vem som är ansvarig för det eftersom man inte har kontroll över hur modellen fungerar. Samtidigt sker de etiska och legala övertrampen subtilt och plötsligt, för små för att upptäckas, men med risk för exponentiell skada. Ett exempel är deep fakes, som i praktiken ofta används för att manipulera ett ansikte och en röst i video eller ett foto. Att generativa AI-modeller ofta görs tillgängliga som API:er kan göra det lättare för användare att komma åt och använda tekniken, vilket i sig kan öka risken för missbruk. API-baserade generativa AI-modeller är inte i sig riskabla, men sättet på vilket de används och den data de utbildas på kan göra dem riskabla.

EU’s AI lagstiftning, AI Act, kommer sannolikt träda ikraft nästa år, men det brådskar redan nu att en utredning inleds, både för att undersöka hurudvida OpenAI bryter mot GDPR och hur våra mänskliga rättigheter omhändertas i generativa AI system som ChatGPT.

Anna Felländer, VD och grundare anch.AI,

[1] Generative AI refers to artificial intelligence that can generate content, rather than simply analyzing or acting on existing data. Generative AI models produce e.g. text and images: blog posts, program code, poetry, and artwork. The software uses complex machine learning models to predict the next word based on previous word sequences, or the next image based on words describing previous images. In the shorter term, we see generative AI used to create marketing content, generate code, and in conversational applications such as chatbots.

[2] https://www.di.se/digital/svenska-ai-experter-sagar-musks-varningsbrev/

‍

English Translation by AI

‍

The Italian government has decided to temporarily ban OpenAI’s ChatGPT in order to investigate whether it violates GDPR, which safeguards EU citizens’ privacy. But there is also a risk of other potential violations, such as discrimination, that EU citizens may be exposed to. Before the EU’s AI legislation comes into force next year, the Swedish government needs to launch an investigation to examine whether OpenAI is breaching GDPR and how our human rights are being safeguarded in generative AI systems like ChatGPT.

ChatGPT and other generative AI systems[1] realize the long-awaited democratization of AI. More people can access and create new content generated by language models trained on historical data. The threshold for organizations to capture the value of this technology is lowered.

At the same time, individuals and society are exposed daily to unintentional ethical and legal violations as a result of unregulated AI solutions. For example, ChatGPT-4 has produced false data about individuals by filling in details that were missing from its training data. This is a GDPR concern because EU citizens have the right to their data and the right to corrections of errors, and it is currently unclear whether individuals can ask OpenAI to correct inaccuracies. Two days after Elon Musk and Steve Wozniak’s open letter[2] warning about more powerful generative AI systems and urging regulators to catch up with the exploding development of AI, the Italian government temporarily banned OpenAI from processing local data. It referred to the possibility that ChatGPT may violate GDPR and initiated an investigation. Other governments are likely to follow.

When it comes to monitoring ethical and legal violations in generative AI systems such as ChatGPT, we are challenged in a stronger and more opaque way than with other AI solutions. One reason for this is that generative AI systems are often used via APIs, which provide little transparency into the solution and a lack of control over its development. If the model generates content that is inappropriate or harmful in some way, it is difficult to assess who is responsible, since there is no control over how the model works. At the same time, ethical and legal violations occur subtly and suddenly—too small to detect, yet with the potential for exponential harm. One example is deepfakes, which in practice are often used to manipulate a face and voice in a video or photo. The fact that generative AI models are often made available as APIs can make it easier for users to access and use the technology, which in itself can increase the risk of misuse. API-based generative AI models are not inherently risky, but the way they are used and the data they are trained on can make them risky.

The EU’s AI legislation, the AI Act, will likely come into effect next year, but it is already urgent that an investigation be launched—both to examine whether OpenAI is violating GDPR and to ensure that our human rights are safeguarded in generative AI systems like ChatGPT.

Anna Felländer, CEO and founder of anch.AI

[1] Generative AI refers to artificial intelligence that can generate content, rather than simply analyzing or acting on existing data. Generative AI models produce, for example, text and images: blog posts, program code, poetry, and artwork. The software uses complex machine learning models to predict the next word based on previous word sequences, or the next image based on words describing previous images. In the shorter term, we see generative AI used to create marketing content, generate code, and in conversational applications such as chatbots.

[2] https://www.di.se/digital/svenska-ai-experter-sagar-musks-varningsbrev/

‍