Lagstiftningen om artificiell intelligens måste synkas med lagstiftningen och metoder inom cybersäkerhet

Under Tallinn Digital Summit 2018, deltog jag i sessionen ”Safty and Security in the age of artificial intelligence” tillsammans med fyra ministrar och tre andra specialister inom området. Så här öppnade jag sessionen:

Skärmavbild 2018-10-17 kl. 14.36.45.png”I have recently worked on a number of implementations of cyber security laws in organisations. I would like to briefly explain the need for a legal foundation that enforce safe development of AI systems and, above all, the need for it to be in line with previous cyber security legislation and methods.

Within corporations and other organisations, current risk management regarding IT systems is primarily based on two different points of view. The first is the risks regarding the organisation itself which needs to be managed in order to securely continue with operations. The second is the individual perspective which is regulated by privacy laws, like for example the Data Protection Act. Here, the risks and potential repercussions of mismanagement of personal data are analysed. Within organisations that handle a large amount of sensitive personal information and within government bodies, current legislation requires an independent Data Protection Officer who ensures compliance with existing legal requirements.

From a societal point of view, we have a different legislation which focuses on activities of importance to Europe for example. An example of this is the NIS-Directive which aims to ensure the reliability and security of network and information services which are essential to everyday activities.

The problem is that currently we lack a comprehensive legal framework to protect society – and the rest of the world – against organisations which are irresponsible in their development of artificial intelligence. Furthermore, there are no acknowledged standards, methods or indeed precedents within the area. As a result, as long as the integrity of the management of personal data is maintained, there are currently no restrictions, other than ethical, on any irresponsible development of artificial intelligence.

To manage the gap between regulation and the capability of the new systems, it will be essential to introduce processes within the organisations which focus on the management of risks associated with artificial intelligence. However, there is no need to reinvent the wheel. Current cyber security methods and guidelines can be complemented by our current knowledge of research within artificial intelligence. Notably, potential risks are far more wide-ranging than cybersecurity and have a large impact on fairness, ethics, transparency and accountability.

To manage these risks, I have four suggestions:

The first is to define the fundamental principles that should guide the development of artificial systems from a security, fairness, ethics, transparency and accountability point of view.

The second is to legislate against the irresponsible development of artificial intelligence. This legislation can be similar to the Data Protection Act, but with a focus on the protection of society as opposed to the protection of the individual.

The third is to define a model for the safe development of artificial systems which the legislation can refer to. Such a model could be used to determine whether right tests have been performed and to ensure that correct principles for system architecture and design have been adhered to. I really want to emphasize that such a model should not deviate from but rather complement existing models and processes for secure development like for example Microsoft’s Security Development Lifecycle or Privacy by Design. Any large deviation from existing frameworks may not only jeopardise the ability of the organisations to implement them but may also be prohibitively expensive.

The fourth is that developers of artificial intelligence systems need to have a process for independent verification. An example could be an independent representative who verifies that the organisation complies with the legislation, an AI Protection Officer with a similar position as the current Data Protection Officer.

Finally, I want to re-emphasise that all legislation within the area must mirror existing legislation and methods for secure development. Otherwise we will not get the results we are aiming for.

Åsa Schwarz”

Sessionen om säkerhet och artificiell intelligens hade följande deltagare:

Skärmavbild 2018-10-17 kl. 09.27.42.png

Efterordet till De sju nycklarna

Nedan är efterordet till hackerthrillern De sju nycklarna. De tio punkterna för ett säkrare digitalt samhälle är mer aktuella än någonsin inför Almedalen och valet. Punkterna är framtagna under dialog med kollegor, vänner och kontakter i sociala media.

Efterord

Med den här berättelsen vill jag visa hur sårbart vårt samhälle egentligen är. Tyvärr finns det mycket enklare sätt att angripa vår infrastruktur än via nycklarna till internet. De finns i verkligheten men säkerhetsmekanismerna och tekniken runt nycklarna är dock något tillrättalagda för att berättelsen ska bli bra.

Sanningen är att Sverige är ett mycket framgångsrikt land när det kommer till att digitalisera den offentliga sektorn och har, efter Silicon Valley, flest antal startups i världen. Men få pratar om vad det här innebär ur ett säkerhetsperspektiv och hur vi måste förändra vårt arbetssätt, vår utbildning och organisation för att hänga med i utvecklingen. Dessutom utsätts vi för omfattande propagandakampanjer från främmande makt. Speciellt i valtider.

Nu har vi ägnat några hundra sidor åt problemet med internets säkerhet. Men vad ska vi då göra åt säkerhetsproblematiken? Nedan är tio punkter som jag är övertygad om skulle göra vårt land lite säkrare, tryggare och robustare:

1. Våra politiker måste ta sin personliga cybersäkerhet på allvar

Vi har i USA sett hur dålig säkerhet kan påverka val. Låt det inte bli så i Sverige. Varje enskild politiker är ansvarig för att se till att de är tillräckligt kunniga och har en tillräckligt säker dator och telefon. Besitter man inte själv kompetensen, kan man ta hjälp. Den personen i partiet som har sämst säkerhet kommer sätta nivån för hela partiet eftersom mejl och dokument delas av många.

2. Vi borde lära oss digital säkerhet redan i grundskolan

I dag är nästan hela vårt digitala liv upphängt runt vårt mejlkonto som är kopplat till nästan alla tjänster vi använder. Ibland är lösenor- det detsamma som när vi startade kontot tio år tidigare. Vi spenderar en stor del av vårt liv på nätet och i sociala nätverk. Vi betalar våra räkningar, vår skatt och får vår lön via nätet. Redan i grundskolan borde vi därför lära oss hur vi skapar ett säkert lösenord, att man inte ska klicka på vad som helst och att folk inte alltid är de som de utger sig för att vara.

3. Vi måste stoppa den snabba ökningen av it-bedrägerier

Mellan Q1 2015 och Q1 2016 dubblerades antalet it-bedrägerier och de står nu för 2 % av Sveriges BNP. Satsa pengar på att höja medvetenheten hos medborgarna och utbilda fler poliser i att utreda it- brott. Det är lönsamt för landet.

4. Vi måste öka medvetenheten om hur propaganda fungerar

Vi befinner oss mitt i en propagandastorm där främmande makt försöker påverka vår valutgång. Professionella bloggfabriker spyr ut desinformation och artiklar sprids i sociala medier. Alla som röstar bör få information och kunskap om mekanismerna bakom desinformation och propaganda. Med fördel skulle även detta vara en del av den digitala säkerhetsutbildningen i skolan.

5. Vi måste aktivt säkra kompetens inom cybersäkerhet

Vi står inför en skenande kompetensbrist inom cybersäkerhet. Antalet experter ökar inte i samma takt som efterfrågan (+10–15 % om året). I förlängningen är detta ett av Sveriges största säkerhetsproblem. För få organisationer tar kostnaden eller har möjlighet att lära upp en person som kommer direkt från universitetet till att bli en cybersäkerhetsexpert. Vi måste lösa detta på nationell nivå.

6. Våra myndigheter och kommuner måste följas upp

Det finns ingen effektiv central uppföljning av cybersäkerhet i dag. Våra kommuner och landsting visar i en rad olika rapporter brister inom området. Det borde finnas en tydlig uppföljning och mätning av säkerheten, konsekvenser vid allvarliga brister och möjlighet till stöd för att åtgärda dem.

7. Vi måste ha en central och kraftfull incidenthantering

Utvecklingen av produkter, system och tjänster ökar exponentiellt samtidigt som beroenden mellan dem blir alltmer komplexa. Hur bra vi än blir på säkerhet, kommer det med jämna mellanrum att ske allvarliga incidenter. Och därför behöver vi även bli riktigt bra på att hantera dessa incidenter och på så sätt minska effekterna av dem markant. För att höja effektivitet och kompetens borde all inci- denthantering ligga på ett ställe i stället för, som i dag, på flera olika myndigheter med olika mandat. Det ger också en bra grogrund för att utbilda en ny generation av experter.

8. Vi måste ha en vettig avvägning mellan säkerhet och integritet

Det har varit en lång diskussion om datalagringsdirektiv kontra personlig integritet. Diskussionen har varit alldeles för svartvit. Först ska vi inte lagra någonting, sedan när folk börjar skrika terrorism ska vi logga allt. Personligen tycker jag att polisen vid allvarliga brott ska ha möjlighet att koppla en ip-adress till en fysisk person. Samtidigt ska varje lagring av personuppgifter vara välmotiverad. Den nya EU- lagstiftningen, GDPR, gör att personlig integritet är i särklass det område som organisationer kommer att investera mest pengar i närtid. Det är bra och det kommer även höja vårt samhälles robusthet generellt.

9. Produktbolagen måste ta ansvar för säkerheten i sina produkter

Tillverkarna av produkter som är uppkopplade mot nätet måste hållas ansvariga för säkerheten i sina produkter. Det är inte bara deras kunder som blir drabbade av den dåliga säkerheten, utan hela samhället kan utsättas för till exempel DDoS-attacker när processorkraften i de hackade produkterna används. Om vi har till exempel el-säker- hetsmärkningar (CE), varför har vi då inte it-säkerhetsmärkningar?

10. Vi behöver framtidssäkra vår infrastruktur

Vår nästa stora etiska och tekniska utmaning är artificiell intelligens som precis tagit ett stort utvecklingssteg framåt i och med något som kallas maskininlärning. Du kan numera lära upp datorer med hjälp av frågor och svar. Artificiell intelligens är inte längre science fiction utan på väg med stormsteg in i vår vardag, vilket innebär nya frågeställningar. Vem ska till exempel den självkörande bilen välja att köra på om den inte hinner bromsa, barnvagnen på trottoaren eller det gamla paret som går över gatan? Hur kan vi på ett optimalt och säkert sätt utnyttja våra vägar med självbärande bilar som kan köra med bara någon decimeters avstånd till varandra? Vad innebär detta för kommunala färdsätt?”

Läs CENTR – novell om makten över internet

Centr slutligt omslagNu kan du läsa min spänningsnovell CENTR som handlar om makten över internet. Innehållet  är skönlitterärt men inspireras av en av de viktigaste frågorna i internets historia som just nu är aktuellare än någonsin.

USA har gått med på att släppa kontrollen över ICANN som hanterar adressregistret över alla toppdomäner. Adressregistret gör med andra ord att internettrafiken t ex styrs till rätt land. För att USA ska släppa kontrollen har de ställt vissa krav som måste uppfyllas före september i år. Frågan är vad som händer om det inte blir så?

Jag har skrivit novellen under våren på uppdrag av .SE för att skickas till medlemmarna i Centr, den Europeiska organisationen för toppdomäner, inför en konferens som gick av stapeln den 1-3 juni 2015 på Sheraton hotell i Stockholm.

Jag äger rättigheterna och du får sprida novellen hur mycket du vill under förutsättning att den behålls intakt.

Klicka HÄR för att tanka ner den i pdf-format.

Trevlig läsaning!

/Åsa