Att testa AI. Eva Holmquist. (avsnitt 92)

Play

Hur testar vi AI? För att få svar på den frågan vänder vi oss till Eva Holmquist, Sr Test Specialist. Hon börjar med att avgränsa diskussionen till det vi har mest av idag: snäv, specialiserad AI. Inte generell AI som liknar en mångsidig människa, utan AI som är bra på att lösa ett specifikt problem. Det som skiljer traditionella system från AI-baserade är att de senare lär sig. System som inte har en lärande komponent har ett beteende som är samma över tid.

Så är inte fallet med intelligenta system. Det innebär att du måste ha övervakning även efter produktion, för att inte systemet ska utvecklas till nåt annat – beroende på vilken input den får. Se t ex chatbots där en tweetbot var tvungen att stängas av eftersom den blivit rasistisk. Här hade AI-testning kunnat förebygga problemet genom att sätta upp parametrar som från början rensar bort felaktig input och genom att sätta in övervakning över vissa parametrar. I andra situationer är det AIs träningsdata som felar; man kanske använder historisk data som cementerar strukturer. Systemet får helt enkelt inte rätt grund att stå på. I ytterligare fall måste man testa AIs moral. Eva ger oss målande exempel.

Hur lyckas vi med test av intelligenta system?
Ha koll på grunddatan och bedöm lärandet systemet har under produktion.
Övervaka det lärande som sker efter produktion, att det håller sig inom givna parametrar.
Kontrollera vad det är AI baserar sina analyser på.
Håll koll på hur systemen verkligen fungerar. En del system kan vara traditionella i en första anblick, men innehålla AI-komponenter. Det påverkar hur man behöver testa.
Testa som vanligt också.

Play

Eva Holmquist, Jonas Jaani (21:50)

PRENUMERERA – podcast Effekten
iPhoneAndroidSpotifye-post

Test av AI

When AI “goes bad”
Algorithms and Bias in the Criminal Justice System
The Algorithms Aren’t Biased, We Are
Testing in the Digital Age – AI makes a difference

Eva på LinkedIn
A tester’s thoughts on Automation and AI: 2
A tester’s thoughts on Automation and AI: 3
A tester’s thoughts on Automation and AI: 4

Podcasten Effekten finns där du hittar dina övriga poddar (tex Spotify) Prenumerera med din favoritapp Klicka här för att få hjälp. Digitaliseringens podcast för dig som är beställare, konsult eller är intresserad av den pågående digitaliseringen.  Aktuella poddavsnitt: Digital marknadsföring, machine learning, AI, gigekonomi, ux, digitaltransformation. En sida med alla avsnitt

Automation är inte så farligt? Fredrik Scheja. (avsnitt 84)

Play

Automation berör oss alla. Den finns runt omkring oss i vardagen och vi utnyttjar den för fullt; som konsument är man numera van att snabbt kunna jämföra två produkter, med hjälp av digitala beslutsstöd. “Automation är att lösa en uppgift med maskiners hjälp, för att göra jobbet effektivare – och i förlängningen ge oss människor superkrafter!” Eller bara ge oss tid till viktigare saker. Men det finns rädslor kring begreppet. Försvinner mitt jobb? En del som arbetar med automatisering blir hotade till livet. Möt Fredrik Scheja, testarkitekt och expert på att automatisera test i mjukvarubranschen. Han beskriver hur den tid som vinns vid automation används av testare till att stötta med krav och ge mätbara värden i verksamheten – istället för att jaga småbuggar.

Det handlar också om en ändrad inställning till sitt eget arbetsliv. Man måste inse att målet med sitt yrke inte är att leda eller göra aktiviteter, utan att skapa värde och ta smarta beslut. Då kan vi anamma automation och se maskinen som ett stöd istället för en fiende.

Play

Videoavsnitt: Automation är inte så farligt? Fredrik Scheja. (Video # 84)
Fredrik Scheja, Mikael NorbäckJonas Jaani (14:01)

PRENUMERERA – podcast Effekten
iPhoneAndroide-post

Fredrik Scheja, automation

Mer länkar / material:

”In Code We Trust”: Report 2 of 4 in Digital Happiness Series

Metrics-Driven Development

Metrics Driven Development and DevOps

Upskilling your people for the age of the machine

 

Följ oss på LinkedIn och prenumerera på podcasten Effekten. Vi inspirera, delar erfarenheter och kunskap om digitaliseringen. I bloggen så finns aktuella ämnen och på Twitter finns kortare inlägg om allt digitalt.  Aktuella poddavsnitt: skolan, cybersecurity, gigekonomi, ux, digitaltransformation.

Alla poddavsnitt av Effekten finns här

Machine Learning med Martin Sjöbeck (avsnitt 81)

Play

Martin Sjöbeck har studerat Machine Learning och arbetar nu som konsult inom området. Maskininlärning (ML) är en disciplin inom artificiell intelligens (AI), som i sin tur är en del av datavetenskap. Det magiska med ML är helt enkelt att datorn analyserar stora mängder data och på ett ögonblick drar slutsatser från det underlaget. Datorns algoritmer ser mönster hos i exempelvis kundernas loggade beteenden och kan sedan förutspå med viss sannolikhet hur kunden kommer att agera. Företag arbetar ständigt med modeller för att med en högre ackuratess förutsäga framtiden. Neurala nätverk, big data, ackuratess, klustringar, beslutsträd – Martin förklarar övergripligt vad som kan åstadkommas med Machine learning.

Var inte rädd för ämnet! Det krävs inte djupa programmeringskunskaper. Gör en tankekarta på vad du vill åstadkomma. Spara sedan data inom det området och utnyttja gärna data från öppna api:er (t ex vädret när någon handlar). Tvätta datan och analysera i machine learning-modellen. På nätet finns öppna bibliotek och gratis programvaror, där du själv träna en modell att analysera datan och dra slutsatser. Följ länkarna nedan!

Play

Martin Sjöbeck, Jonas Jaani (23:37)

PRENUMERERA – podcast Effekten
iPhoneAndroide-post

Martin Sjöbeck

Kaggle
En öppen databas för machine learning experiment, stort community och tävlingar hålls as we speak,

Tensorflow
Ett open source machinelearning framework för alla att experimentera med (skapat av google).

Följ oss på LinkedIn och prenumerera på podcasten Effekten. Vi inspirera, delar erfarenheter och kunskap om digitaliseringen. I bloggen så finns aktuella ämnen och på Twitter finns kortare inlägg om allt digitalt.  Aktuella poddavsnitt: cybersecurity, gigekonomi, ux, digitaltransformation

Designing for What’s Next. Josh Clark. (episode 80)

Play

Jan Bidner met with Josh Clark, from the American design studio Big Medium, headlining the conference UX London this year. The topic was Designing for What’s Next: The last ten years digital interaction has been driven by mobile, the next ten years will be driven by machine learning and AI. Engineers have showed us what is possible, now it is time for designers to find out how to use it – and the presentation of data is as important as the underlining logarithm.

Machine learning services are available for free! Microsoft, Google, and Amazon have web-friendly interfaces that anyone can try out and evaluate. UX researchers need to support the data scientists when it comes to building models that reflect the whole base of humans that we want to serve. Otherwise the data and the AI interfaces will be biased, developed by privileged white people in the western World. Image analysis is a typical example when things sometimes go wrong. A picture of a dinosaur on a measurer was described as a dinosaur on a skateboard…

Bots today use natural language, even sounding like humans in a phone call. But they are still less capable than humans. Is that what we want? How do we create interfaces that set the appropriate expectations that reflect what the system is actually capable of? It could be good to present the bot as a bot. (See Google Duplex.)

So what happens now? Very few interfaces go away. The keyboard is still there. Touch is still there. We are just adding more interfaces. The speech interface is here now, but it is not replacing the other ones, e.g. in open offices.

Play

Josh Clark, Jan Bidner (23:46)

Subscribe podcast Effekten (mainly Swedish episodes)
iPhoneAndroide-mail

Josh Clark
Josh Clark

Josh on Twitter

UX London speaker Josh Clark

Big Medium