Därför satsar jättarna på AI-chip

Google har utvecklat sin Tensor Processing Unit. Apple har sin A11. Huawei Kirin 970. Ryktet säger att Amazon också har saker på gång. Det handlar om hårdvara byggd för att göra de beräkningar som krävs för artificiell intelligens så snabbt, strömsnålt och säkert som möjligt. Men varför utvecklar jättarna egna AI-krestar?

Det är en fråga som lättast besvaras i tre steg:

1. Vad är fördelarna med specialiserad, så kallad dedikerad, hårvara?
2. Vilka fördelar ger dedikerad hårdvara för AI-beräkningar?
3. Vilka är fördelarna med att utveckla egen, dedikerad hårdvara för AI-beräkningar?

Varför behövs dedikerad hårdvara?

Det vi i dagligt tal kallar för processorer är hårdvara som är bra på mycket. Håkan Grahn, professor på Blekinge Teknisk Högskola, gör en liknelse med en schweizisk armékniv:

– Den innehåller massor av olika verktyg och går att använda till mycket. Men om du vet att du ska såga massor av bräder, då vill du ha en riktig såg. En Volvo är en bil som går att använda till lite av varje, men ska du ut på en racerbana eller köra i terrängen väljer du hellre något som är anpassat för uppgiften.

På liknande sätt är en generell processor bra på mycket. Och som användare av datorer och mobiltelefoner har vi vant oss vid att prestandan ständigt förbättras och att det därmed blir möjligt att använda prylarna till allt mer avancerade uppgifter, trots att processorerna är ”mångsysslare”.

Genom åren har prestandaförbättringen åstadkommits på olika sätt. Först genom att öka klockfrekvensen i processorerna, något som låter dem jobba snabbare. Sedan genom att förse processorerna med fler kärnor, vilket låter dem jobba med mer än en beräkning per klockcykel.

Men successivt närmar vi oss taket för vad som är möjligt att göra med generella processorer, vilket enligt Theo Kanter, professor på Stockholms Universitet, är en av anledningarna till att det finns en tydlig trend mot det som kallas för heterogeneous computing:

– Det innebär att man vill putta ut allt fler beräkningar från huvudprocessorn till specialiserade kretsar. I en dator finns grafikkretsar, i en mobiltelefon hårdvara för bland annat radiokommunikationen. I takt med att behovet av speciella beräkningar såsom AI ökar och begränsningarna för de generella processorerna blir tydligare kommer vi få se allt mer av dedikerad hårdvara, säger han.

Vad som lämpar sig för att lägga i händerna på dedikerad hårdvara finns det däremot inget enkelt svar på. Oscar Gustafsson, docent på avdelningen för datorteknik på Linköpings Universitet, säger att det ofta handlar om ekonomi:

– Med dedikerad hårdvara får man bara de funktioner som behövs för uppgiften, man kan optimera tallängder och liknande, man kan göra minneshanteringen mer effektiv. Men att utveckla dedikerad hårdvara är dyrt, så det kan ändå vara mer kostnadseffektivt att använda en mindre optimerad lösning trots lägre prestanda, säger han.

Valet mellan energiförbrukning och prestanda å ena sidan och flexibiliteten å den andra handlar också om användarvänlighet:

– Det finns många som kan programmera C, men de som kan skriva hårdvarubeskrivande kod är få, säger Oscar Gustafsson.

Varför är dedikerade AI-kretsar en bra idé?

Med mobiltelefoner kom behovet av hårdvara specialiserad på radiokommunikation. Datorspelsutvecklarna har varit drivande i utvecklingen mot dedikerade grafikkretsar. När nu AI får allt fler praktiska tillämpningar i produkter bland annat för slutkonsumenter är det därför inte överraskande att det utvecklas AI-kretsar. Det handlar exempelvis om att förbättra precisioner i röststyrning och bildigenkänning.

– I dagsläget är det framför allt teknik för deep learning och neurala nätverk man bygger hårdvara för. Det är modeller som bygger mycket på matrisoperationer, och därför designar man en hårdvara som är bra på just det, säger Håkan Grahn och fortsätter:

– Inom AI behöver man inte heller ha så många decimalers precision i beräkningarna, vilket gör att talen går att representera med färre bitar. Det ger i sin tur kortare exekveringstid, eftersom det går snabbare att multiplicera 8 x 8 bitar än 16 x 16.

Den specialiserade hårdvaran ger för AI samma fördelar som all dedikerad hårdvara: Ökad prestanda och minskad energiförbrukning eftersom den bara gör precis vad den ska. Men en annan fördel rör användarens personliga integritet.

En bidragande orsak till alla tre fördelarna är att AI-beräkningarna i större utsträckning kan utföras i användarens prylar istället för att behöva skickas till molnet. Att slippa skicka data över internet sparar tid. Men också ström, eftersom radiokommunikation är energikrävande.

Dessutom innebär lokala beräkningar att potentiellt känslig information aldrig behöver skickas via nätet. Theo Kanter har varit inblandad i ett forskningsprojekt som tydligt visar hur:

En medicinlåda kommunicerade med en kamera för bildanalys av rörelsemönster för att gemensamt verifiera att patienten ätit sin medicin. Med rörelsesensorer i medicinlådan och sensorer i varje lucka gick det att avgöra om rätt lucka hade öppnats, men inte om patienten verkligen åt sin medicin. Kameran kunde hålla koll på om patienten hade stoppat något i munnen, men inte vad. Lösningen blev en kombination: Om medicinlådan signalerade att rätt lucka hade öppnats och kameran såg att något stoppats i munnen antogs patienten ha ätit sin medicin.

Genom att göra beräkningarna på plats behöver känslig information inte skickas till molnet. I det här fallet handlar det om analysera bildströmmen i videokameran och istället skicka resultatet av analysen av rörelser och kroppshållningen.

– Lådan och kameran kunde tillsammans avgöra om patienten hade tagit sin medicin, och sen kunde svaret på den frågan skickas till nätet, säger Theo Kanter.

Det går att hitta många tänkbara tillämpningar för AI där den data som analyseras kan vara känslig, men där resultatet inte är det. Röststyrning är ett bra exempel på det. För att tekniken ska kunna reagera på röstkommandon behöver den hela tiden lyssna på det som sägs.

Internet of things är en annan faktor som driver på utvecklingen mot AI-beräkningar långt ute i nätverken, och därmed också intresset för dedikerad hårdvara. Inom industrin utvecklas exempelvis många lösningar för det som kallas för prediktivt underhåll. Det innebär att underhåll planeras efter faktiskt tillstånd och inte efter driftstid eller andra förutbestämda intervall. Här kan AI bland annat hjälpa till att analysera vibrationer som samlas in av sensorer i en maskin, och utifrån analysen dra slutsatser om när underhåll behövs.

Varför utveckla egen dedikerad hårdvara för AI?

Då återstår bara den sista delfrågan: Varför utvecklar flera it-jättar egen hårdvara?

– Om jag ska spekulera: De vet vad de vill åstadkomma och har resurser att skapa hårdvara för det. Att ha kontroll över både mjukvara och hårdvara ger helt andra möjligheter till en helhetsoptimering av systemet. Men det är enormt dyrt att utveckla den här typen av hårdvara och därför är det bara ett fåtal som har möjlighet att göra det, säger Håkan Grahn.

Oscar Gustafsson är inne på samma förklaring:

– En vanlig processor är en gissning av vad kunden vill använda den till, och där besluten görs genom programkoden. Bygger man hårdvaran själv vet man precis vad den ska användas till och kan då designa därefter.

De största IT-företagen, som Google, Apple och Amazon, har utvecklat egen hårdvara specialdesignad efter de egna behoven sedan ett tag tillbaka. Vi kan nog räkna med att det är en trend som kommer att accelerera, i takt med att kunderna förväntar sig nya funktioner och det är dedikerade lösningar som krävs för att göra dem möjliga. Gapet mellan de stora och de inte fullt så stora kan därmed tänkas växa ytterligare.

Anders Thoresson har bevakat IT och telekom sedan 1999, först som reporter på Ny Teknik och sedan 2006 som frilans. Genom åren har hans texter bland annat publicerats i Dagens Nyheter, Dagens Industri, Forskning och Framsteg, IVA Aktuellt och Ny Teknik. Han har också skrivit flera Internetguider åt IIS och gör poddcasten Digitalsamtal. Du når Anders via hans webbplats.