NPU: Hoe je smartphone de kunst van het denken nabootst

Een Neural Processing Unit (NPU) is een gespecialiseerd type processor dat is ontworpen om de berekeningen te versnellen die nodig zijn voor taken op het gebied van kunstmatige intelligentie (AI) en machine learning.

Hoewel NPU’s een essentiële rol spelen in de ontwikkeling van AI, is het bekendheid ervan minder wijdverspreid dan dat van AI zelf. AI is namelijk een concept dat we gemakkelijk kunnen begrijpen en toepassen in ons dagelijks leven. Een NPU, daarentegen, is gebaseerd op technische specificaties van een chip die de onderliggende berekeningen voor AI mogelijk maakt. Het is daarom een meer abstract concept.

Veel van de aandacht in de AI-industrie gaat dus uit naar softwareontwikkeling en algoritmes. Hoewel hardware cruciaal is, wordt het vaak als een gegeven beschouwd.

Waarom is het belangrijk om te weten van NPU’s?

Door te begrijpen hoe NPU’s werken, krijgen we een beter inzicht in de beperkingen en mogelijkheden van AI. Als je op de hoogte bent van NPU’s, kun je ook beter geïnformeerde keuzes maken bij het kopen van elektronica, zoals smartphones of laptops.

Hoewel NPU’s minder bekend zijn dan AI, zijn ze een essentieel onderdeel van de AI-revolutie. Door te begrijpen hoe NPU’s werken, begrijpen hoe ook beter hoe AI onze wereld verandert.

De term Neural Processing Unit doet vermoeden dat er een overeenkomst is met ons brein. Die vergelijking behandelen we verderop in dit artikel.

De NPU is hardware

Hoewel Nvidia een pionier is op het gebied van AI-versnelling, zijn ze oorspronkelijk begonnen met het gebruik van hun grafische processoren (GPU’s) voor AI-taken. GPU’s zijn ontworpen voor het parallel verwerken van grote hoeveelheden data, wat een perfecte match bleek voor de rekenintensieve taken die bij machine learning komen kijken. NPU’s bestonden destijds nog niet.

De essentiële kenmerken

Focus op AI: in tegenstelling tot algemene CPU’s of GPU’s zijn NPU’s specifiek geoptimaliseerd voor de wiskundige bewerkingen die betrokken zijn bij neurale netwerken, zoals matrixvermenigvuldigingen en convoluties.

Efficiëntie: Ze zijn ontworpen om grote hoeveelheden data zeer efficiënt parallel te verwerken, wat cruciaal is voor AI-taken zoals:

• Beeldherkenning: Het identificeren van objecten en gezichten op foto’s en video’s.
• Spraakherkenning: Het omzetten van gesproken taal in tekst.
• Natuurlijke taalverwerking: Het begrijpen en genereren van menselijke taal.
• Machinevertaling: Het vertalen van tekst tussen verschillende talen.

Toepassingen: NPU’s worden steeds vaker aangetroffen in:

• Smartphones: verbeterde functies zoals cameramogelijkheden (bijvoorbeeld portretmodus, scèneherkenning), spraakassistenten en AI-verwerking op het apparaat.
• Datacenters: grootschalige AI-toepassingen in cloudcomputingomgevingen.
• Zelfrijdende voertuigen: realtime objectdetectie en besluitvorming mogelijk maken.
• Edge-apparaten: AI-mogelijkheden toevoegen aan apparaten die dichter bij de gegevensbron staan, zoals IoT-sensoren en industriële apparatuur.

NPU’s spelen in essentie een cruciale rol bij de ontwikkeling van AI-technologie, doordat ze snellere, efficiëntere en krachtigere AI-toepassingen mogelijk maken.

Hoe werkt een Neural Processing Unit (NPU)?

Een Neural Processing Unit (NPU) is een gespecialiseerde chip die ontworpen is om de berekeningen te versnellen die nodig zijn voor kunstmatige intelligentie (AI) en machine learning.

Stel je een NPU voor als een supercomputer voor je brein. Terwijl onze hersenen miljarden neuronen gebruiken om informatie te verwerken, gebruikt een NPU miljoenen transistors om wiskundige berekeningen uit te voeren die vergelijkbaar zijn met die van neuronen.

Hoe verschilt een NPU van een CPU of GPU?

• Specialisatie: Terwijl CPU’s en GPU’s ontworpen zijn voor algemene taken, is een NPU gespecialiseerd in de zeer specifieke berekeningen die nodig zijn voor AI-taken zoals beeldherkenning, spraakherkenning en natuurlijke taalverwerking.
• Parallelle verwerking: NPU’s zijn uitstekend in het uitvoeren van veel berekeningen tegelijkertijd, wat essentieel is voor AI-modellen die grote hoeveelheden data moeten verwerken.
• Energie-efficiëntie: NPU’s zijn vaak energiezuiniger dan CPU’s en GPU’s bij het uitvoeren van AI-taken, wat belangrijk is voor draagbare apparaten zoals smartphones.

Hoe werkt een NPU in de praktijk?

1. De NPU ontvangt data, bijvoorbeeld een afbeelding of een stuk tekst.
2. De data wordt omgezet in een numerieke representatie die de NPU kan begrijpen.
3. De NPU voert een reeks complexe wiskundige berekeningen uit op deze data, geïnspireerd door de werking van het menselijk brein.
4. De NPU produceert een resultaat, zoals een classificatie (bijvoorbeeld “kat” of “hond”), een voorspelling of een beslissing.

Voorbeelden van toepassingen:

• Smartphones: Voor camera-functies zoals portretmodus, object herkenning en verbeterde fotokwaliteit.
• Autonome voertuigen: Voor objectdetectie, verkeersherkenning en besluitvorming in real-time.
• Virtuele assistenten: Voor spraakherkenning en natuurlijke taalverwerking.
• Medische beeldvorming: Voor het analyseren van medische scans en het detecteren van afwijkingen.

In essentie maakt een NPU het mogelijk om krachtige AI-toepassingen te bouwen die sneller, efficiënter en nauwkeuriger zijn.

Werkt een NPU net zo als menselijke hersenen?

Eerder vroegen we ons af of een computer het menselijk denk kan aanvoelen maar nu andersom. Het is zo dat in onze hersenen voortdurend nieuwe verbindingen tussen neuronen ontstaan, waardoor we kunnen leren en ons aanpassen. Dit proces wordt neuroplasticiteit genoemd. Nu de vraag: gebeurt dit ook in een NPU?

Het korte antwoord is: niet op dezelfde manier

• Hardware versus software: Terwijl nieuwe verbindingen in de hersenen een fysieke verandering betekenen (nieuwe synapsen), werken NPU’s met software. De ‘verbindingen’ in een neuraal netwerk zijn wiskundige representaties die worden bijgewerkt tijdens het leerproces.
• Statisch versus dynamisch: Een NPU heeft een vaste hardware-architectuur. Hoewel we de software die erop draait kunnen bijwerken en aanpassen, veranderen de fysieke verbindingen in de chip zelf niet.
• Inspiratie, geen replicatie: NPU’s zijn geïnspireerd op de werking van het brein, maar ze zijn geen exacte replica. Ze zijn ontworpen om specifieke AI-taken efficiënt uit te voeren, en niet om de volledige complexiteit van het menselijk brein te nabootsen.

Wat er wel gebeurt in een NPU

• Gewichtsaanpassing: Tijdens het trainingsproces van een neuraal netwerk worden de ‘gewichten’ van de verbindingen tussen de neuronen aangepast. Dit is vergelijkbaar met het versterken of verzwakken van synapsen in de hersenen.
• Nieuwe netwerken: Het is mogelijk om nieuwe neurale netwerken te creëren of bestaande netwerken uit te breiden. Dit kunnen we zien als een vorm van ‘groei’ in een NPU, maar het gebeurt op softwareniveau en niet op hardwareniveau.

Hoewel NPU’s en het brein bepaalde overeenkomsten vertonen, zijn er ook fundamentele verschillen. NPU’s zijn krachtige tools voor AI, maar ze kunnen niet de volledige complexiteit en dynamiek van het menselijk brein reproduceren.

Zijn er significante verschillen tussen de fabrikanten van NPU’s

Hoewel NPU’s allemaal dezelfde basisfunctie vervullen – het versnellen van AI-berekeningen – zijn er diverse factoren die hen onderscheiden:

• Architectuur: Elke fabrikant heeft zijn eigen unieke aanpak voor de architectuur van de NPU. Dit omvat de interne structuur, de manier waarop data wordt verwerkt en hoe de verschillende onderdelen met elkaar communiceren.
• Prestaties: De prestaties van een NPU worden bepaald door factoren zoals de kloksnelheid, het aantal kernen en de bandbreedte. Verschillende NPU’s excelleren tevens in verschillende soorten AI-taken.
• Energieverbruik: Energie-efficiëntie is een belangrijke factor, vooral voor mobiele apparaten en datacenters. Sommige NPU’s zijn beter in staat om dezelfde taken uit te voeren met minder energie.
• Software-ondersteuning: De software-stack die wordt geleverd met een NPU is cruciaal voor ontwikkelaars. Dit omvat frameworks, bibliotheken en tools die het gemakkelijker maken om AI-modellen te trainen en te implementeren.
• Kosten: De kosten van een NPU variëren sterk, afhankelijk van de prestaties, de complexiteit en de hoeveelheid aangepaste hardware.
• Doelgroep: Sommige NPU’s zijn gericht op consumentenelektronica (zoals smartphones), terwijl andere bedoeld zijn voor datacenters of gespecialiseerde toepassingen.

Enkele voorbeelden van deze verschillen:

• NVIDIA: Bekend om hun krachtige GPU’s die ook uitstekend geschikt zijn voor AI. Ze bieden een breed scala aan software-tools en hebben een grote community van ontwikkelaars.
• Google TPU: Gespecialiseerd in de behoeften van Google’s eigen AI-services, maar ook beschikbaar voor cloudgebruikers.
• Intel: Biedt een breed scala aan AI-acceleratoren, waaronder de Habana Labs-chips die zijn overgenomen.
• Graphcore: Richt zich op graf-neurale netwerken, een type neuraal netwerk dat goed is in het modelleren van relaties tussen data.

Waarom zijn deze verschillen belangrijk?

• Toepassingsgebied: De keuze voor een bepaalde NPU hangt af van de specifieke AI-taak die we willen uitvoeren.
• Kosten: Niet elke organisatie heeft dezelfde budgettaire beperkingen.
• Ontwikkeltijd: Sommige NPU’s bieden meer kant-en-klare oplossingen, terwijl andere meer flexibiliteit bieden voor het aanpassen van implementaties.
• Scalability: De mogelijkheid om de rekenkracht te schalen is belangrijk voor bedrijven die snel groeiende AI-workloads hebben.

Het kiezen van de juiste NPU is dus een complex proces dat afhankelijk is van verschillende factoren. Het is belangrijk om de specifieke behoeften van ons project zorgvuldig te evalueren voordat we een beslissing neemt.

In welke smartphones zit al een NPU

In bijna alle moderne smartphones zit tegenwoordig wel een NPU (Neural Processing Unit). Deze gespecialiseerde chip is essentieel voor het uitvoeren van complexere AI-taken. Denk aan functies als portretmodus, nachtmodus en het verbeteren van kleuren, spraakherkenning en beveiliging.

Voorbeelden van smartphones met NPU’s

• Apple iPhone: Apple’s Neural Engine is een van de bekendste NPU’s in de smartphone-industrie. Het wordt gebruikt in alle recente iPhone-modellen om functies als Face ID, Deep Fusion en Computational Photography mogelijk te maken.
• Samsung Galaxy: Samsung’s Exynos-chipsets en de Snapdragon-chipsets die in sommige Galaxy-modellen worden gebruikt, bevatten ook NPU’s. Deze worden ingezet voor functies zoals Bixby, verbeterde camera-prestaties en AR Emoji.
• Google Pixel: Google’s Pixel-telefoons maken gebruik van de Google Tensor-chip, die een eigen NPU bevat. Deze NPU is geoptimaliseerd voor Google’s AI-diensten en biedt functies zoals Live Translate en Magic Eraser.

Waarom zit er een NPU in onze smartphone?

• NPU’s zijn gespecialiseerd in AI-berekeningen, waardoor taken sneller en efficiënter kunnen worden uitgevoerd.
• Dankzij NPU’s kunnen smartphones slimmer worden, bijvoorbeeld door ons gedrag te leren en aan te passen aan onze voorkeuren.
• NPU’s openen de deur naar nieuwe en innovatieve functies, zoals augmented reality en virtuele assistenten die steeds natuurlijker met ons communiceren.

Kortom, een NPU is tegenwoordig een standaardcomponent in moderne smartphones. Het maakt het mogelijk om steeds geavanceerdere AI-functies te implementeren, waardoor onze smartphones slimmer en persoonlijker worden.

Checklist voor het selecteren van een smartphone met NPU

Een NPU (Neural Processing Unit) is een gespecialiseerde chip die AI-taken versnelt. Wil je een smartphone met een krachtige NPU, gebruik dan deze checklist om de beste keuze te maken:

1. NPU-specificaties

• Type NPU: Verschillende fabrikanten gebruiken verschillende soorten NPU’s. Onderzoek welke type NPU het beste bij onze behoeften past (bijvoorbeeld voor fotografie, gaming, of algemene AI-taken).
• Rekenkracht: Hoe krachtiger de NPU, hoe complexere AI-taken de smartphone kan uitvoeren.
• Energie-efficiëntie: Een efficiënte NPU zorgt ervoor dat de batterij langer meegaat.

2. AI-functies

• Camera: Zoek naar functies zoals nachtmodus, portretmodus, live-object herkenning en verbeterde video.
• Spraakassistent: Een goede spraakassistent maakt gebruik van AI voor een natuurlijke interactie.
• AR/VR: Als je geïnteresseerd bent in augmented reality of virtual reality, zorg er dan voor dat de smartphone de nodige AI-ondersteuning biedt.
• Beveiliging: Gezichtsherkenning en vingerafdrukscanners maken vaak gebruik van AI voor een veilige authenticatie.

3. Software

• Besturingssysteem: Android of iOS? Beide besturingssystemen bieden steeds meer AI-functies, maar er kunnen verschillen zijn in de manier waarop ze worden geïmplementeerd.
• Software-updates: Zorg ervoor dat de fabrikant regelmatig software-updates uitbrengt om de NPU optimaal te benutten en nieuwe AI-functies toe te voegen.
• Cloud of On premise: ChatGPT draait vooral in de cloud. Daar vinden de verwerkingen plaats, onafhankelijk de Smartphone. Gemini is echter speciaal ontworpen om optimaal te werken op Google Pixel-apparaten.

4. Prijs

• Budget: Stel een budget vast en vergelijk de verschillende opties binnen dat budget.
• Prijs-kwaliteitverhouding: Kijk niet alleen naar de prijs, maar ook naar de prestaties van de NPU en de andere hardwarecomponenten.

5. Reviews

• Professionele reviews: Lees reviews van tech-websites en -tijdschriften om te zien wat experts van de smartphone vinden.
• Gebruikersreviews: Kijk naar reviews van andere gebruikers om te zien hoe de smartphone in de praktijk presteert.

Door deze checklist te gebruiken, kunnen we een weloverwogen keuze maken voor een smartphone met een krachtige NPU die perfect bij onze behoeften past.

Discussieer mee op ITpedia LinkedIn of op Financial Executives LinkedIn.