Je kent ze wel: ChatGPT, Claude, Copilot en ga maar door. Allemaal min of meer capabele chatbots waar je allerlei interessante dingen mee kunt doen – van het samenvatten van documenten tot het schrijven van code of het vertalen van teksten. Maar hoe handig ze ook zijn, ze hebben allemaal hetzelfde grote nadeel: er is geen sprake van privacy. Gelukkig kun je AI lokaal op je eigen apparaat gebruiken voor meer controle over je data. De bedrijven achter de bekende chatbots verzamelen álles van wat hun gebruikers vragen, aan opdrachten geven en anderzijds invoeren. Inclusief het uploaden van foto’s om te bewerken of documenten om te laten samenvatten. Logisch, want daarvan ‘groeit’ zo’n systeem weer. En met een beetje geluk is aan de gebruikersprofielen zelf ook nog wel wat geld te verdienen.

Veel mensen realiseren zich dat niet, of halen er hun schouders over op. Ze uploaden zonder met de ogen te knipperen privacygevoelige documenten om te laten samenvatten, vertalen of anderszins te verwerken. Wat de gevolgen daarvan zijn is altijd maar weer afwachten. Eerder al doken flarden van informatie van andere gebruikers in chats op. Al deze missers werden – hopelijk – tot nu toe keurig hersteld. Maar ondertussen zwerft er weer een beetje meer mogelijk misbruikbare informatie op het web rond. AI lokaal op je eigen apparaat draaien is een oplossing voor die privacyproblemen. Geen verbinding met externe servers, geen dataverzameling – gewoon een taalmodel dat volledig op jouw computer, tablet of smartphone werkt. In deze blogpost laten we zien hoe dat werkt, wat je daarvoor nodig hebt en wat je er realistisch van kunt verwachten.

Wat lees je in deze blogpost

• Waarom een lokaal draaiend LLM een goed alternatief is voor cloudgebaseerde AI-diensten als ChatGPT en Copilot, als privacy voor jou belangrijk is.
• Welke hardware je nodig hebt om AI lokaal op je apparaat te draaien – en welke apps daarvoor geschikt zijn, zoals OneAGI op iPad of iPhone.
• Wat je van een lokaal LLM kunt verwachten: wat het goed doet (vertalen, samenvatten) en waar de grenzen liggen vergeleken met cloud-AI.

Lokaal AI draaien: wat heb je nodig?

Gebruik je AI voornamelijk voor relatief beperkte taken als samenvatten, vertalen en andere taken die geen actuele kennis vereisen? Dan kun je overwegen om een lokaal LLM – een large language model – te installeren op je computer, tablet of smartphone.

Daarbij vooraf een belangrijke kanttekening: om dat goed te laten werken – en vooral op een bruikbare snelheid – is een NPU (Neural Processing Unit) nagenoeg een vereiste. Dat mag ook een videokaart met een snelle GPU zijn, of een combinatie van beide. Gebruik je een enigszins recente iPad of iPhone van Apple, dan zit je wat dat betreft alvast goed. Is dat apparaat gebaseerd op de M5 SoC (System on a Chip), dan zit je helemaal op de eerste rang. In die M5 zitten naast CPU-kernen ook een NPU én meerdere GPU’s verwerkt – een echte krachtpatser voor AI-toepassingen, en dat ook nog met een laag energieverbruik.

OneAGI: lokale AI op je iPhone of iPad

We installeerden hier de app OneAGI (te vinden in de App Store). Niet gratis, maar – zo leert onze ervaring – wel een app waar je veel mee kunt. Hij ondersteunt een hele reeks LLM’s die je in de app kunt downloaden en gebruiken. Kwestie van kiezen en installeren.

Let daarbij op dat de limiet voor welke LLM je kunt gebruiken wordt bepaald door de hoeveelheid beschikbaar werkgeheugen (RAM) in je apparaat. In een MacBook is dat tegenwoordig standaard 16 GB; een recente iPad Pro heeft 12 of 16 GB in het meest uitgebreide model. Andere iPads hebben vaak minder RAM. Welke modellen wel en niet werken merk je vanzelf: wat te groot is, geeft een foutmelding. Vergeet dan niet het niet-werkende model te verwijderen voor je een ander probeert, anders staat het alleen maar opslagruimte in te nemen.

Tussendoor een opmerking: OneAGI kan desgewenst ook overweg met online LLM’s of modellen die elders in je netwerk op een server draaien. Daar focussen we ons nu niet op – we gaan voor het echte lokale werk. Mocht de app vragen om netwerktoegang, dan kun je met een gerust hart ‘nee’ antwoorden. Dat kun je later altijd nog aanpassen in de app-instellingen.

Welk taalmodel kies je?

Na enig experimenteren kozen wij voor Ministral-3-8B-Reasoning. Dat draait in ieder geval comfortabel op een iPad met 12 GB RAM. Je kunt proberen grotere modellen te installeren, maar dat gaat niet altijd goed – mogelijk omdat de opgegeven modelgrootte de gecombineerde grootte is en niet die van het model na installatie of laden in het RAM. Maakt niet uit: gewoon lekker experimenteren!

Vertalen: verrassend goed resultaat

OneAGI en het geladen LLM staan klaar voor gebruik. Het werkt net als bij ChatGPT: stel je vraag via een prompt en de antwoorden verschijnen vanzelf. We waren met name geïnteresseerd in vertaalwerk – dus vroegen we het model deze tekst te vertalen naar het Engels.

Het aparte is dat dit specifieke model prompts aanneemt in het Nederlands, maar antwoord geeft in het Engels. Geen probleem, maar een beetje raar. Als we daar een opmerking over maken, blijkt Ministral-3-8B-Reasoning wel in staat in het Nederlands te converseren – al is het dan wat houterig, met hier en daar een fantasiewoord. De geleverde vertaling zelf – en daar gaat het toch om – is van hoge kwaliteit. Een ChatGPT kent ongetwijfeld meer woorden en levert meer ‘high-end’-teksten af, maar dit is honderd procent bruikbaar. En daarmee een uitkomst voor wie privacygevoelige documenten te vertalen heeft.

We testten ook vertaling naar het Duits en het Spaans – beide gingen uitstekend. De snelheid is hoog, dus daar hoef je het zeker niet om te laten. Bij langdurig en intensief gebruik is het wel verstandig je apparaat aan de lader te hangen, want dit soort taken verbruikt merkbaar meer energie dan browsen of een YouTube-filmpje kijken.

Prompten als een pro 2e editie

Het boek Prompten als een pro, 2e editie is het onmisbare handboek voor iedereen die AI-systemen optimaal wil benutten. Dit diepgravende werk leert je hoe je krachtige prompts formuleert die leiden tot nauwkeurige en nuttige antwoorden van AI. Dit boek biedt gedetailleerde uitleg en praktische voorbeelden om je promptvaardigheden te verfijnen, bijvoorbeeld op het gebied van creatieve toepassingen zoals schrijven en ontwerpen, of voor diepgaand onderzoek en data-analyse. Je leert de juiste balans te vinden tussen specificiteit en openheid, hoe je complexe vragen kunt opbreken in eenvoudiger prompts en hoe je de output kunt sturen door slimme follow-up prompts. Ook biedt Prompten als een pro inzichten in het vermijden van veelvoorkomende fouten en het maximaliseren van de efficiëntie van je AI-interacties.

Ronald Smit

Ronald Smit kan dankzij een combinatie van een elektronica- en een journalistieke opleiding (afstudeerrichting radio en nieuwe media) technische zaken op een heldere en eenvoudige manier uitleggen. Zijn jarenlange schrijfervaring voor onder meer Computer Idee geeft u al snel de ‘aha-erlebnis’ waar u wellicht al zo lang naar op zoek was. En wordt het dan toch allemaal wat ingewikkeld, dan loodst hij de lezer snel en zeker langs eventuele barrières en valkuilen. De boeken van Ronald vind je hier.