Over het lokaal draaien van een LLM op een iPhone of iPad schreef Ronald al een paar weken geleden. Het zette me aan het denken over mijn eigen AI-gebruik. Ik werk voornamelijk met Claude en ben daar heel tevreden over. Maar het is ook Big Tech, het is Amerikaans en in Europa hebben we Mistral, dat aan ontwikkeling werkt voor AI, gebaseerd op Europese maatstaven over privacy en veiligheid. Daarna las ik een artikel in Medium over een tooltje – whichllm – dat je kon gebruiken om te zien wat voor LLM (Large Language Model) het beste kan draaien op jouw eigen hardware. Lokaal op je eigen hardware, volledig privé, los van Big Tech, als het ware. Ik was meteen benieuwd wat ik op mijn Mac Studio M1 Max met 32 GB geheugen zou kunnen gebruiken.
Al werkte ik niet graag met de commandline in de terminal toen ik met mijn boek Loskomen van Big Tech bezig was, ik kon er tijdens het instellen van de NAS, Docker, Portainer enzovoort niet aan ontkomen. Inmiddels grijp ik vaak naar de terminal op mijn Mac om een of ander tooltje te installeren en te gebruiken. Zo installeerde ik Homebrew in de terminal en kan ik nu allerlei apps middels de commandline installeren. Zo installeerde ik de utility Mole waarmee ik mijn Mac kan opschonen en de gezondheid van mijn systeem en harde schijf kan checken. Bang voor de commandline ben ik inmiddels niet meer. Dus ging ik aan de gang.
whichllm: welk AI-model past bij jouw Mac?
Ik installeerde whichllm via de terminal, via een Homebrew-tap:
brew tap Andyyyy64/whichllm<br>brew install whichllm
whichllm gaf een lijst van tien LLM’s die prima zouden passen op mijn Mac Studio, met genoeg geheugen over voor andere apps. Bovenaan stond Qwen3 (van het Chinese Alibaba), op plek tien Mistral Small 3.2 (Europees, Frans). Veel van die modellen kosten ook flink wat opslagruimte: Qwen3:30b is 18 GB. Omdat mijn opstartschijf op de Mac bijna vol was, wilde ik de LLM’s op een externe SSD hebben draaien. Claude gaf de commando’s om de LLM op een externe SSD te draaien.
Nog een opmerking over Qwen: hoewel het van een Chinees bedrijf komt, draait het volledig lokaal. Er gaat geen data naar Alibaba of China. Toch koos ik bewust voor Mistral; niet vanwege privacy, maar vanwege de Europese context en wetgeving.
Wat heb je nodig om een lokale LLM te draaien?
Dit zijn de tools die je nodig hebt op een Mac:
- Homebrew, pakketbeheerder voor de Terminal
- whichllm, checkt welk model past bij jouw hardware
- Ollama – draait het LLM lokaal op je Mac
- Reins, chatinterface, gratis te vinden in de Mac App Store
- Een LLM naar keuze: Mistral Small 3.2 (Europees), Qwen3:30b (krachtig), of Gemma4:26b (Google, kan ook foto’s analyseren)
Eén tip: installeer Ollama via Homebrew en niet via de losse app. De app-versie geeft je minder controle over waar modellen worden opgeslagen en met modellen van 18 GB wil je zelf kunnen kiezen of dat op je interne schijf of een externe SSD terechtkomt. Voor de rest ga ik de stappen niet één voor één uitleggen. Dat zijn er te veel voor dit artikel. Als je behendig bent met de commandline, dan kom je er wel uit. Zo niet, dan vraag je het aan je favoriete AI-tool. Ik deed dat bij Claude.
Mistral lokaal vragen hoe je Mistral installeert
Toen Mistral eenmaal draaide, vroeg ik het model hoe je een lokaal LLM installeert op een Mac Studio M1 Max. Het antwoord zie je in de schermafdruk hieronder.
Ik heb die methode zelf niet gevolgd, maar het ziet er aanzienlijk eenvoudiger uit dan de commandlineroute die ik hierboven beschrijf.
Makkelijker via LM Studio?
Mistral raadde LM Studio aan als je liever niet in de Terminal werkt. De interface ziet er gebruiksvriendelijker uit. Je downloadt LM Studio van lmstudio.ai, kiest een model, en klikt op laden. Wil je het eenvoudig houden, begin dan daar.
Ik heb geen spijt van mijn omweg via de commandline. Ik leer ervan, en ik begrijp nu beter wat er onder de motorkap gebeurt.
Drie modellen, één interface
Uiteindelijk heb ik drie modellen naast elkaar draaien; ik kan er tussen switchen. Ze zijn allemaal via de Reins-app te bereiken:
- Qwen3:30b, de krachtigste, maar ook de traagste. Goed voor complexe vragen waarbij kwaliteit belangrijker is dan snelheid.
- Mistral Small 3.2, mijn dagelijkse keuze. Snel, Europees, en voor schrijf- en redactiewerk meer dan goed genoeg.
- Gemma4:26b, Google’s nieuwste, en verrassend interessant: het kan niet alleen tekst verwerken, maar ook foto’s analyseren. Dat opent mogelijkheden voor mijn fotografiewerk, geheel lokaal, zonder dat er iets naar een server gaat.
In Reins kies je per gesprek welk model je wil gebruiken. Handig als je merkt dat het ene model beter antwoordt op een bepaald type vraag dan het andere.
Lokaal draaien: de conclusie
Drie AI-modellen draaien nu lokaal op mijn Mac Studio, opgeslagen op een externe SSD. Geen cloud, geen abonnement, geen data naar Amerika of China. Dat voelt goed.
Is het voor iedereen weggelegd? Nog niet helemaal. Je hebt geduld nodig voor de installatie, en foutmeldingen in de Terminal zijn niet altijd vriendelijk. Maar met Claude of ChatGPT of Gemini als assistent los je de meeste problemen op. En als je een Mac Studio M1 Max hebt, heb je meer dan genoeg hardware om serieuze AI-modellen lokaal te draaien.
Hans Frederiks is journalist en fotograaf en hoofdredacteur van blog.computercreatief.nl. Hij schrijft over ontwikkelingen op het gebied van computers, van vormgeving op het web en print, en fotografeert al zijn hele leven lang. Zijn specialisaties zijn panorama’s, landschappen en podiumfotografie. Zijn blog vind je HIER, zijn boeken vind je HIER.