Wat je aan een videokaart hebt onder Linux: zelf AI draaien, en spelen
Er zijn twee redenen om een videokaart in je machine te zetten die niets met kantoorwerk te maken hebben. De eerste is dat je een taalmodel of beeldgenerator op je eigen computer wilt draaien, in plaats van je tekst naar een dienst aan de andere kant van de oceaan te sturen. De tweede is dat je wilt spelen. Onder Linux kan tegenwoordig allebei, en dat was vijf jaar geleden nog een heel ander verhaal.
Dit stuk gaat over de vraag die je moet beantwoorden voordat je zo'n machine koopt: hoeveel geheugen moet er op die kaart zitten?
Het geheugen op de kaart is de maat, niet de snelheid
Bij een videokaart kijken de meeste winkels naar beeldjes per seconde. Voor AI is dat het verkeerde getal. Wat telt is het geheugen op de kaart zelf, het videogeheugen, want een model moet daar in zijn geheel in passen. Past het niet, dan valt het terug op je gewone werkgeheugen en op de processor, en dan wordt het tien tot twintig keer trager. Niet stuk, wel onwerkbaar.
De vuistregel is eenvoudig. Een model wordt opgeslagen met een bepaalde nauwkeurigheid, en de gangbare vorm om thuis te draaien is vier bits per gewicht. Dan geldt ruwweg: een half gigabyte per miljard parameters. Een model van zeven miljard parameters kost dus ongeveer vier gigabyte, en daar komt nog wat bij voor het gesprek dat je ermee voert. Hoe langer het gesprek, hoe meer.
Wat past waarin
| Videogeheugen | Taalmodellen | Beeld |
|---|---|---|
| 6 GB | modellen tot ongeveer 8 miljard parameters, met korte gesprekken | de oudere beeldmodellen, prima resultaat, geen grote formaten |
| 8 GB | dezelfde modellen, maar ruimer: langere gesprekken zonder gedoe | ook de grotere beeldmodellen, mits je geduld hebt |
| 12 GB | modellen rond de 13 miljard parameters | comfortabel, ook grotere formaten |
| 16 GB | modellen tot ongeveer 14 miljard ruim, of een kleiner model nauwkeuriger | de zwaardere beeldmodellen, en meerdere tegelijk |
| 24 GB en meer | de klasse van 30 miljard parameters | vrijwel alles wat thuis te doen is |
Er zit een sprong in die tabel die je moet zien. Tussen 8 en 16 gigabyte zit niet "iets meer ruimte" maar een andere categorie modellen. Wie vandaag twijfelt tussen die twee koopt eigenlijk het antwoord op de vraag of hij over een jaar nog steeds tevreden is.
Hoe je het aan de praat krijgt
De eenvoudigste weg is Ollama. Dat is één programma dat de modellen ophaalt, ze in het geheugen zet en er een gesprek mee voert, zonder dat je iets hoeft te bouwen.
curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.2
Daarna praat je met het model in je terminal. Wil je een venster in plaats van een terminal, dan zijn er verschillende schillen die met dezelfde modellen praten. Voor beeld is ComfyUI de gebruikelijke keuze; die vraagt wat meer inrichten maar laat je precies zien wat er gebeurt.
Op een kaart van Nvidia heb je onder Linux het gesloten stuurprogramma van de fabrikant nodig. Dat installeert op Ubuntu en Debian met een paar regels en werkt daarna gewoon: voor AI, en net zo goed voor spelen. Dat laatste was jarenlang het zwakke punt en dat is het niet meer. Kaarten van AMD gebruiken een open stuurprogramma dat al in de kernel zit, wat prettiger is als je alles open wilt houden; voor AI is het aanbod aan gereedschap bij Nvidia nog altijd groter. Voor allebei geldt: het werkt, en de keuze gaat over wat jij belangrijk vindt.
En spelen dan?
Dat is het stuk dat de laatste jaren stil is omgeslagen. Valve, het bedrijf achter Steam, heeft jarenlang gebouwd aan Proton: een laag die spellen die voor Windows gemaakt zijn onder Linux laat draaien. Dat begon als een aardigheidje en is uitgegroeid tot iets waar hun eigen handheld, de Steam Deck, volledig op leunt. Die machine draait Linux, en juist daardoor is het aantal spellen dat het doet enorm gegroeid: een fabrikant die zijn spel op de Deck wil verkopen, zorgt dat het onder Proton werkt.
In de praktijk zet je Steam op je Linux-machine, vinkt je in de instellingen aan dat Proton voor alle spellen gebruikt mag worden, en het meeste start gewoon. Op de site ProtonDB houden spelers per spel bij hoe goed het gaat.
Eén ding moet je wel weten, en daar zijn wij eerlijk over: spellen met anti-valsspeelsoftware die diep in het systeem grijpt, werken vaak niet. Dat treft vooral de grote online schietspellen. Speel je die, kijk dan eerst je lijstje na voordat je overstapt. De rest van de bibliotheek doet het, en vaak net zo snel als onder Windows.
Dus wat koop je nou
Als je vooral wilt uitproberen wat er thuis mogelijk is, en je vindt het niet erg om bij de kleinere modellen te blijven, dan is zes of acht gigabyte genoeg. Wil je een model draaien dat echt meedenkt over je werk, of wil je er langer plezier van hebben, dan is zestien gigabyte het verschil tussen "het past" en "het past niet".
En heb je al een computer die verder prima is? Dan hoef je geen nieuwe te kopen. Een losse kaart erin en je bent klaar: dezelfde machine, nieuw gereedschap. Dat is trouwens precies waarom wij het zo aanbieden, en niet als een pakket waar je niets aan mag veranderen.
Wat je ook kiest: het draait bij jou thuis. Je gesprekken gaan nergens heen, er is geen abonnement dat duurder wordt, en er is geen dienst die op een dag besluit dat jouw vraag niet mag. Dat is dezelfde reden waarom wij servers verkopen waar jij de sleutel van hebt.