Wat u aan een videokaart hebt onder Linux: zelf AI draaien, en spelen
Er zijn twee redenen om een videokaart in uw machine te steken die niets met kantoorwerk te maken hebben. De eerste is dat u een taalmodel of beeldgenerator op uw eigen computer wilt draaien, in plaats van uw tekst naar een dienst aan de andere kant van de oceaan te sturen. De tweede is dat u wilt spelen. Onder Linux kan tegenwoordig allebei, en dat was vijf jaar geleden nog een heel ander verhaal.
Dit artikel gaat over de vraag die u moet beantwoorden voordat u zo'n machine koopt: hoeveel geheugen moet er op die kaart zitten?
Het geheugen op de kaart is de maatstaf, niet de snelheid
Bij een videokaart kijken de meeste winkels naar beeldjes per seconde. Voor AI is dat het verkeerde getal. Wat telt is het geheugen op de kaart zelf, het videogeheugen, want een model moet daar in zijn geheel in passen. Past het niet, dan valt het terug op uw gewone werkgeheugen en op de processor, en dan wordt het tien tot twintig keer trager. Niet stuk, wel onwerkbaar.
De vuistregel is eenvoudig. Een model wordt opgeslagen met een bepaalde nauwkeurigheid, en de gangbare vorm om thuis te draaien is vier bits per gewicht. Dan geldt ruwweg: een halve gigabyte per miljard parameters. Een model van zeven miljard parameters kost dus ongeveer vier gigabyte, en daar komt nog wat bij voor het gesprek dat u ermee voert. Hoe langer het gesprek, hoe meer.
Wat past waarin
| Videogeheugen | Taalmodellen | Beeld |
|---|---|---|
| 6 GB | modellen tot ongeveer 8 miljard parameters, met korte gesprekken | de oudere beeldmodellen, prima resultaat, geen grote formaten |
| 8 GB | dezelfde modellen, maar ruimer: langere gesprekken zonder gedoe | ook de grotere beeldmodellen, mits u geduld hebt |
| 12 GB | modellen rond de 13 miljard parameters | comfortabel, ook grotere formaten |
| 16 GB | modellen tot ongeveer 14 miljard ruim, of een kleiner model nauwkeuriger | de zwaardere beeldmodellen, en meerdere tegelijk |
| 24 GB en meer | de klasse van 30 miljard parameters | vrijwel alles wat thuis te doen is |
Er zit een sprong in die tabel die u moet zien. Tussen 8 en 16 gigabyte zit niet "iets meer ruimte" maar een andere categorie modellen. Wie vandaag twijfelt tussen die twee koopt eigenlijk het antwoord op de vraag of hij over een jaar nog steeds tevreden is.
Hoe u het aan de praat krijgt
De eenvoudigste weg is Ollama. Dat is één programma dat de modellen ophaalt, ze in het geheugen zet en er een gesprek mee voert, zonder dat u iets moet bouwen.
curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.2
Daarna praat u met het model in uw terminal. Wilt u een venster in plaats van een terminal, dan zijn er verschillende schillen die met dezelfde modellen praten. Voor beeld is ComfyUI de gebruikelijke keuze; die vraagt wat meer inrichten maar laat u precies zien wat er gebeurt.
Op een kaart van Nvidia hebt u onder Linux het gesloten stuurprogramma van de fabrikant nodig. Dat installeert op Ubuntu en Debian met een paar regels en werkt daarna gewoon: voor AI, en net zo goed voor spelen. Dat laatste was jarenlang het zwakke punt en dat is het niet meer. Kaarten van AMD gebruiken een open stuurprogramma dat al in de kernel zit, wat prettiger is als u alles open wilt houden; voor AI is het aanbod aan gereedschap bij Nvidia nog altijd groter. Voor allebei geldt: het werkt, en de keuze gaat over wat u belangrijk vindt.
En spelen dan?
Dat is het stuk dat de laatste jaren stil is omgeslagen. Valve, het bedrijf achter Steam, heeft jarenlang gebouwd aan Proton: een laag die spellen die voor Windows gemaakt zijn onder Linux laat draaien. Dat begon als een aardigheidje en is uitgegroeid tot iets waar hun eigen handheld, de Steam Deck, volledig op leunt. Die machine draait Linux, en juist daardoor is het aantal spellen dat het doet enorm gegroeid: een fabrikant die zijn spel op de Deck wil verkopen, zorgt dat het onder Proton werkt.
In de praktijk zet u Steam op uw Linux-machine, vinkt u in de instellingen aan dat Proton voor alle spellen gebruikt mag worden, en het meeste start gewoon. Op de site ProtonDB houden spelers per spel bij hoe goed het gaat.
Eén ding moet u wel weten, en daar zijn wij eerlijk over: spellen met anti-valsspeelsoftware die diep in het systeem grijpt, werken vaak niet. Dat treft vooral de grote online schietspellen. Speelt u die, kijk dan eerst uw lijstje na voordat u overstapt. De rest van de bibliotheek doet het, en vaak net zo snel als onder Windows.
Dus wat koopt u nu
Als u vooral wilt uitproberen wat er thuis mogelijk is, en u vindt het niet erg om bij de kleinere modellen te blijven, dan is zes of acht gigabyte genoeg. Wilt u een model draaien dat echt meedenkt over uw werk, of wilt u er langer plezier van hebben, dan is zestien gigabyte het verschil tussen "het past" en "het past niet".
En hebt u al een computer die verder prima is? Dan hoeft u geen nieuwe te kopen. Een losse kaart erin en u bent klaar: dezelfde machine, nieuw gereedschap. Dat is trouwens precies waarom wij het zo aanbieden, en niet als een pakket waar u niets aan mag veranderen.
Wat u ook kiest: het draait bij u thuis. Uw gesprekken gaan nergens heen, er is geen abonnement dat duurder wordt, en er is geen dienst die op een dag beslist dat uw vraag niet mag. Dat is dezelfde reden waarom wij servers verkopen waar u de sleutel van hebt.