De Autoriteit Persoonsgegevens is kritisch op het gebruik van cloud-AI zoals Copilot bij gemeenten. Tegelijk wil de overheid digitale soevereiniteit. Een lokaal taalmodel geeft ambtenaren AI-ondersteuning zonder dat burgerdata naar een Amerikaanse leverancier gaat.
Voor wie: Gemeenten, waterschappen, provincies, uitvoeringsorganisaties en onderwijsinstellingen.
Inference Rig: 48GB gecombineerd VRAM over twee 4090's. 70B-modellen draaien thuis. (48 GB (2×24) VRAM, ~70B met offload). Gebouwd, getest en geleverd met Ollama of vLLM en een webinterface voor uw team, als u dat wilt.
Rond 80% van de Nederlandse digitale infrastructuur draait op Amerikaanse clouds. Via de CLOUD Act kunnen Amerikaanse autoriteiten gegevens opvragen, ongeacht waar de server staat. Lokale AI valt daar niet onder.
