Digitalisierungs- & KI-Blog

Lokales KI-Modell mit Mistral und vLLM: Hardware, Software und Umsetzung in Deutschland

1. März 2025 · Mistral, vLLM, On-Premise, DSGVO, Perlecto, Hardware, Software

Sie möchten ein leistungsfähiges, lokales KI-System auf Basis offener Mistral-Modelle und der Inferenz-Engine vLLM für bis zu 20 Nutzer auf einem Server in Deutschland betreiben – und das mit einem Budget von maximal 30.000 Euro? Hier bekommen Sie praktische Tipps, mit welchen Hardware-Komponenten und Software-Setups Sie das realistisch umsetzen können. Zudem zeige ich, wie Sie die Integration über Perlecto, eine Docker-basierte GUI-Lösung, die OpenAI API-kompatibel ist, einfach realisieren können.