Ein führender Konzern im Maschinenbau suchte nach einer Lösung, um on-premises einen leistungsstarken ChatBot zu deployen, der Datenschutz und Datensicherheit gewährleistet. In Zusammenarbeit mit ConSol wurde ein Projekt gestartet, das die Implementierung eines ChatBots auf einer on-premises OpenShift Container Plattform mit NVIDIA GPUs vorsah, wobei mehrere Large Language Models (LLMs) wie „Llama2-Chat“ und „CodeLlama“ simultan genutzt werden können.
Projektbeschreibung
Der Maschinenbau-Konzern strebte an, einen ChatBot zu deployen, der eine ähnliche Funktionalität wie ChatGPT bietet und keine Internetverbindung benötigt, um Datenschutz und Datensicherheit zu gewährleisten. Das Projekt umfasste das Deployment auf einer on-premises OpenShift Container Plattform mit NVIDIA GPUs und die simultane Nutzung verschiedener Large Language Models (LLMs) wie „Llama2-Chat“ und „CodeLlama“.
Projektziel
Das Hauptziel bestand darin, eine sichere und leistungsstarke ChatBot-Lösung bereitzustellen, die den Datenschutzbestimmungen entspricht und komplexe Anfragen effizient verarbeiten kann. Durch die Implementierung auf einer on-premises Plattform mit NVIDIA GPUs sollten eine schnelle und präzise Verarbeitung von natürlicher Sprache und hochwertige Antworten ermöglicht werden.
Die Herausforderungen umfassten die Auswahl der Open-Source Software zum Betreiben der Modelle, die optimale Modellgröße für den vorhandenen Grafikkartenspeicher sowie die effiziente Nutzung der Grafikkarten. Der ChatBot musste offline bereitgestellt und geladen werden, ohne eine Internetverbindung zu benötigen. Darüber hinaus wurden die Container Images auf Red Hats „Universal Base Image“ (UBI) umgestellt, um Schwachstellen im Container zu mitigieren.
ConSol übernahm das vollständige Deployment der ChatBot-Applikation und verbesserte die Sicherheit durch Sperrung des Internetzugriffs und Umstellung auf Red Hat UBI-Images. Standardprozesse wie CI/CD Pipelines und Dokumentation wurden eingehalten, um eine reibungslose Implementierung zu gewährleisten.
Die Mitarbeitenden des Konzerns im Maschinenbau profitieren von einer sicheren Alternative zu ChatGPT oder ähnlicher Lösungen. Die Plattform ermöglicht die Ausführung von Open-Source Modellen, einschließlich neuerer wie beispielsweise „Mixtral 8x7B“. Durch das Experimentieren mit lokalen LLMs, bis hin zum Feintuning mit eigenen Daten, kann der Konzern nun Know-how aufbauen und das optimale Modell für den gewünschten Einsatzzweck betreiben.
Im Jahr
1984
gegründet
Über
260
Mitarbeiter*innen
In
4
verschiedenen Ländern
100%
kreativität
50% der Mitarbeitenden sind im Schnitt seit
10
Jahren im Unternehmen
ÜBER
999
erfolgreiche Projekte
100%
inhabergeführt
5
Standorte
Ihr Ansprechpartner
Samuel Pabst