Für den Aufbau einer großskaligen, hybriden KI-Plattform im öffentlichen Sektor wird ein erfahrener DevOps Engineer (Freelancer) gesucht.
Die Plattform bildet die Basis für LLM-basiertes Arbeiten, wird On-Premise betrieben, perspektivisch in Richtung Cloud / Sovereign Cloud Deutschland erweitert und beinhaltet ein größeres GPU-Cluster.

Der Schwerpunkt liegt auf DevOps-Automatisierung, Plattformbetrieb und Infrastruktur-as-Code, alles rund um Kubernetes, Docker, Terraform sowie sichere Integrationsprozesse im Bereich ML/LLM.

Aufgaben

• Aufbau, Weiterentwicklung und Betrieb einer hybriden KI-/LLM-Plattform im öffentlichen Sektor

• Implementierung und Pflege von CI/CD-Pipelines (z. B. Bitbucket Pipelines)

• Automatisierung mittels Terraform, Docker, Kubernetes

• Einrichtung & Administration von Kubernetes- und GPU-Clustern (on-prem & perspektivisch cloud)

• Betrieb und Integration von LLM-Workloads in eine skalierbare Plattformarchitektur

• Nutzung und Administration von Tools wie Rancher, Nexus, Docker

• Unterstützung beim Aufbau sicherer Deployment-Prozesse nach öffentlichen Standards

• Zusammenarbeit mit ML/AI-Teams für Deployment von Modellen und Pipelines

• Monitoring, Logging & Observability im Plattformbetrieb

• Mitarbeit in einem agilen Setup (Scrum), Teilnahme an Sprint Reviews vor Ort

Muss-Anforderungen

• Sehr gute Erfahrung im DevOps-Umfeld

• Fundiertes Know-how in:

  • Kubernetes (Clusterbetrieb, Administrierung)

  • Docker (Container-Building & Management)

  • Terraform (IaC)

  • CI/CD-Pipelines (Bitbucket oder vergleichbar)

  • Rancher, Nexus

• Erfahrung in Machine Learning / LLM-Umgebungen

• Kenntnisse im Aufbau größerer Plattformen / Infrastrukturprojekte

• Erfahrung im öffentlichen Sektor oder in hochregulierten Umgebungen

• Deutsch fließend in Wort und Schrift

Nice to Have

• Erfahrung mit Sovereign Cloud Deutschland / EU-Cloud-Anforderungen

• Kenntnisse in Python für Automatisierung / MLOps

• Arbeit mit GPU-Clustern

• Sicherheitsanforderungen im Behördenumfeld

Rahmenbedingungen

• Startdatum: 01.12.

• Dauer: 6 Monate mit klarer Option auf Verlängerung

• Einsatzort: Remote, ~1× alle 3 Wochen vor Ort im süddeutschen Raum

• Projektsprache: Deutsch