Der Endkunde im vorliegenden Projekt ist ein deutsches Forschungsinstitut für Kommunikations- und Informationsverarbeitung, das sich mit der Entwicklung und Analyse komplexer Informationssysteme befasst. Im Mittelpunkt stehen Themen wie Datenanalyse, Informationsfusion, Künstliche Intelligenz und sichere Kommunikationsarchitekturen.
In dieser Forschung entstehen enorme Datenströme – etwa aus Sensornetzwerken, Kommunikationssignalen oder Simulationsumgebungen. Diese müssen in Echtzeit oder nahezu Echtzeit verarbeitet, korreliert und bewertet werden. Dafür braucht es Systeme, die hohe Rechenleistung mit geringer Latenz und konstanter I/O-Performance kombinieren.
Das Institut betreibt mehrere HPC-Cluster und entwickelt eigene Analyseverfahren, bei denen große Datenmengen aus unterschiedlichsten Quellen synchronisiert und interpretiert werden. Diese Verfahren sind sowohl CPU- als auch I/O-intensiv und profitieren von einer Architektur, die viele parallele Prozesse mit sehr schnellen Speicherzugriffen erlaubt – genau dort setzt die neue All-Flash-Compute-Umgebung an.
Projekt-Zeitraum: Q3/2025
Inhaltsverzeichnis
Projekt-Beschreibung
Ziel des Projekts war die Entwicklung einer skalierbaren All-Flash-NVMe-Infrastruktur als Compute-Node-Erweiterung innerhalb einer bestehenden HPC-Umgebung. Im Gegensatz zu klassischen Rechenknoten, die mit gemischten SATA- oder SAS-Storage arbeiten, sollte diese Generation konsequent auf NVMe-Technologie setzen, um eine neue Performance-Basis für datengetriebene Anwendungen zu schaffen.
Konkret sollten die Systeme:
- parallele Datenströme aus Kommunikations- und Sensorsystemen in hoher Frequenz verarbeiten,
- Analysealgorithmen und KI-Modelle mit großem Speicher- und I/O-Bedarf beschleunigen,
- und zugleich als flexible Entwicklungsplattform für neue Softwaremodule dienen, die später auf größere Cluster skaliert werden können.
Da in der Kommunikationsforschung häufig eine Vielzahl kleiner, gleichzeitig ablaufender Prozesse (z. B. Signaltransformationen, Clustering, Mustererkennung) berechnet wird, war eine Architektur erforderlich, die viele Threads, hohe Speicherbandbreite und schnellen Datendurchsatz kombiniert.
Die Entscheidung fiel daher auf AMD EPYC 9555P Prozessoren aus der neuen 9005-Serie mit 64 Kernen und 128 Threads. In Verbindung mit DDR5-6400 ECC RAM und einem konsequenten All-Flash-Ansatz über Samsung PM9A3 NVMe-Laufwerke entstand ein Systemdesign, das maximale Parallelität bei minimaler Latenz ermöglicht.
Die drei Systeme wurden als eigenständige Compute-Nodes konzipiert, die per 10 GbE und 10 Gb SFP+ redundant in das vorhandene Cluster integriert werden. Dadurch können sie sowohl isolierte Experimente (z. B. Softwaretests, Algorithmusevaluierungen) als auch produktive Analysejobs im HPC-Verbund ausführen.
Im Vergleich zur bisherigen Servergeneration – teils noch mit SATA-SSDs und DDR4-Arbeitsspeicher – ermöglicht die neue Plattform eine bis zu fünffach höhere I/O-Leistung und deutlich kürzere Berechnungszeiten bei gleichbleibender Energieeffizienz.
Projekt-Realisierung
- Serverplattform
3× Supermicro A+ Server 1115HS-TNR (Hyper-Serie, 1 HE)
→ Kompakte HPC-Plattform mit PCIe 5.0, redundanter 800/1200 W Titanium-Stromversorgung und acht Hot-Swap-NVMe-Bays. Entwickelt für maximale Dichte und I/O-Performance in datenintensiven Analyse- und KI-Umgebungen. - Prozessoren (1 pro Server)
3× AMD EPYC 9555P (64 Kerne / 128 Threads, 3.20 GHz Basis, 4.40 GHz Turbo, TDP 360 W)
→ Prozessor der AMD EPYC 9005-Serie („Bergamo“) mit 12-Channel-DDR5-Support und PCIe 5.0 x128. Liefert extreme Parallelleistung und hohe Speicherbandbreite für daten- und threadintensive Forschungsanwendungen. - Arbeitsspeicher (16 × 64 GB pro Server)
48× Samsung DDR5-6400 ECC reg. DR (CL52, 1.1 V) – je 1 TB RAM pro Node
→ Hochleistungs-DDR5-Speicher mit ECC-Fehlerkorrektur für maximale Stabilität bei langlaufenden Rechenprozessen. Die hohe Taktfrequenz von 6.400 MT/s stellt eine optimale Anbindung der EPYC-Architektur sicher. - System-Storage (2 pro Server)
6× Samsung PM9A3 M.2 NVMe SSD (960 GB, PCIe Gen 4 x4, bis 5.000 MB/s Lesen)
→ Zuverlässige, stromausfallsichere Systemlaufwerke mit Power-Loss-Protection und AES-XTS-Verschlüsselung. Ideal für Boot-Partitionen, temporäre Daten und Linux-basierte Cluster-Installationen. - Daten-Storage (3 × 3.84 TB + 2 × 7.68 TB pro Server)
9× Samsung PM9A3 U.2 NVMe SSD (3.84 TB)
6× Samsung PM9A3 U.2 NVMe SSD (7.68 TB)
→ Vollständig NVMe-basierter All-Flash-Storage mit bis zu 6.800 MB/s Lese- und 4.000 MB/s Schreibrate. Bietet extrem niedrige Latenzen und hohe IOPS-Leistung für parallele Datenanalyse, KI-Modelle und Kommunikations-Workloads. - Netzwerk (10 GbE Multi-Port)
Je Server: 1× Supermicro AOC-ATG-i2SM (2 × 10 GbE SFP+) + 1× AOC-STGF-I2S (2 × 10 GbE SFP+) + 1× AOC-STG-I4S (4 × 10 GbE SFP+)
→ Bis zu 8 SFP+-Ports pro Node für redundante Daten- und Managementpfade – ideal für Cluster-Anbindung mit hoher Flexibilität. - Assemblierung & Test
Vormontage und Zertifizierung nach ISO 9001:2015 / ESD IEC 61340-5-1
Systemvalidierung unter Linux und Windows Server 2022/2025
Leistungs- und Burn-In-Test mit NVMe-Performance-Protokoll
→ Vollständig getestete, schlüsselfertige Compute-Nodes mit dokumentierter NVMe-I/O-Leistung und thermischer Stabilität unter Dauerlast. - Service-Level
3 Jahre Teilegarantie (SLA 1/3, 5×9 Service) inkl. MUSTANG® systems Ticket-Support
Ergebnis
Mit der neuen All-Flash-Compute-Umgebung steht dem Forschungsinstitut eine hochperformante und zukunftssichere Rechenplattform zur Verfügung, die speziell auf daten- und threadintensive Kommunikations- und Analyseprozesse ausgelegt ist.
Die Kombination aus AMD EPYC 9555P Prozessoren, Samsung DDR5-6400 ECC RAM und durchgängig Samsung PM9A3 NVMe-Storage ermöglicht eine außergewöhnlich hohe Parallelität bei gleichzeitig minimaler Latenz. Besonders bei Anwendungen, die kontinuierlich große Datenmengen in Echtzeit verarbeiten – etwa Signalverarbeitung, Mustererkennung oder KI-basierte Informationsfusion – zeigt die neue Architektur deutliche Performancegewinne gegenüber der bisherigen Infrastruktur.
Durch den vollständigen Verzicht auf mechanische Laufwerke und die Umstellung auf ein reines NVMe-Design konnten Zugriffszeiten drastisch reduziert und Datenraten um ein Vielfaches gesteigert werden. Gleichzeitig sorgt die hohe Energieeffizienz der EPYC-9005-Architektur in Verbindung mit den PM9A3-Laufwerken für einen dauerhaft stabilen, thermisch ausgeglichenen Betrieb – auch unter Dauerlast.
Die Systeme lassen sich nahtlos in bestehende Cluster- und Managementumgebungen integrieren und dienen künftig als Basis für neue Rechenverfahren im Bereich Kommunikationsanalyse und KI-gestützte Informationsverarbeitung. Damit wurde eine leistungsfähige, skalierbare und energieeffiziente Infrastruktur geschaffen, die Forschung und Entwicklung gleichermaßen unterstützt und zukünftige Erweiterungen des Clusters problemlos ermöglicht.