Supermicro H13: KI- und ML-Potenzial entfesseln

In diesem und einigen folgenden Artikeln setzen wir uns mit der neuen H13-Produktlinie von Supermicro auseinander. Sie liefert eine besonders leistungsstarke und effiziente Lösung für viele Anwendungsbereiche. Das erreicht sie durch die Verwendung der neuesten Technologien, wie z.B.

• den AMD EPYC™-Prozessoren der 4. Generation,
• dem AMD 3D V-Cache™,
• der Unterstützung
• für DDR5-4800MHz-Speicher und
• des PCIe 5.0-Standards.

In diesem Beitrag legen wir dabei den Fokus auf die Verwendung der H13-Produktlinie im Rahmen von künstlicher Intelligenz (KI) und maschinellem Lernen (ML).

Das erwartet Sie:

Hintergrund: künstliche Intelligenz und Machine Learning – was ist das?

KI (Künstliche Intelligenz) und ML (Machine Learning) sind zwei sich überschneidende Bereiche, die ein breites Spektrum an Technologien und Anwendungen abdecken. Sie sind eng mit der Entwicklung und Anwendung von Algorithmen verbunden, die es Computern ermöglichen, Aufgaben auszuführen, die normalerweise menschliches Denken erfordern, wie das Erkennen von Mustern, das Verstehen von Sprache, das Fällen von Entscheidungen und das Lernen aus Erfahrungen.

Künstliche Intelligenz
Künstliche Intelligenz (KI) bzw. Artificial Intelligence (AI) bezieht sich allgemein auf die Fähigkeit von Maschinen, intelligente Verhaltensweisen zu zeigen, die denen von Menschen ähneln. Dies kann von einfachen Regeln und Entscheidungsbaumstrukturen bis hin zu komplexen Prozessen reichen, die auf maschinellem Lernen, tiefer neuronaler Netzwerkanalyse und anderen fortgeschrittenen Algorithmen basieren.

Maschinelles Lernen
Maschinelles Lernen bzw. Machine Learning (ML), ein Unterfeld der KI, konzentriert sich auf die Entwicklung von Algorithmen und statistischen Modellen, die es Computern ermöglichen, Aufgaben auszuführen, ohne explizit programmiert zu werden. Mit ML trainieren wir Modelle mit Daten und lassen sie Vorhersagen oder Entscheidungen treffen, basierend auf Mustern und Erkenntnissen, die sie aus diesen Daten gewinnen. Mit neuen Daten oder fortgeschrittener Analyse lernen und verbessern sich diese Algorithmen selbstständig mit der Zeit.

Warum KI und ML so viel Rechenleistung brauchen

Die Rechenleistung spielt bei der KI und dem ML eine entscheidende Rolle. Der Prozess des Trainierens von ML-Modellen, insbesondere von tiefen neuronalen Netzwerken, ist extrem rechenintensiv. Er erfordert das Durchführen von vielen komplexen Berechnungen, oft auf bzw. mit riesigen Datensätzen, und kann Stunden, Tage oder sogar Wochen dauern, abhängig von der Komplexität des Modells, der Größe des Trainingsdatensatzes und nicht zuletzt der verfügbaren Hardware.

Mit höherer Rechenleistung können KI und ML-Modelle schneller und genauer trainiert werden. Modernste Hardware wie GPUs, TPUs und spezialisierte KI-Beschleuniger bieten die notwendige Rechenleistung, um diese Modelle zu trainieren. Zusätzlich zur reinen Rechenleistung spielt auch die Architektur der Hardware eine Rolle, insbesondere die Unterstützung für parallele Verarbeitung und spezifische mathematische Operationen, die häufig in KI und ML-Operationen verwendet werden.

Natürlich erfordern KI und ML dabei nicht nur eine leistungsfähige Hardware, sondern auch eine Vielzahl von Software-Tools, Bibliotheken und Frameworks (wie TensorFlow, PyTorch, Keras und viele andere). Zusätzlich werden sie von Technologien für parallele Berechnungen unterstützt. Hierzu zählen beispielsweise OpenCL und die mittlerweile weltweit führende NVIDIA-Architektur CUDA. Diese Technologien ermöglichen es den Entwickler:innen, Algorithmen effizient zu entwickeln und Modelle auf CPUs und eingebundenen Grafikprozessoren zu trainieren. Auch APIs wie DirectX können für spezifische Aufgaben relevant sein.

Die wichtigsten Fakten zur Supermicro H13-Produktlinie für AMD EPYC™ 9004-Serie Server-Prozessoren

• Leistungsstarke AMD EPYC-Prozessoren der 4. Generation mit bis zu 128 Kerne/ 256 Threads (gegenüber 64 Kernen/ 128 Threads bei der vorherigen Generation).
• Deutlich mehr Cache: Durch die Unterstützung für die AMD 3D V-Cache™ Technologie erhöht sich der L3-Cache auf bis zu 1.152 MB. Das ist eine 50% Steigerung pro CPU verglichen mit der vorherigen Generation der AMD EPYC Prozessoren mit der AMD 3D V-Cache Technologie.
• Schnellere Kommunikation zwischen CPU und anderen Komponenten: durch die Unterstützung für PCIe 5.0, welcher doppelt so schnell ist wie die vorherige Generation von CPUs mit PCIe 4.0.
• Erhöhte adressierbare Speicherkapazität von bis zu 6 TB DRAM pro Sockel, dank der erhöhten Anzahl von Speicherkanälen.
• Erhöhte Speicherzugriffsbandbreite von bis zu 57.600 MT/s (Megatransfers pro Sekunde) pro Sockel, eine Verbesserung um 125 % gegenüber der vorherigen Generation.
• Schnellere Speicherperformance: Unterstützung für DDR5-4800MHz-Speicher, der 33% schneller ist als frühere Generationen.
• Schnellere Kommunikation zwischen CPUs: durch mehr und schnellere xGMI-Verbindungen.
• AI-Optimierung: Die Unterstützung für AVX-512-Befehle erhöht die Geschwindigkeit für KI-Berechnungen (bisher war das ausschließlich mit Intel® Xeon® Scalable-Prozessoren der 3./4. Generation möglich).
• Höhere Datensicherheit: Durch Sicherheitsfeatures wie "Security by Design" werden die Daten in allen Verarbeitungsphasen besser geschützt.
• Höhere Energieeffizienz: durch EPYC 9004-CPUs, die verglichen mit EPYC 7002/7003-CPUs weniger Server zur Erledigung von Aufgaben benötigen.
• Verbindung zu den modernsten Technologien: u.a. durch 128 PCIe5-Lanes in 1-Sockel-Servern und bis zu 160 PCIe5-Lanes in 2-Sockel-Servern. So wird die immer mehr nachgefragte Integration und Nutzung von Beschleunigern, GPUs, NVMe Flash-Devices, FPGAs und Hochleistungs-LAN-Karten möglich.

Warum sich die H13-Systeme besonders gut für KI und ML eignen

Die H13-Server-Reihe von Supermicro ist optimal für den Einsatz in künstlicher Intelligenz und maschinellem Lernen geeignet. Der Grund dafür liegt in den anspruchsvollen Anforderungen, die KI- und ML-Workloads an die Hardware stellen. Sie erfordern hohe Rechenleistung, da sie mit massiven Datenmengen arbeiten und komplexe Berechnungen durchführen müssen. Die leistungsstarken AMD EPYC-Prozessoren der 4. Generation mit bis zu 128 Kernen sind dafür bestens geeignet.

Zudem unterstützen diese Prozessoren die AVX-512-Befehle. AVX-512 ist eine Erweiterung der x86-Befehlssatzarchitektur. Sie zu verwenden war bisher ausschließlich mit Intel® Xeon® Scalable-Prozessoren der 3./4. Generation möglich. Diese Erweiterung wurde speziell für hohe Rechenleistung und parallele Verarbeitungsoperationen entwickelt. Sie trägt zur Beschleunigung von KI-Berechnungen bei und verbessert die Leistungsfähigkeit von KI-Anwendungen.

Ebenso wichtig ist die Geschwindigkeit der Datenverarbeitung. KI- und ML-Anwendungen benötigen oft Zugriff auf große Mengen an Daten und müssen diese effizient verarbeiten können. Die H13-Reihe bietet eine enorme Speicherkapazität von bis zu 6 TB adressierbarem DRAM pro Sockel und unterstützt DDR5-4800MHz-Speicher. Dies ermöglicht eine schnellere Verarbeitung von Daten, was insbesondere bei datenintensiven KI- und ML-Anwendungen von großer Bedeutung ist.

Zudem sind durch die gesteigerte Anzahl an PCIe Lanes die Integration und Nutzung von leistungsstarken KI-Beschleunigern, GPUs und FPGAs problemlos möglich. Diese Hardwarebeschleuniger können die Rechengeschwindigkeit weiter erhöhen und damit die Leistung von KI- und ML-Anwendungen verbessern. Mit all diesen Features, gepaart mit den Sicherheits- und Energieeffizienzvorteilen der Serie, stellt die H13-Reihe von Supermicro eine ausgezeichnete Plattform für anspruchsvolle KI- und ML-Anwendungen dar.

Welche Produkte der Linie sich besonders für KI und ML eignen

H13 4U/8U NVIDIA HGX H100 GPU-Systeme
Dieses System ist das Nonplusultra Octa-GPU-System auf Basis von HGX H100. Es ist das Produkt für extreme Machine Learning Bedarfe und die Next-Generation Machine Learning Platform. Hier bekommen Sie die kombinierte GPU-Rechenpower mit NVIDIA-Grafikprozessoren, NVIDIA® NVLink® für höchste Multi GPU Interprozesskommunikation, NVIDIA-Netzwerken und auf Wunsch einem vollständig optimierten NVIDIA KI- und HPC-Softwarestack aus dem NVIDIA NGC™-Katalog für höchste Anwendungsleistung.

Mehr Informationen finden Sie hier:
https://www.supermicro.com/en/products/system/gpu/4u/sys-421gu-tnxr

H13 4U GPU-Systeme für max. 8x Dual PCIe NVIDIA bzw. AMD-GPU
Der kleine Bruder der 4U/8U HGX-Variante und PCIe-Bestseller unter den GPU Compute Servern ist noch immer extrem leistungsstark, hier ist der Fokus aber noch mehr auf die Vielseitigkeit und Flexibilität gelegt. Beispielsweise können Sie das System ganz einfach an Ihren Bedarf für Beschleuniger und GPUs anpassen.

Mehr Informationen finden Sie hier:
https://www.supermicro.com/datasheet/datasheet_H13_4UGPU.pdf

Anwendungsszenario: ein Fußballverein verwendet ML

Nehmen wir als Beispiel einen professionellen Fußballverein, welcher mittels Bilderkennung und maschinellem Lernen zunächst einmal das Trainings- und Spielverhalten der einzelnen Spieler der Herrenmannschaft analysieren will, um

• ihre Performance zu analysieren (Beschleunigung, Geschwindigkeit, Ballkontakte, etc.),
• ihre Performance für den nächsten Spieltag vorherzusagen,
• Verletzungen vorzubeugen und
• Taktiken zu entwerfen und zu verbessern.

Wie es zu der großen Menge an Daten kommt
Für die präzise Analyse kleinster Bewegungsabläufe bis in den Millisekunden-Bereich sind hochauflösende Videos mit möglichst vielen Frames pro Sekunde und aus verschiedenen Winkeln erforderlich. So entsteht eine enorme Menge an Rohdaten, die das ML-Modell braucht, um gute Ergebnisse zu liefern.

Wie die H13-Produktlinie hier helfen kann
An dieser Stelle kommen dem Verein unter anderem die hohen Speicherkapazitäten der H13 Server (bis zu 6TB adressierbaren DRAM pro Sockel und die Unterstützung für DDR5-4800MHz-Speicher) zugute, um die große Menge an Bilddaten schnell und effizient zu verarbeiten.

Darüber hinaus ermöglichen die AMD EPYC-Prozessoren der 4. Generation mit bis zu 128 Kernen eine schnelle Durchführung der komplexen Berechnungen, die für die Bilderkennung notwendig sind. Die Unterstützung für AVX-512-Befehle spielt dabei ebenso eine wichtige Rolle, da sie die Leistung von KI-Anwendungen beschleunigt.

Auch die hohe Anzahl von 128 PCIe Lanes bei bereits einer AMD EPYC-CPU ist von großem Vorteil. Durch sie kann eine hohe Zahl an Hardwarebeschleunigern wie GPUs oder FPGAs einfach integriert werden, ohne dabei gleichzeitig in die berühmte "Flaschenhalsfalle" durch zu wenig PCIe Lanes zu tappen. Diese beschleunigen die Verarbeitung von ML-Aufgaben erheblich und erhöhen die Leistungsfähigkeit des ML-Modells.

Wir sehen: Für unseren Fußballverein ist die Supermicro H13-Produktlinie eine exzellente Wahl.

Andere Anwendungsfälle

In anderen Anwendungsfällen, wie beispielsweise bei der Arbeit mit sensiblen Daten (z.B. in der Medizintechnik) sind die Sicherheitsvorteile der H13 von besonderem Wert.

Zuletzt ist die Energieeffizienz zum Senken der dabei entstehenden Emissionen und Kosten für jede Organisation (vom Fußballverein bis zum Datencenter) heutzutage ein wichtiger Faktor.

Fazit: erhöhte Rechenleistung und außergewöhnliche Energieeffizienz

Zusammenfassend kann man sagen, dass die H13-Produktlinie von Supermicro eine bedeutende Entwicklung im Bereich der Hochleistungsserver darstellt. Durch die Verwendung der neuesten Technologien – einschließlich der AMD EPYC-Prozessoren der 4. Generation, des erweiterten L3-Cache, der Unterstützung für DDR5-4800MHz-Speicher und des PCIe 5.0-Standards – bietet Supermicro leistungsstarke Lösungen, die ideal für eine Vielzahl von Anwendungen sind, einschließlich künstlicher Intelligenz und maschinellem Lernen. Die perfekte und extrem flexible Integrationsmöglicheit aktueller GPU-Technologien auf Basis AMD oder NVIDIA sorgen darüber hinaus für ein Maximum an Einsatzmöglichkeiten von PCIe- und HGX-Plattformen. Die erhöhte Rechenleistung, kombiniert mit einer außergewöhnlichen Energieeffizienz und hervorragenden Sicherheitsfunktionen, macht die H13-Produktlinie zu einer hervorragenden Wahl für Unternehmen, die ihre technischen Herausforderungen bewältigen und dabei gleichzeitig ihre Betriebskosten optimieren möchten.

Die H13-Server können die Leistung und Effizienz erheblich steigern, sowohl in herkömmlichen IT-Umgebungen als auch in spezialisierten Bereichen wie KI und ML. Ob es sich nun um datenintensive Workloads, komplexe wissenschaftliche Simulationen oder fortschrittliche KI-Modelle handelt, die H13-Produktlinie von Supermicro ist darauf ausgelegt, die Herausforderungen von heute und morgen zu meistern. Mit der H13-Serie baut Supermicro seine Position als führender Anbieter im Bereich der Hochleistungsserver weiter aus.

Die Auswahl des richtigen Servers für Ihren Anwendungsfall ist eine komplexe Angelegenheit – insbesondere, wenn Sie auf der Suche nach dem passenden Server für Ihre KI- oder ML-Anwendungen sind. Für Fragen steht Ihnen daher unser Custom Server Solutions-Team jederzeit gerne zur Verfügung. Gemeinsam finden wir den idealen Server für Ihr jeweiliges Anwendungsszenario mit der gewünschten Leistungs- und/oder Packungsdichte bei geringstmöglichen Stromverbrauchs- und Investitionskosten!

Weitere Informationen zur H13-Produktlinie finden Sie außerdem auf der Webseite von Supermicro.