Memorysolution ist jetzt BeeGFS Gold Partner.

Alle Vorteile des parallelen Cluster-Dateisystems und warum es ein Schritt zur maßgeschneiderten Problemlösung sein kann.

BeeGFS ist ein am Fraunhofer ITWM entwickeltes paralleles Cluster-Dateisystem (damals noch FhGFS) mit Fokus auf Leistung und einfacher Verwaltbarkeit. Im Laufe der Zusammenarbeit zwischen Memorysolution und Menzel IT GmbH wurde es bereits häufig erfolgreich als performantes Tool eingesetzt. Deshalb sind beide Partner nunmehr überzeugte Reseller. Das bedeutet für Sie als Kunden: Als BeeGFS Gold Partner können Memorysolution und Menzel IT neben der benötigten IT-Infrastruktur nun auch den Support für eine Komplettlösung samt parallelem Dateisystem aus einer Hand anbieten.

BeeGFS löst eine Herausforderung, die in der Arbeit mit HPC-Clustern tagtäglich auftritt: Eine Vielzahl von Rechenjobs greift gleichzeitig auf ein begrenztes Set von Dateien zu – teilweise in hochgradig verschachtelten Unterverzeichnissen. Die Abfrage der Metadaten führt dabei zu stark erhöhten Latenzen, der Arbeitsablauf gerät ins Stocken und die Ausführung dieser Jobs verzögert sich. Eine Lösung wäre die Investition in eine riesige Menge hochperformanter Storages. Die damit verbundenen Kosten sind jedoch enorm und, wenn die Konzeption des Clusters von Anfang an stimmt, nicht unbedingt notwendig.

Um das beschriebene Problem zu lösen, setzen die Menzel IT und Memorysolution BeeGFS ein. BeeGFS bietet hier zwei wesentliche Vorteile:

1. Es trennt den Dateiinhalt von den Metadaten der jeweiligen Datei– im Idealfall auf getrennten und jeweils optimierten Servern. Dadurch können die Metadaten auf skalierbaren, hochperformanten Speichermedien, wie SSDs oder NVMe(-SSDs), gelagert werden, während der Dateiinhalt selbst auf günstigeren Speichermedien mit etwas geringerer Performanz, dafür aber höherer Speicherdichte liegen – etwa der klassischen Festplatte. Ein latenzarmes Netzwerk vorausgesetzt, wird die Storage-Performance auf diese Weise wesentlich verkürzt.

2. Des Weiteren bietet BeeGFS die Möglichkeit eines Performance-Pools. Die Dateien des aktuellen Rechenjobs werden vor Beginn auf einen kleinen, aber hochperformanten Pool (bestehend aus NVMe-SSDs oder SSDs) transparent umkopiert. Für den Nutzer sind sie trotzdem am „ursprünglichen“ Ort sichtbar.

Zur Verwaltung hält BeeGFS einen Management-Service bereit, der als Broker fungiert: Alle Server melden sich dort an, der BeeGFS-Management-Daemon verknüpft sie und die Clients können so direkt mit den Storage-Servern kommunizieren.

BeeGFS ist einfach zu installieren, sehr flexibel und eignet sich unter anderem für Storagesysteme, die von rechenintensiven Anwendungen adressiert werden. Es funktioniert mit den gängigen POSIX-kompatiblen Dateisystemen, läuft unter Red Hat Enterprise Linux, SuSE Linux Enterprise Server oder gängigen Debian-Derivaten und ist sehr kompakt, ohne großen personellen/administrativen Aufwand zu verursachen.

BeeGFS konnte von den Partnern Menzel IT und Memorysolution beispielsweise erfolgreich in einem HPC-Cluster mit 400 Nodes eingesetzt werden. Die Metadaten lagerten dank BeeGFS auf SSDs auf RAID 10 während die Dateiinhalte auf kostengünstigeren HDDs auf RAID 6 lagen. Das Ergebnis war eine signifikante und doch kosteneffiziente Verbesserung der Performance und letztlich ein problemloser Workflow für die User.

Neben einigen anderen ist BeeGFS ein Tool, das die Partner Menzel IT und Memorysolution nutzen, um ihrem selbstgesetzten Anspruch schlüsselfertig konfigurierte Server-und IT-Lösungen anzubieten, gerecht zu werden.

Deshalb sind für Menzel IT und Memorysolution ausführliche Analyse, individuelle Lösungsvorschläge und ein kompetentes Consulting der erste Schritt. Hier greifen die jeweiligen Fachgebiete der beiden Partner perfekt ineinander: MUSTANG® systems punktet mit einem breiten Spektrum an Server- und Speicherlösungen, Rechenzentren- und Cloud-Anwendungen, HA-, HPC-, GPU-Computing oder Embedded systems. Menzel IT GmbH ist Experte in Open-Source-basierter IT-Infrastruktur für HPC-Cluster. Gemeinsam ermitteln sie nicht nur den exakten Bedarf ihrer Kunden, sondern finden auch die – im Hinblick auf Budget und Bedarf – ideale Lösung.

Cluster Dateisysteme wie BeeGFS können dabei der entscheidende Schlüssel zu kosteneffizienten Alternativen für Sie sein.