Thought Leadership
Mit einem Open-Source-Tool unterstützt Cloudian die Machine-Learning-Community: Die ML-Bibliothek Pytorch erhält mit S3-Objektspeichern mehr Rechenleistung und Flexibilität und profitiert von ML-Ausführung in AWS Outposts und lokale Zonen. Mit der Verbindung dieser Plattformen wird der Workflow nicht nur schneller, sondern vor allem effizienter.
Cloudian erweitert die Unterstützung für die Open-Source-Programmbibliothek PyTorch, die auf maschinelles Lernen spezialisiert ist. Ab sofort können lokale Daten-Lakes aufgebaut werden, die auf dem S3-kompatiblen Objektspeicher HyperStore von Cloudian basieren. Diese Integration zielt darauf ab, den Workflow im Bereich des maschinellen Lernens zu vereinfachen und die damit verbundenen Kosten zu senken. Maschinelle Lernaufgaben können nun auch auf lokalen Rechenressourcen wie AWS Outposts und lokalen Zonen durchgeführt werden.
Mit der neuen Unterstützung können Anwender von AWS Outposts und lokalen Zonen Python sowie Machine-Learning-Bibliotheken nutzen, um Daten innerhalb eines lokalen HyperStore-Speichersystems zu analysieren. Dies erspart Datenwissenschaftlern und KI-Entwicklern den zeitaufwändigen Schritt, Daten in einen separaten Staging-Bereich zu verschieben. Ziel ist es, die Datenverarbeitungs-Pipeline zu optimieren und den Machine-Learning-Workflow zu beschleunigen.
Jon Toor, Chief Marketing Officer von Cloudian, betont die Bedeutung dieses Open-Source-Beitrags: »Diese Entwicklung schließt die Lücke zwischen verteilten, S3-kompatiblen Objektspeichersystemen und Compute-Plattformen für maschinelles Lernen. Durch die Beseitigung der Notwendigkeit eines dedizierten parallelen Dateisystems für Machine-Learning-Workflows ermöglicht Cloudian den direkten Zugriff auf ein kosteneffizientes, skalierbares Datenrepository. Dies vereinfacht den Machine-Learning-Prozess erheblich und senkt sowohl die Komplexität als auch die Kosten der Datenanalyse.«
Weiterführende Links:
- Cloudian S3-Connector für Pytorch GitHub-Repository von AWS Labs und Cloudian
- Datenanalyse: Cloudian & Cribl mit neuer S3-Data-Lake-Plattform
- Cloudian Hyperbalance: Lastverteilung für Objektspeicher
