Sichere Bereitstellung von KI für die breite Masse mit HAProxy
Mehr als 2 Millionen Anfragen pro Sekunde.
354 zertifizierte Sicherheitskontrollen.
Repräsentativer Anbieter für ModelOps und Explainable AI.
Über Modzy
Modzy wurde 2019 nach mehreren Jahren der Entwicklung gegründet und ist heute eine der führenden ModelOps- und MLOps-Plattformen im KI-Sektor. Mit dem Ziel, eine Welt zu schaffen, in der die Zusammenarbeit von Menschen und Maschinen besser ist, als wenn Menschen und Maschinen getrennt von einander arbeiten, ermöglicht der Service von Modzy den Kunden, KI-Modelle im großen Maßstab zu erstellen und aus dem Labor in die Produktion zu übertragen. Modzy ist sowohl mit traditionellen als auch mit Cloud-Infrastrukturen kompatibel und bereitet sich auf Wachstum vor, da Umfragen in naher Zukunft einen enormen Anstieg der KI-Investitionen erwarten lassen.
Resultatsüberblick
Die Herausforderung
Als Plattformanbieter für die Bereitstellung von künstlicher Intelligenz ermöglicht Modzy seinen Kunden, im Labor entwickelte KI-Dienste in die Produktion zu überführen und anschließend ihre Abläufe zu skalieren, zu überwachen und zu verbessern. Dies entsprach dem Bedarf der Branche für Dienstleistungen im Bereich des maschinellen Lernens an einer Bereitstellungsstruktur, die das Engineering auf Kundenseite entlastet und es den Kunden ermöglicht, die Vorteile der künstlichen Intelligenz in großem Umfang zu nutzen, ohne sich um die Bereitstellung und Wartung kümmern zu müssen.
Nach einer Anschubfinanzierung und mehreren Jahren der Entwicklung der Struktur ihrer Plattform wollte das Team von Modzy ein kostenloses Testsystem für potenzielle Kunden einrichten, um die Vorstellung ihrer Produktreihe zu begleiten. Der technische Leiter von Modzy, Nathan Mellis, wusste jedoch sehr wohl, dass die Öffnung jeder Infrastruktur für das Internet mit Risiken verbunden ist. Und so machte sich das Team daran, eine hochverfügbare Infrastruktur zu schaffen, bei der die Sicherheit oberste Priorität hat, um ihre Plattform der Öffentlichkeit zugänglich zu machen.
.png)
Nathan Mellis auf der HAProxyConf 2021
Die Ziele
Nathan und das Team von Modzy hatten eine Reihe von detaillierten Anforderungen, die ihre Sicherheitsbedürfnisse erfüllen sollten. Dazu gehörten der Schutz des Benutzerverkehrs mit HTTPS, die Implementierung einer Web Application Firewall, die Beschränkung des Zugangs auf bestimmte geografische Regionen und die Aktivierung der Durchsatzbegrenzung.
Nathan entschied sich schließlich für einen Cluster von HAProxy Enterprise-Load-Balancern, da diese über ausgefeiltere Sicherheitsoptionen verfügen. Dazu gehörten die erweiterte WAF und ihre Fähigkeit, komplexere Regelsätze zu unterstützen, sowie andere Funktionen wie Echtzeit-Blacklists für Botnet-IPs und eine höhere Granularität bei der GeoIP-Filterung. In Kombination mit der Implementierung von Stick-Tabellen zur Durchsatzbegrenzung und verbessertem SSL mit Angabe des Servernamens konnte das Entwicklungsteam beruhigt sein, dass es eine sichere Oberfläche für seine neue Plattform hatte.
Nathan nutzte auch die unübertroffene Beobachtbarkeit von HAProxy Enterprise, indem er einen Fluent Bit-Prozessor für Protokollierung und Kennzahlen einsetzte. Dieser konvertierte und exportierte die Protokolle des Balancers in das gewählte SIEM-Tool und verschaffte dem Team einen klaren Einblick in den Betrieb und die Warnmeldungen des Load-Balancing-Systems.
Die Lösung
Um dieses System bereitzustellen, entschieden sich die Modzy-Ingenieure für einen Infrastructure-as-Code-Ansatz zur Bereitstellung und Verwaltung ihrer verschiedenen Netzwerkkomponenten. Die Implementierung von HashiCorp Packer zur Erstellung eines Image einer virtuellen Maschine von HAProxy Enterprise – mit vorinstalliertem Fluent Bit, Logging-Konfiguration und Sicherheits-Plugins – sowie HashiCorp Terraform zur Generierung neuer Konfigurationsdateien bei Bedarf ermöglichte nahtlose System-Updates.
HashiCorp Terraform generiert diese neuen Dateien automatisch, wenn neue benutzerdefinierte Domainnamen für jeden Kunden erstellt werden, und schreibt und speichert sie in einem S3-Bucket. Die neuen Einstellungen werden anschließend durch eine Cron-Synchronisation zum Load Balancer hinzugefügt. Durch die Nutzung der Hitless Reloads von HAProxy Enterprise wird der Load Balancer selbst neu gestartet, ohne dass Verbindungen verloren gehen, was zu einem vollständig autarken und hoch verfügbaren Netzwerk führt.
.png)
Die Resultate
Das Modzy-Team nutzte auch die umfangreiche Dokumentation und die Web-Tutorials, die zusammen mit der HAProxy Enterprise-Produktsuite bereitgestellt wurden, um die Struktur ihrer HAProxy Enterprise-Instanzen in einem von AWS gehosteten privaten Subnetz zu entwerfen, das direkt auf einem von den Supporttechnikern von HAProxy Technologies empfohlenen Design basiert. Der Dialog mit dem Supportteam erwies sich für Nathan als äußerst hilfreich bei der Einrichtung seines Systems, was zu einer sehr erfolgreichen kostenlosen Testplattform für seine KI-Dienste führte. Das Ergebnis war ein System, das die Leistung von HAProxy Enterprise nutzte, um Sicherheit und Beobachtbarkeit für die kostenlose Version des Dienstes zu bieten, die letztendlich dazu diente, Kunden auf das Unternehmensangebot umzustellen.
Das bietet Ihnen HAProxy Enterprise
Ganz gleich, ob Sie eine überragende Beobachtbarkeit, Schutz vor webbasierten Bedrohungen oder einfach einen Load Balancer benötigen, der sich in eine benutzerdefinierte Plattform integrieren lässt – HAProxy Enterprise ist führend in seinem Bereich. Nachdem wir kürzlich die Marke von 2 Millionen HTTP-Anfragen pro Sekunde überschritten haben, können Sie Ihre eigenen Anwendungen mit HAProxy Enterprise in unübertroffener Geschwindigkeit bereitstellen. Nehmen Sie Kontakt zu uns auf, um mehr zu erfahren.
Möchten Sie mehr über die Anwendungsfälle von HAProxy erfahren? Lesen Sie unsere Erfolgsgeschichten.