Entdecken Sie die Vielseitigkeit von HAProxy Enterprise mit Willhaben
Mehr als 10 Millionen Inserate.
Team von 250 Mitarbeitern.
2,5 Milliarden Seitenaufrufe pro Monat.
Über Willhaben
Willhaben ist Österreichs größter Online-Marktplatz und bietet Anzeigen für Waren und Dienstleistungen, von Jobangeboten bis hin zu Immobilien. Die Website ist erstmals 2006 online gegangen und wurde von dem 250-köpfigen Team so ausgebaut, dass sie heute fast 10 Millionen Artikel gleichzeitig anbietet und eine der meistbesuchten Websites des Landes ist. Und mit den 2,5 Milliarden Seitenaufrufen pro Monat stellt Willhaben strenge Anforderungen an die Sicherheit und Effizienz des Netzwerks.
Resultatsüberblick
Die Herausforderung
In den ersten zehn Jahren seiner Präsenz im Internet entsprachen die Online-Anforderungen von Willhaben dem stetigen Wachstum des kleinen Startup-Teams. Mit nur 600 bis 800 Megabit pro Sekunde Traffic im Jahr 2015, der hauptsächlich über HTTP abgewickelt wurde, konnte Willhaben mit einer begrenzten, hardwarebasierten Load-Balancing-Lösung auskommen, um Pakete an seine vier Serverpools weiterzuleiten. Da sich jedoch ein größerer Traffic abzeichnete und die Sicherheit insgesamt erhöht werden sollte, nutzte Willhaben die Vorteile der geringeren Kosten eines Linux-basierten Ansatzes und wurde Kunde von HAProxy Enterprise.
Die ersten Erfahrungen des Systemingenieurs Christian Platzer mit der Lösung zeigten sofort, dass sie sicherer war, da er nun HTTPS im Load Balancer implementieren konnte, der außerdem eine bessere Leistung bot, da HAProxy Enterprise die Zuweisung der SSL-Verschlüsselungsarbeit an bestimmte CPU-Kerne ermöglicht. Diese Möglichkeit, die SSL-Verschlüsselung bestimmten Kernen zuzuweisen, gab Willhaben ein effizientes Mittel an die Hand, um ein höheres Maß an Sicherheit auf der gesamten Website zu implementieren.
Willhaben entdeckte jedoch bald, dass diese verbesserte Sicherheit nur eines der vielen Werkzeuge der HAProxy Enterprise-Lösung ist, die aufgrund ihrer Vielseitigkeit als Schweizer Taschenmesser für das Load Balancing bezeichnet werden könnte.
Christian Platzer auf der HAProxyConf 2019
Die Ziele
Angesichts des wachsenden Traffic und des Wunsches nach bedarfsgerechter Skalierbarkeit und Einsparungen durch die Umstellung auf Kubernetes verwendete Willhaben einen selbst geschriebenen Ingress Controller, der HAProxy Enterprise nutzt. Dann nutzten sie die Möglichkeit der Hitless Reloads für Konfigurationsdateien in HAProxy Enterprise 1.9, um das dynamische Hinzufügen und Entfernen von Kubernetes-Diensten zu unterstützen.
Das Ingenieurteam wollte auch HTTP/2 auf der gesamten Website implementieren, um die Effizienz zu nutzen, die durch die Fähigkeit des Protokolls ermöglicht wird, mehrere Client-Anfragen parallel über dieselbe TCP-Verbindung zu senden. Sie entdeckten, dass diese Umstellung dank der einfachen Konfiguration in HAProxy Enterprise relativ nahtlos vonstatten ging, und konnten auch das Enterprise-Supportteam in Anspruch nehmen, als sie eine Reihe von ausgelasteten Schleifenprozessen im Zusammenhang mit dem Update sowie das bekannte Problem des Race Cache with Network in Firefox entdeckten. Das Enterprise-Supportteam konnte Willhaben schnell mit einer Lösung helfen, und das Unternehmen war bereit, die letzten Sicherheitsherausforderungen zu meistern.
Die Lösung
Christians letzte Ziele für HAProxy Enterprise waren die Nutzung der Sicherheitsfunktionen, um eine Lösung für eines seiner persönlichen Probleme zu finden: Schutz vor Such-Crawlern. Willhaben möchte zwar, dass seine Kleinanzeigen von Google gecrawlt werden, aber das Team hatte Probleme mit Google- und Bing-Bot-Anfragen sowie mit anderen Crawlern, die den Zugriff auf die Daten für Ad Impressions behinderten. Während Christian von Anfang an die Tarpitting-Funktion von HAProxy Enterprise einsetzte, um 502 Bad Gateway- oder 503 Service Unavailable-Fehler zurückzugeben und bestimmte IP-Adressen zu blockieren, erwies sich das Javascript Challenge Module als noch effektiver.
Dieses Tool von HAProxy Enterprise bietet die Möglichkeit, den Browser des Kunden aufzufordern, eine mathematische Aufgabe zu lösen, um zu beweisen, dass es sich um einen echten Browser handelt. Dadurch werden einige Probleme mit dem versehentlichen Tarpitting gültiger Clients vermieden, die hinter einem NAT-Netzwerk oder Web-Proxy laufen, oder mit mobilen Clients, die aus einem dynamischen IP-Pool kommen.
Die Resultate
Sechs Jahre nach der Umstellung auf die Enterprise-Lösung von HAProxy für das Load Balancing sieht das Willhaben-Team mit jeder neuen Version weitere Verbesserungen an seinem System. Sie sind auch sehr interessiert am Dialog von HAProxy Technologies mit der Community über bevorstehende Software-Updates, einschließlich Traffic-Shadowing-Funktionen (die inzwischen freigegeben wurden), und genießen gleichzeitig die bewährten Sicherheitsvorteile des softwarebasierten Load Balancing.
Das bietet Ihnen HAProxy Enterprise
Während Willhaben mit HAProxy Enterprise eine maßgeschneiderte Lösung für die Kontrolle von eingehendem Traffic implementierte, können Sie jetzt viele der gleichen Vorteile nutzen, ohne dies selbst tun zu müssen. HAProxy Technologies bietet jetzt auch einen Ingress-Controller für Unternehmen an, der alle Vorteile unterstützt, die mit der Verwaltung von Containern, der kontinuierlichen Bereitstellung und vielem mehr verbunden sind. Nehmen Sie Kontakt zu uns auf, um mehr zu erfahren.
Möchten Sie mehr über die Anwendungsfälle von HAProxy erfahren? Lesen Sie unsere Erfolgsgeschichten.