Werbung
Anders als viele andere Streaming-Dienste betreibt Netflix seine eigene Hardware und bietet diese den Internet-Service-Providern wie der deutschen Telekom an, damit diese die Server dann abhängig vom Bedarf an ihre eigene Infrastuktur integrieren können. Das eigene Netflix Open Connect CDN Team arbeitet derzeit an der Umsetzung für Server mit einer Anbindung von 100 GBit/s.
Das 100-Gigabit-Ethernet (100GbE) ist bereits Teil des IEEE 802.3ba-2010-Standards und wird in Server-Infrastrukten bereits verwendet, allerdings ist es alles andere als einfach, eine solche Verbindung mit Videostreams sinnvoll auszulasten. Das Team von Netflix hat sich zur Aufgabe gemacht, die 100 GBit/s per FreeBSD-basierter Open Connect Appliance (OCA) und NVMe-SSDs zu füllen.
Mit der bislang verwendeten Hardware war dies nicht möglich. Netflix verwendete bislang Single-Socket-Server mit Xeon E5–2697v2 sowie einigen SSDs und großem Arbeitsspeicher. Häufig abgerufene Streams wurden direkt aus dem Arbeitsspeicher bedient, die SSDs konnten im Zusammenspiel mit dem Prozessor nur etwa 40 GBit/s bedienen
Die neuen Server verwenden nun einen Intel Xeon E5 2697v3 samt Mellanox 100GbE NICs sowie vier NVMe- und 44 SATA-SSDs. Ohne Anpassungen an der Software waren damit 60 GBit/s möglich. Also musste Netflix noch einige Optimierungen für die I/O-Zugriffe sowie auf dem Server laufende virtuelle Maschinen vornehmen und landet so bei 80 GBit/s. Weitere Optimierungen für den TCP Large Receive Offload (LRO) sowie an der Queue für 1.024 Datenpakete in 256 Verbindungen erreichten letztendlich 90 GBit/s.
In einer weiteren Ebene sollte der komplette Datenverkehr per TLS verschlüsselt werden. Hier lag das Limit auf der 100GbE-Verbindung zunächst bei genau 58 GBit/s, was offenbar durch die Speicheranbindung zwischen Prozessor und Arbeitsspeicher begründet war. Auch hier musste Netflix also zunächst einmal einige Optimierungen vornehmen, um wieder auf etwa 90 GBit/s zu kommen.
Was wir hier auf wenigen Absätzen und ohne echtes Wissen des technischen Hintergrund beschrieben haben, hat Netflix in einem ausführlichen Blogpost genauer beschrieben. Hier werden dann sicherlich auch all diejenigen fündig, die sich für die genaue Umsetzung und Art und Weise der Optimierungen interessieren. Für eine möglichst gute Streamingqualität bei niedriger Bandbreite hat Netflix bereits genauer beschrieben, wie nahezu der komplette Inhalt der Videobibliothek erneut encodiert wurde. Das CDN-Team bei Netflix gehört zu den Vorreitern wenn es darum geht das Streaming und die dazugehörige Hard- und Software den eigenen Bedürfnissen anzupassen.