Cloudflare Gen X

Intel Not Inside (Update: Benchmarks)

Cloudflare hat die zehnte Generation alias Gen X seiner Serverhardware vorgestellt. Interessant ist dies vor allem im Hinblick auf die verwendeten Komponenten. Nach Jahren der Nutzung von Intel-Prozessoren wechselt der Anbieter für Content Delivery Networks, Internetsicherheitsdienste und verteilte DNS-Dienste zu AMD. Weltweit betreibt Cloudflare 200 größere und kleinere Datacenter.

Die Umstellung auf die neuen Server erfolgt natürlich nicht in allen Rechenzentren gleichzeitig. Derzeit hat man erst rund ein halbes Dutzend Datacenter in den USA neu ausgestattet. Schrittweise werden die älteren Systeme in den restlichen Datacentern aber ebenfalls ersetzt – je nachdem, welche Anforderungen hier benötigt werden und wie alt die aktuell eingesetzte Hardware dort ist.

Bisher setzte Cloudflare für die Gen-9-Server auf Prozessoren aus dem Hause Intel und dabei auf die letzten Generationen Skylake und Cascade Lake. Ein genaues Modell nennt Cloudflare für die bisher eingesetzten Prozessoren nicht. Man spricht von 2x 24 Kern Intel-Custom-Off-Roadmap-Prozessoren mit einem Takt von 1,9 GHz bei einer TDP von 150 W. In den Gen-X-Servern zum Einsatz kommen AMD EPYC 7642 in einer Single-Socket-Konfiguration. Diese bieten 48 Kerne, ein Basistakt von 2,4 GHz und einen 256 MB großen L3-Cache. Die TDP des EPYC 7642 liegt bei 225 W und damit um 75 W geringer als bei den zwei Intel-Prozessoren – bei identischer Anzahl an Kernen.

Bei Cloudflare habe man außerdem über den Einsatz von 64-Kern-EPYC-Modellen nachgedacht, dies jedoch verworfen, da der Leistungszuwächse im verwendeten Software-Stack zu gering waren. Die 256 MB an L3-Cache spielen neben der Anzahl der Kerne ebenfalls eine Rolle, so dass man sich für den EPYC 7642 entschieden hat. Womöglich wäre zudem der Einsatz des EPYC 7532 interessant für Cloudflare gewesen. Dieser bietet ebenfalls 256 MB an L3-Cache, aber nur 32 Kerne und wurde vergangene Woche von AMD vorgestellt.

"Notably, for the first time, Intel is not inside. We are not using their hardware for any major server components such as the CPU, board, memory, storage, network interface card (or any type of accelerator). Given how critical Intel is to our industry, this would until recently have been unimaginable, and is in contrast with prior generations which made extensive use of their hardware.

We were particularly impressed by the 2nd Gen AMD EPYC processors because they proved to be far more efficient for our customers’ workloads. Since the pendulum of technology leadership swings back and forth between providers, we wouldn’t be surprised if that changes over time. However, we were happy to adapt quickly to the components that made the most sense for us."

Cloudflare spricht davon, dass man seine Server-Hardware anders ausrichtet, als dies bei vielen anderen CDNs der Fall ist. Dies liegt an den unterschiedlichen Anwendungsbereichen, in denen die Gen-X-Server zum Einsatz kommen. Den Software-Stack entwickele man aber weiterhin parallel für x86 und ARM, wenngleich die ARM-Server hier noch immer auf ihren Durchbruch warten. Man glaubt aber, dass ein Mix aus x86 (Intel und AMD) sowie ARM in der Zukunft sinnvoll sein könnte. In Kürze will Cloudflare einige Benchmarks veröffentlichen, welche die Leistung des Gen-X-Servers aufzeigen sollen.

Die weiteren Komponenten der Gen-X-Server bestehen aus 256 GB Arbeitsspeicher (identisch zum Vorgänger), der dank der EPYC-Prozessoren nun mit 2.933 MHz arbeitet. Hinzu kommen 3x 1 TB an NVMe-SSDs und 2x 25GbE Mellanox NICs zur Anbindung an das Netzwerk.

Update: Cloudflare liefert Benchmarks

Cloudflare hat die passenden Benchmarks zu den Gen-X-Servern veröffentlicht. Zunächst einmal aber verliert man ein paar Worte über die Entwicklung der bisherigen Server-Plattformen bei Cloudflare:

Für Cloudflare einerseits interessant ist die reine Steigerung der Anzahl der Kerne, wenngleich diese zwischen den Gen-9- und Gen-X-Servern nicht angestiegen ist – über die vergangenen Jahre hingegen schon. Außerdem spielt die Leistungsaufnahme eine Rolle. Aufgrund der geringeren Leistungsaufnahme der EPYC-Prozessoren im Vergleich zu den Skylake-Modellen steigt die Effizienz, also die TDP pro Kern sinkt.

Für die Benchmarks vergleicht Cloudflare seine beiden aktuellen Generationen, die wie folgt bestückt sind:

Neben der Effizienz spielt das Angebot an PCI-Express-Lanes und deren einzelnen Datenrate eine Rolle, aber ebenso die Bestückung mit DDR4-Speicher.

Kommen wir nun zu den Benchmarks, in denen der EPYC 7642 teilweise deutlich schnell ist, wie der Xeon Platinum 6162. Dies ist allerdings nicht weiter verwunderlich, schließlich sind die EPYC-Modelle der 2. Generation deutlich aktueller als die Skylake-Modelle, die Cloudflare in den Gen-9-Servern einsetzt.

Wie dies in solchen Unternehmen üblich ist, wird sich Cloudflare auch die aktuellen Cascade-Lake-Prozessoren angeschaut und sich dann letztendlich für die EPYC-Modelle entschieden haben. Mit jeder neuen CPU-Generation schaut sich Cloudflare die Leistung der unterschiedlichen Komponenten an und entscheidet dann für die zukünftigen Server auf Basis der neuen Erkenntnisse neu.

Update: Benchmarks zum L3-Cache

Cloudflare hat weitere Benchmarks veröffentlicht, die sich mit dem Thema L3-Cache beschäftigen. Einer der Vorteile der EPYC-Prozessoren ist, dass es hier Modelle mit 32, 48 und 64 Kernen gibt, die über 256 MB an L3-Cache verfügen. Eben dieser scheint für die Anwendung in den Gen-X-Servern besonders wichtig zu sein.

Durch den relativen großen L3-Cache der EPYC-Prozessoren kann die Miss Rate deutlich reduziert werden. Die Miss Rate wird als die Anzahl der Anfragen definiert, bei denen die Daten nicht im Cache vorhanden waren, geteilt durch die Anzahl der gesamten Anfragen. Je geringer die Miss Rate, desto besser.

Die Benchmarks sollen genau das darlegen:

Neben der geringeren Leistungsaufnahme für 48 Kerne, der höheren Effizienz spielte für Cloudflare auch der große L3-Cache eine Rolle bei der Wahl des Prozessors. Die weiteren Zahlen sollen dies noch einmal unterstreichen.