Vermutlich sind nicht alle PCIe Sots x16 weil es für Server kaum x16 Karten gibt, meist sind die nur x8 und wenn man GPU Computing betreibt, da haben die Karten dann wirklich x16, braucht man auch kaum so viel I/O zu den GPUs. Die für Berechnungen zu nutzen lohnt sich ja nur, wenn diese Berechnungen auf der GPU auch länger dauern und man nicht nur die ganze Zeit die Daten hin und her schaufeln muss.
10GbE Ports sind längst nicht so teuer wie sie meist noch verkauft werden, 100USD für zwei sind da schon realistischer als die Preise für eine Karte mit einem X550. So langsam tut sich da aber auch mal was bei den Preisen.