Multi-Sockel-Hardwaretreff Part 2

Moin,
mal ne frage, da ich seit Jahren wohl kaum was von Hardware mitbekomme ;)
Ich müsste 2 Boards + CPUs hier in Storage Server austauschen, da aktuell 2x 771 CPU + 8 RAM Module je System einfach abartig sind vom Stromverbrauch.

In sich wäre AES support nett. Dazu bei 2x onboard GbE bräuchte das Board noch 1x PCIe X8 für den RAID Kontroller und 2x min. PCIe x4 für NICs.
Jemand Vorschläge?
Würde Supermicro Hardware vorziehn.

P.S.: Wo hier gerade über CPU Leistung debatiert wird. Ich würde gerne meine ESXi host nach und nach gegen weniger Energieverbrauchende tauschen.
Hier wäre die Frage bringt ein: z.b. 6366 HE ähnliche Leistung wie 2x 2427 oder 4x 8354 ?
Denn dann würde ich die Hosts austauschen gegen jeweils ein 6366 HE auf einem H8SGL-F mit 8x 8GB DDR3 ECC reg. und NICs.
Alternativ ich baue um auf Intel, sofern das zu den gleichen Kosten drinne ist.. wie ein AMD Setup.
Bei Intel käme etwa das X9SRE-3F in Frage, hier könnte ich vorhandene PCI-X NICs verwenden und msste keine neuen kaufen oder aber das X9SRL-F und neue PCIe NICs kaufen. Bleibt nur die Frage, welche CPU hat genügend Leistung? und was kostet diese dann?



Grüße
MAFRI
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich spiele im Moment mit X10SLL-F rum, das käme für deinen Storage in Frage: Supermicro X10SLL-F retail (MBD-X10SLL-F-O) Preisvergleich | Geizhals Deutschland
Ich nutz davon zwei mit je nem Pentium G3220 als Testsystem. Supportet UDIMM mit ECC, hat direkt 2x Intel GbE und dediziert IPMI und 2x PCIe x8 und 1x PCIe x4. Läuft im Moment bei mir nicht, weil ich irgendwelche Probleme mit dem BIOS, der CPU oder dem RAM habe. Aber das krieg ich noch irgendwie hin! :d

Was deine ESX Hosts angeht ist es etwas schwieriger.

Die Frage wäre wie viele Cores du so brauchst und wieviel Rechenleistung. Ersteres ist wichtig für das pCPU to vCPU Verhältnis, was unabhängig von der Rechenleistung ein Problem darstellen kann. Prinzipiell könnte ein Opteron 6300 mit 16 Kernen (naja, Piledriver, eher so 8+8...) schon zwei alte Hexacores oder vier alte Quadcores ablösen. Theoretisch verlierst du dabei auch dann auch noch Speicherdurchsatz, der aber normalerweise nicht so das Problem ist.

Intel kommt natürlich genau so in Frage. Grundsätzlich würde ich aber keine Board mehr kaufen mit Rücksicht auf PCI-X NICs. Intel PCIe Dual Port GbE NICs kriegt man für ganz kleines Geld. Meld dich bei mir wenn du da welche brauchst. Quadport Karten kriegt man auch schon für unter 100 Euro, falls Dual Port Karten nicht reichen.
Das X9SRL-F nutze ich im Moment in meinem Desktop System und demnächst wohl auch im Fileserver. Im Moment kriegst du SB-E CPUs mit maximal sechs Kernen und SB-EP mit acht Kernen. Demnächst kommen dann die IB-EP nach mit maximal zwölf Kernen. Aber da das Xeon DP sind sind die nicht billig.
SB-EP mit acht Kernen und 2.0 GHz kostet knapp 1000 Euro (E5-2650), für 8x2.6 GHz werden dann schon 1300 fällig (E5-2670). Das Highend Modell mit 8x2.9 GHz musst du dann schon über 1700 Euro zahlen. CPUs mit den selben Specs kriegt man als IB-EP für 750 bzw. 1000 Euro, da wirds dann nach oben hier wieder teurer. 10x2.5 GHz (E5-2670 v2) und 10x2.8 GHz (E5-2680 v2) kosten 1300 bzw. 1400 Euro und die 12C CPUs fangen so bei 2000 Euro für 12x2.4 GHz (E5-2695 v2) an.

Im -E Bereich gibts nach wie vor nur sechs Kerne. Ist mit 500 Euro deutlich billiger, bleibt nur die Frage ob dir das reichen würde.
 
Also was die ESXi angeht, seh ich das nicht sooo kritisch...
Zwei der kleinsten Hexacores (sprich um die 2GHz SandyE/IvyE) auf Xeon E5 Basis sollten schon meilenweit schneller als die vorhandenen 2427 Opterons sein.
Und die vier Opteron 8354 sind noch deutlich älter. Das sind doch nur Barcelonas. Sprich das, was im Desktop mal der Phenom I? war?... Die dürften zusammen gerade mal wenn es hoch kommt die Leistung von den kleinsten Hexacore E5 Xeons haben...

Wenn natürlich das pCPU/vCPU Verhältnis eklatant zum Problem wird (was ich mal nicht unbedingt glaube bei den mittlerweile schwachen CPUs), dann müsste man auf zwei acht Kern E5 Xeons gehen... Diese sind dann aber zumindest gegen die 8354er immernoch um geschätzt Faktor 2 schneller...

Mafri wat willst denn ausgeben!?
 
Ausgeben.. am besten nichts :d
Ne spaß beiseite mir ist klar das es nicht billig wird.
Dachte an 2 bis 3k pro Host, was bei 3 Hosts allerdings nicht die 10k überschreiten sollte. Sofern es günstiger geht darf es immer günstiger seien.
In sich reicht die aktuelle CPU Leistung zur genünge aus, RAM ist immer etwas voller aber soweit auch okay.
Ist halt die Frage lohnt es sich überhaupt die ESXen anzufassen?
zZ. 1x HP DL385 G6 mit 64GB -> will ich austauschen, da im sommer immer mal wieder probleme und die onboard NICs erst...
1x HP DL 165 G6 mit 32 GB -> selbe wie der andere HP
1x Supermicro A+ mit besagten 4x QC Opterons und 64GB -> läuft immer einwandfrei -> keine probleme

Zur Storage das Board sieht ganz nett aus, allerdings hätte ich gerne noch weitere freie IO Slots für zukümpftige Upgrades etc. die Systeme sollen wie die aktuelle Hardware zum großen Teil 5+ Jahre laufen.
 
Was die ESXi Hosts angeht. Pro System werden CPU(s), RAM ( da DDR3 ), Mainboard und NICs ( 2x Dual Port bei 2 Port onboard) benötigt. für 2 Host wird noch ein SM SC825er Case mit 2x NT benötigt für den 1. wäre es hier leer vorhanden.
2x 74GB SAS oder größer, oder ähnliches fürs OS in den ESX wären vorhanden. Hardwareraidkontroller auf PCIe basis die VMWare zertifiziert sind für alle Hosts vorhanden.
 
MAFRI schrieb:
Dachte an 2 bis 3k pro Host, was bei 3 Hosts allerdings nicht die 10k überschreiten sollte. Sofern es günstiger geht darf es immer günstiger seien.
In sich reicht die aktuelle CPU Leistung zur genünge aus, RAM ist immer etwas voller aber soweit auch okay.
Ist halt die Frage lohnt es sich überhaupt die ESXen anzufassen?
Zum Vergrößern anklicken....

Wenn die CPU Leistung aktuell reicht und der RAM mit den benannten 64GB pro Host auch mehr oder weniger ausreichend ist, würde ich schon fast sagen, du kommst mit nem Single Host schon deutlich günstiger an dein Ziel...

Hast du VMware Lizenzen? Oder nutzt du die freie ESXi?
Je nachdem, wäre sogar ne Single CPU Maschine mit ordentlich RAM wohl sogar vollkommen ausreichend...

Wir haben bei uns hier beispielsweise angefangen von Dual Sockel RX300 Fujitsu Servern auf RX200er zu gehen, diese aber nur mit einem acht Kerner zu bestücken. RAM halt volle hütte = 192GB pro CPU bei 16GB Modulen. 32GB Module kommt halt auf 384GB, sind aber P/L technisch ne ganze Latte teurer.
Wenn dir zwei Server mit je 64GB ausreichen, wäre so ne Maschine mit nem Dual CPU Brett -> aber nur einem acht Kerner Xeon E5 (am besten auf Ivy-E Basis) und ordentlich RAM (sprich 192GB) wohl ne gute und vor allem günstige Alternative...
Vom Verbrauch her kommen da, je nach CPU Load ~170-200W zusammen, wenn ich das richtig in Erinnerung habe. Bei Volllast wohl etwas mehr.
Platten könnte man sich auch sparen, wenn man das Flash Modul für die ESXi Install nimmt... -> Storage soll ja extern werden. Von daher auch kein Problem.

Das wären dann also ca folgende Komponenten:
- 12x 16GB Reg.ECC DDR3 (ca. 150 pro Stück) = ~1800€
- 1x Xeon E5-2650v2 = ~960€
- 1x Board SM nach Wahl!? = ~450€
- 1x Quadport Intel GBit NIC PCIe nach Wahl = ~250€

macht unterm Strich ~3500€...


Wenn du Redundanzen willst, sprich zwei Hosts, wäre beispielsweise das ganze mal zwei auch nicht verkehrt... Ich würde dann aber wohl am RAM etwas "sparen" -> da ja aktuell scheinbar so viel gar nicht benötigt wird. Und bei den CPUs auf Hexacores zurück gehen um das Budget nicht zu stark zu strapazieren.
Quasi also 2x folgendes:
- 8x 16GB Reg.ECC DDR3 (ca. 150 pro Stück) = ~1200€
- 1x Xeon E5-2630v2 = ~510€
- 1x Board SM nach Wahl!? = ~450€
- 1x Quadport Intel GBit NIC PCIe nach Wahl = ~250€

macht unterm Strich ~2410€... = ~4820 für beide Zusammen.
Du sagtest, du brauchst für den "zweiten" dazu noch ein Case und NT? Kommt also noch oben drauf... Kein Plan was da sowas kost... Kann ja (da ohne HDDs bzw. nur mit ganz wenigen) irgendwas recht einfaches in 19" sein. Ich denke max. 250-300€?
Damit wärst du für zwei Server bei knapp über 5000€...

Sofern noch keine VMware Lizenzen vorhanden, würde ich fast schon dazu raten, dann vom Budget noch das Essentials Plus Paket zu ordern... (beinhaltet drei ESXi Hosts zu max. zwei CPUs + VCenter zur zentralen Verwaltung -> und du kannst bequem VMotion nutzen und die VMs im Bedarf von Host zu Host schubsen.)
Das wären wenn mich nicht alles täuscht nochmal ca. 1500€ drauf...
 
Ich dachte an die X10 Boards aus Kostengründen, weil sie deine Anforderungen auch erfüllen. Wenn du dann doch noch freie Slots haben willst, dann greif da einfach zum X9SRL-F. Das ist auch nicht zu teuer, dazu dann irgendeine kleine 2011 CPU und dann hast du 40 PCIe Lanes und genug Slots fürs diverse Karten.

Falls 10G ein Thema ist:

Supermicro X9SRH-7TF retail (Sockel-2011) (MBD-X9SRH-7TF-O) Preisvergleich | Geizhals Deutschland (Single 2011, Dual 10G, LSI SAS 2308 HBA)
Supermicro X9DRH-iTF retail (dual Sockel-2011) (MBD-X9DRH-iTF-O) Preisvergleich | Geizhals Deutschland (Dual 2011, Dual 10G)
Supermicro X9DRH-7TF retail (dual Sockel-2011) (MBD-X9DRH-7TF-O) Preisvergleich | Geizhals Deutschland (Dual 2011, Dual 10G, LSI SAS 2308 HBA)

Die Boards hatte ich garnicht auf dem Schirm. Da eine Intel X540-T2 alleine gut 450 Euro kostet sind diese Boards eigentlich die Schnäppchen des Jahres oder so. Das ein oder andere wird da bei mir womöglich Einzug halten demnächst.
 
10G könnte durchaus für ihn interessant werden... Nur benötigt es halt auch Switchtechnik die das kann... Die NICs selbst (wenn es solche OnBoard quasi für fast "lau" gibt) gehen ja noch... Bei den Switches wirds da eher interessant von den Konsten :fresse:

10G im VMware Umfeld geht schon ordentlich vorran, speziell bei VMotion ;)
 
Bei den Switchen kostet ein 10G Port ungefähr 100 Euro, Netgear hat 8- und 12-Port Versionen im Angebot.
 
Ich tendieren zu 2 Hosts mit je:
X9SRH-7TF macht ca. 450Euro
1x Intel Quad Port PCIe ca 130Euro ( für einen Host vorhanden )
1x Intel Quad Port PCI-X auf PCI ( mehr Durchsatz brauch ich eh nicht - falls es nicht läuft wechseln zu 2. PCIe NIC )
1x Adaptec 5405 ( vorhanden )
2x 147GB SAS ( vorhanden )
8x 16GB DDR3 ca. 130*8 = 1050Euro
1x Case SC 825 irgendwas, wie das vorhandene ca 400Euro
1x E5-1650 v2 ca 330 Euro ( macht der bei Single Socket nicht mehr Sinn?)

macht dann also für 2 Systeme:
ca 3100Euro rechen wir mal noch etwas drauf und sagen 3500Euro. Fine ich immernoch billig.

Dazu dann 2x Netgear XS712T a 1250Euro.
Sind dann 5600Euro.
Umbau des restlichen Netzwerks auf 10G oder aber Storage nur auf 10G ??

Tendiere ehr zur Storage auf 10G macht dann 2x X540-T2 a 450Euro.
Total nun bei 6500Euro.

Fehlt noch weiteres Netzwerk Upgrades:
2. DGS-3100-24TG ca 350Euro.

Total nun bei 6850Euro.
10G erweiterung für beide Switche oder aber gleich beide durch
2x DGS-3120-24SC ersetzten ?
Wie auch immer dann Storage CPU / RAM / Board Tausch, wären dann ca. 9k Euros.

Was ich mich nun Frage, was ist wenn ich bei 1G bleibe? Gäbe es dort auch ein vernüftiges Board?
Am sinnigsten was io angeht wohl dieses hier: http://preisvergleich.hardwareluxx....retail-sockel-2011-mbd-x9srl-f-o-a848134.html
Gefolgt von diesem, was dann wiederrum noch PCI-X hätte http://preisvergleich.hardwareluxx....etail-sockel-2011-mbd-x9sre-3f-o-a835249.html aber bei der Differenz, eine Dual Port PCIe NIC koste heutzutage gerade mal 30 bis 40 Euro würde ich ehr zum X9SRL-F tendieren.

Grüße


Grüße
MAFRI
 
Zuletzt bearbeitet:
Weiß hier jemand wo man in DE das ASROCK EP2C602-4L/D16 beziehen kann?
 
Mafri, wozu so viele NICs?
Das sind doch ESXi Server... Arbeite mit VLANs. Das sollte genau so laufen. Oder benötigst du permanente Dauervolllast auf den NICs?
Da macht es aus meiner Sicht eher Sinn, mit "Teaming" zu arbeiten. Selbst kleinere Switches sollten da doch minimum 6-8 Portchannel/Etherchannel/LACP oder wie die Bezeichnungen noch sich alle so schimpfen können... Das fängt dann "Durchsatzspitzen" ab und du sparst dir den Umweg über diese vielen NICs...

Alternativ anstatt den in Summe dann 10? 1GBit Ports mit einem 10G Port arbeiten. Und die ESXi Konsole über die OnBoard Dinger abfackeln. Dürfte ebenso mehr als genügend Durchsatz bieten. Speziell wenn du drüber nachdenkst, die alten PCI-X Quadport NICs über nen PCI Slot zu betreiben...

Ansonsten Single Sockel S2011 geht natürlich auch... Wobei der Vorteil der Dual Maschine eben ist, das du bei Bedarf einfach ne CPU nachschiebst... -> und dann eben doppelte RAM Anzahl nutzen kannst, ohne die ganze Kiste tauschen zu müssen. Aber das weist du sicher selbst.


PS: auch würde ich drüber nachdenken, die HDDs (und den Raidcontroller) im Server selbst wegzulassen. ESXi rennt bequem von nem USB Stick, alternativ irgend so ein integriertes Flash Modul, ne SDCard oder ne CF Card. Logs kann man bequem über Syslog auslagern (bietet auch der VCenter diese Option -> ansonsten irgend nen externen Syslog)
Außer mehr Verbrauch hat man doch nahezu gar keine Vorteile von internem Storage -> wenn man im Grunde alle VMs auf externes Storage schiebt.
 
manche dinge kann man nicht via vlan trennen :/ daher soviele NICs... Und hinzu kommt 2 swichte um der fehlerquelle aus dem weg zu gehn ( mir sind schon genügenden switche gestorben )
das da dann fast nix an traffic durchgeht sieht man z.b. an dem Quad Port Gigabit in PCI slot ;)
aktuell hab ich 4 ports nicht für esxi / iscsi / sonstiges nutzbar und 4 ports wo alles eben erwähnte drüber lauft.

die frage ist halt ob 10g sinn macht oder eben nicht, da die "4G" intern hier aktuell ausreichen.

Grüße
 
Zuletzt bearbeitet:
was kann man denn auf Ethernet Ebene nicht in VLANs trennen!?

Aber wenn du mit dem Speed selbst so zufrieden bist, würde ich maximal über 10G beim Storage nachdenken... Und die anderen NICs so günstig wie irgend möglich zustecken.
 
10Gbit LOM würde ich bei einem neuen Supermicro Board mitnehmen. Extra eine teure Intel NIC für 450 Euro würde ich eher nicht kaufen. Schon gar nicht einen dummen 10Gbit Ethernet Switch.
Wenn es für andere Rechner auch noch um bedingt 10Gbit Ethernet sein soll würden sich Single oder auch Dualport (wirklich nötig?) Karten mit SFP+ anbieten. Es gibt von Mellanox oder Molex auch einen SFP+ auf RJ45 Adapter um bei solchen NICs oder auch Switchen normale Netzwerkkabel verwenden zu können.
Dual-Sockel Mainboards haben halt den schon genannten Vorteil von einer extra CPU mit eigenem RAM und mehr PCIe-Lanes für I/O.
Hast du es schon mal mit zwei gestackten Switchen probiert wenn dir deine so oft ausfallen?
 
Es gibt in der Tat eine ganze Serie namens EP2C602 und EN2C602, die Asrock auf der Cebit 2013 wohl vorgestellt hat. Und Single Sockel Server Boards gibt es auch in den Serien E3C226 und E3C224, ebenso wie Workstation Boards mit dem WS Kürzel, genau wie bei Asus.
Ging an mir auch vorüber, hab ich erst rausgefunden als ich nach diesem von daheym genannten Board gesucht hab.

Auf der deutschen Asrock Website findet man in dem Bereich noch garnichts, außer einem Z77 WS. Wenn man auf Global / English umstellt findet man da aber bereits alle Informationen: ASRock > Products > Server / Workstation Series

Ich finde das riecht ganz stark nach Asus, ich glaub kaum das hier parallel Technik entwickelt und Know How aufgebaut wurde, wo bei Asus doch alles vorhanden ist.

Im Moment findet man die Boards im deutschen Handel wohl noch nicht, aber ich würde davon ausgehen, dass sich das in Zukunft vielleicht noch ändert. Die Boards sind ja alle noch relativ frisch. Das EP2C602-4L/D16 findet man ei Newegg z.B. für 310 USD. Verglichen mir anderen, bei Newegg gelisteten Boards, ist das schon ziemlich günstig.
Vielleicht sind sie aber auch spezifisch für andere Märkte gedacht und man überlässt Asus hier den Markt.

Man kann davon jetzt halten was man will. Ich als überzeugter Supermicro Kunde finde das jetzt relativ uninteressant, aber ich hatte in der Vergangenheit auch schonmal einige Asus Boards und die waren eigentlich auch voll ok. Wenn diese Asrock Boards vergleichbar sind, dann sehe ich da eigentlich keine Probleme.
 
Zuletzt bearbeitet:
100 Punkte. Habe es auf der Cebit gesehen und fande es recht interessant, v.a. vom Preis.
Aber mit Versand aus Übersee kann ich dann auch gleich zu einem Supermicro oder Tyan greifen, naja schade.
 
MAFRI schrieb:
Ich tendieren zu 2 Hosts mit je:
X9SRH-7TF macht ca. 450Euro
Zum Vergrößern anklicken....
Für den Preis gibt es Dual Socket 4xGbE Boards: X9DRD-7JLN4F. Dazu zwei E5-2603v2, wenn es ein Fileserver sein soll und für Anwendungen je nach Bedarf mehr. Günstig sind die E5-2620v2, 6x2.1GHz mit HT.

MAFRI schrieb:
1x Intel Quad Port PCIe ca 130Euro ( für einen Host vorhanden )
1x Intel Quad Port PCI-X auf PCI ( mehr Durchsatz brauch ich eh nicht - falls es nicht läuft wechseln zu 2. PCIe NIC )
Zum Vergrößern anklicken....
Will man sich wirklich noch PCI-X Karten antun, wenn es neue Alternativen gibt?
 
Da machts aber mehr Sinn auf die 4x GbE onboard zu verzichten.
Die Boards mit 2x 10 GbE sind nicht teurer und eine dual oder quad Port GbE Karte ist erheblich billiger als eine dual Port 10 GbE Karte.

PCI-X sollte man aber in der Tat knicken, das lohnt sich einfach nicht mehr. Ich würde sogar die GbE NICs sparen und alles über VLANs durch die 10 GbE NICs schieben.
 
Was genau ist denn da deine Frage? :d

Sowas ist ein Nischenprodukt, welches man von einigen Herstellern bekommt. Das ist für relativ spezielle Use Cases gedacht. Die Rechenleistung pro Node ergibt sich durch die dort verbaute CPU und die ist halt ein ganz gewöhnliches Standardteil, in dem Fall die 1150er Haswell Xeons. Wenn du was über deren Performance wissen willst, dann musst du dir nur deren Ergebnse in diversen Tests anschauen :)
 
Macht m.E. nur Sinn wenn Rackspace knapp ist und/oder man xxx-Cores in ein Rack packen will (warum auch immer).
Für Zuhause ist das ja idR kein Kriterium. Eher der erhöhte Preis gegenüber normalen 1HE Pizzaschachteln.
 
Everest2000 schrieb:
ich weiß es UP aber mal eine Frage:

Supermicro | Products | Supermicro MicroCloud Solutions <- schonmal sowas in den Händen gehabt bzw. sogar von Supermicro, interessant wäre halt die Performence eventuel für mittleres Rendering und ähnliches. Aktuell fahre ich halt einige DP (in Zukunft 2 MP) Systeme aber manchmal "muss" nicht solche brutale Leistung her.
Zum Vergrößern anklicken....

Die Frage ist doch, was hast du damit vor? Und was soll der Spaß konkret kosten?
In Grunde agieren die Dinger doch wie "normale" Bladecenter bzw. Blades... Mehr oder weniger unabhängige Nodes... Wenn du beispeilsweise irgend ne clusterfähige Software hast, kannst du so wohl sehr effizient und platzsparend eine (geclusterte) Performance erreichen, die du sonst nicht auf diesem Platz und in dieser Energieeffizienz erreichen würdest... Die E3 Xeons dürften sehr effizient arbeiten.

Spielt Platz keine nennenswerte Rolle, bekommst du mit 1HE Pizzaschachteln auf auf womöglich mehr als 3HE aber auch die Leistung zusammen...

Wir hatten auf der Arbeit auch mal auf Bladesysteme gesetzt... Mittlerweile sind wir aber zugunsten von Single Servern wieder weg davon. Einfach weil es oftmals keinen Sinn macht, ein schon ein paar Jahre altes Bladecenter mit neuen Blades auszustatten... Und man sollte beim Kauf des Systems idR die Hütte voll machen. Kauft man nicht voll, lohnt imho das ganze auch nicht wirklich...
Bei uns geht es mittlerweile auf RX200S7 bzw. bald auf S8 mit Ivy-E. Wir sind sogar so weit, das wir von Dual CPU weg gehen und auf große Single CPU Systeme setzen, weil die Softwarelizenzen bei VMware halt pro Sockel stark den Preis hochtreiben... Da stell ich mir lieber nen weiteren Server hin anstatt ner zweiten CPU in die Hütte zu drücken. -> und Erhöhe sogar somit noch die Flexibilität in Sachen VM Verteilung.
Man muss aber auch erwähnen, bei uns gibts idR keine Software, die dediziert enorme Rechenpower braucht... Es gibt wenn es hoch kommt, ne Hand voll Systeme, die ohne Virtualisierung laufen. Der Rest tuckert unter ESXi als VMs... Und das sind deutlich über 200 mittlerweile. -> auf gerade mal ein paar weniger physischer Systeme.
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh