[Kaufberatung] VMWare ESX-Server

cruger

Enthusiast
Thread Starter
Mitglied seit
01.09.2003
Beiträge
2.283
ich brauche mal eine abschätzung, was für eine hardware-dimensionierung man bei einem vmware-(esx-)server benötigt.

auf der maschine wird ein exchange- (für ca. 200 user), ein datenbank- (auf file-basis), ein citrix- (mit 3 bis 5 nutzern) und ein web-server (mit 150 bis 200 zugriffen pro tag) laufen. dazu kommen noch ein oder zwei testumgebungen.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Sicher das du sowas über ne Virtuelle Maschine lösen willst!?

Würde ich ehrlich gesagt nicht machen. Gerade sowas wie Exchange oder ein Datenbankserver brauch erstens viel Speicher und zweitens schnelle Platten.

Wenn du natürlich dem ESX Server richtig viele HDDs unter schiebst, und ne Menge Speicher rein baust, dann mag das auch laufen.
Würde ich aber dennoch nicht machen...

CPU Leistung solltest du bei dem Vorhaben eigentlich mit 2xQuadcore Xeon im Bereich 2,5GHz hinkommen, vllt sogar weniger, Speicher würde ich mindestens 16GB nehmen, wenn nicht sogar mehr. (je nach benötigter Menge für die Citrix Dienste und die Größe der Datenbank)
Und Zumindest für den Exchange und für den Datenbankserver würde ich je ein Raid 1 mit 2 HDDs erzeugen.
Den Webserver, den Citrix Server und die Testumgebungen kannst du wohl auch zusammen auf ein Raid 1 legen.
Macht also minimum 6 HDDs.
Ein einzellnes Array aus mehreren HDDs für alle VMs gleichzeitig macht wenig Spaß, da sich alle VMs dann die Bandbreite und auch die Zugriffsgeschwindigkeit teilen müssten.


Und ich gehe mal stark davon aus, das das Ganze im Produktiveinsatz stattfinden wird, es heist also wieder, Finger weg von Selbstbau Lösungen, Dell, HP und Co. haben da geeignete Geräte und Wartungs/Serviceverträge im Angebot.
 
Zuletzt bearbeitet:
...und wenn ein Kondensator / Netzteil kaputtgeht geht erstmal gar nichts in der Firma, auch cool :d

gruß
hostile
 
deswegen würde ich bei so einer Umgebung nicht auf einen ESX sondern auf einen Cluster mit mindestens 2 ESX Server bauen.

In der kommenden Version von VMware wird es auch die Möglichkeit geben, dass bei einem ESX Server Ausfall die virtuelle Maschine ohne Downtime weiterläuft, was allerdings in der jetzigen Version 3.5 nicht geht.

Hier wird bei einem Ausfall des Servers die VM auf einem anderen Server neugestartet.

Und wie fdsonne schon sagte, Selbstbaulösungen bzw. Frickellösungen sind bei so einem vorhaben tabu.
 
dass frickel-lösungen nicht in frage kommen, ist schon klar. ;) das ganze wird ein vmware-zertifizierter server eines der großen anbieter werden. die frage ist halt, welche mindestanforderungen das ganze erfüllen sollte.

CPU Leistung solltest du bei dem Vorhaben eigentlich mit 2xQuadcore Xeon im Bereich 2,5GHz hinkommen, vllt sogar weniger, Speicher würde ich mindestens 16GB nehmen, wenn nicht sogar mehr. (je nach benötigter Menge für die Citrix Dienste und die Größe der Datenbank)
Und Zumindest für den Exchange und für den Datenbankserver würde ich je ein Raid 1 mit 2 HDDs erzeugen.
Den Webserver, den Citrix Server und die Testumgebungen kannst du wohl auch zusammen auf ein Raid 1 legen.
Macht also minimum 6 HDDs.
Ein einzellnes Array aus mehreren HDDs für alle VMs gleichzeitig macht wenig Spaß, da sich alle VMs dann die Bandbreite und auch die Zugriffsgeschwindigkeit teilen müssten.
das entspricht auch in etwa meinen vorstellungen, nur fehlt mir hier einfach die erfahrung mit esx-servern. derzeit ist ein dual-socket-system mit 2x xeon e5420 (2,5ghz) cpus, 16gb bis 32gb arbeitsspeicher und 6x cheetah 15k.6 platten angedacht. über die raid-konfiguration bin ich mir noch nicht sicher.

Sicher das du sowas über ne Virtuelle Maschine lösen willst!?
ich sag einfach mal "kundenwunsch". aber danke für den input, ich werde das noch mal ausführlich besprechen. der preisrahmen liegt bei bis zu 5000 euro.
 
Naja mit 5000 kannst du ein ESX Cluster natürlich vergessen. Ein Cluster braucht einen externen Speicher in Form von einem IP-SAN oder einem FC-SAN. Mittlerweile kann man das ganze auch auf einem NAS laufen lassen, ob das aber zu Empfehlen ist sei mal dahingestellt.

Ein einzellnes Array aus mehreren HDDs für alle VMs gleichzeitig macht wenig Spaß, da sich alle VMs dann die Bandbreite und auch die Zugriffsgeschwindigkeit teilen müssten.
Das ist natürlich schon richtig und vorallem auch anhängig von der Anzahl der Platten. In einem ESX Server gilt das Motto viel hilft viel, sprich wenn die Performance nicht stimmt mehr Platten rein dann geht das schon.
Um mit wenig Arrays mit vielen Platten auszukommen gibt es auch noch die Möglichkeit der LUNs, sprich virtuelle Arrays zu bilden. Das ist um einiges schneller, da jede LUN ihren eigenen Que-Manager hat und somit besser priorisiert werden kann. Allerdings kostet das auch immer Speicherplatz.
 
Naja mit 5000 kannst du ein ESX Cluster natürlich vergessen. Ein Cluster braucht einen externen Speicher in Form von einem IP-SAN oder einem FC-SAN. Mittlerweile kann man das ganze auch auf einem NAS laufen lassen, ob das aber zu Empfehlen ist sei mal dahingestellt.


Das ist natürlich schon richtig und vorallem auch anhängig von der Anzahl der Platten. In einem ESX Server gilt das Motto viel hilft viel, sprich wenn die Performance nicht stimmt mehr Platten rein dann geht das schon.
Um mit wenig Arrays mit vielen Platten auszukommen gibt es auch noch die Möglichkeit der LUNs, sprich virtuelle Arrays zu bilden. Das ist um einiges schneller, da jede LUN ihren eigenen Que-Manager hat und somit besser priorisiert werden kann. Allerdings kostet das auch immer Speicherplatz.

Jop, VMs und Storage (und die Performance beider) bilden eine enge Symbiose. Das merkt man vor allem dann, wenn man die VMs mal in größere RAMdrives packt. Aber durch die aktuelle Entwicklung im Bereich der SSDs sind bald große Performancesprünge im Bereich VM zu erwarten ohne dass man dabei am Unterbau selbst was ändert.

Merke: Storage ist ein GANZ großes Thema bei VMs, lieber am Rechner selbst etwas sparen und dabei das Storage besser auslegen.
 
Das ist natürlich schon richtig und vorallem auch anhängig von der Anzahl der Platten. In einem ESX Server gilt das Motto viel hilft viel, sprich wenn die Performance nicht stimmt mehr Platten rein dann geht das schon.
Um mit wenig Arrays mit vielen Platten auszukommen gibt es auch noch die Möglichkeit der LUNs, sprich virtuelle Arrays zu bilden. Das ist um einiges schneller, da jede LUN ihren eigenen Que-Manager hat und somit besser priorisiert werden kann. Allerdings kostet das auch immer Speicherplatz.

Neja ich stelle mir das grade schwierig vor, wenn ich nen Exchange mit ettlichen Postfächern am laufen habe, auf nem Array aus meinetwegen 6 HDDs. Dann werden alle HDDs bei nem Zugriff beansprucht. Die Zugriffszeit (welche gerade bei Datenbanken gut wichtig ist) wird mehr als verdoppelt beim gleichzeitigen Zugriff von 2 Anwendungen auf das selbe Medium.
Und hier gehts ja nicht nur um 2 VMs...

Haben das damals selbst schon getestet, zwar ein wenig im größeren Rahmen (500+ Clients), aber gut, der VMWare Server hatte 2 5160er Xeons an Board (gab damals noch keine Quads) und 32GB Speicher.
Zusammen mit 6x2,5" 15k SAS HDDs...

Mal davon abgesehen, das ein SQL Server in ner VM schon extrem schlecht performiert, waren gleichzeitige Zugriffe auf das komplette Raid sehr sehr schleppend. Nen Exchange wo vllt die Postfächer noch lokal mit auf dem Array liegen würde die ganze Sache gleich noch mal verschärfen...

Ich würds nicht so machen, aber gut, wenns der Kunde so will, dann bekommt er das, schließlich zahlt er auch gut dafür...
Als gutes Systemhaus (oder anderen Anbieter) kann man aber wohl durchaus dem Kunden anbringen, das so ein Vorhaben Leistungsmäßig schnell suboptional werden kann. Vor allem wenn alles gleichzeitig passiert...
Schließlich nutzt ihm kein super schnelles Netz, wenn zu den Stoßzeiten (also Früh und Abends) das ganze Netz still steht, weil die HDDs der ESX Maschine nicht mehr hinterher kommen ;)
 
Neja ich stelle mir das grade schwierig vor, wenn ich nen Exchange mit ettlichen Postfächern am laufen habe, auf nem Array aus meinetwegen 6 HDDs. Dann werden alle HDDs bei nem Zugriff beansprucht. Die Zugriffszeit (welche gerade bei Datenbanken gut wichtig ist) wird mehr als verdoppelt beim gleichzeitigen Zugriff von 2 Anwendungen auf das selbe Medium.
Und hier gehts ja nicht nur um 2 VMs...

Ja, gebe ich dir recht. 6 HDDs sind nicht viel, man muss eigentlich sagen zu wenig.

Ich würde so ein Vorhaben bei mir mit diesen Finanziellen Mitteln auch nicht umsetzen (wollen). Alles in allem muss man einfach sagen, dass ein ESX Server eine super Sache ist, es aber gerade mit sehr wenig Budget oft relativ wenig Sinn macht. Man sollte zumindestens die Möglichkeit haben das/die Arrays zu vergrößern etc, gerade wenn man PerformanceEngpässe bekommt. Mit einem einzelnen Server ist das eben relativ schwierig.

Das Problem an der Sache ist ja folgendes. Man kauft sich so etwas und migriert erst einmal den Mail Server, welcher dann auch am Anfang selbst auf diesem Server mit 200+ Postfächern gut laufen wird. Aber je mehr VMs dazukommen umso langsamer wird das ganze System mit der Zeit, da die gesamten Ressourcen eben geteilt werden müssen. Irgendwann ist man dann an einem Punkt wo die Performance nicht mehr stimmt und man hardwaretechnisch nur noch begrenzt in einem einzelnen ESX aufrüsten kann.
 
Zuletzt bearbeitet:
Vllt wäre ein echter ESX (also nicht der ESXi) das Bessere Produkt, kostet zwar, aber bietet glaub auch die Möglichkeit mehrere Hosts in die Farm mit einzubinden. Gibts da nicht auch so ne Art Load Balancer?

Aber auch hier bleibt das Thema der HDDs...
Und 6k € wird dann wohl auch nicht reichen ;)

Aber neja, zur Not kann ja der Kunde zwei solcher Maschinen hinstellen und den Kostenlosen ESXi nehmen, hat zwar den Nachteil, das die VM der einen Maschine nicht auch automatisch auf der anderen laufen kann, aber so verteilt man die Last wenigstens noch ein wenig.
 
Vllt wäre ein echter ESX (also nicht der ESXi) das Bessere Produkt, kostet zwar, aber bietet glaub auch die Möglichkeit mehrere Hosts in die Farm mit einzubinden. Gibts da nicht auch so ne Art Load Balancer?

Ja der ESX mit VirtualCenter kann das. Nennt sich (automatisches) VMotion. Benötigt wie aber oben erwähnt ein externen Speicher SAN/NAS und dann sprechen wir hier von mindestens 40.000€+....
 
Zuletzt bearbeitet:
hier muss keine unterscheidung mit ESX oder ESXi getroffen werden, beide können durch das Virtual Center zu einem Cluster zusammengefasst werden. Wobei Vmotion in der Standard Lizenz nicht drin ist, nur in der Enterprise Edition. Es wird dann zwar teuer, jedoch kann man dann aber auch mit relativ wenig Aufwand den Cluster erweitern um mehr Performance zu bekommen.
 
Mal zurück zu dem Totalausfall, es gibt doch jetzt auch schon die Möglichkeit VMs auf 2 oder mehr hosts paralel ausführen zu lassen. Wenn dann ein host ausfällt läuft der 2te weiter und die VMs sind auch durchgehend verfügbar.

Was die hardware betrifft würde ich an eurer Stelle auch nochmal mit dem Kunden reden und ihm zu 2 bis 3 Einzelrechnern rahten. Die einzelnen Maschienen sind dann ja auch noch alle irtualisiert, nur eben nicht auf einem host. Sollte so eigentlich nicht nur performanter sondern auch noch billiger werden da single CPU Systeme doch wesentlich billiger sind.
 
natürlich kannst du mehre VM's (die die gleiche aufgabe haben) auf 2 oder mehreren Hosts laufen lassen, fällt jedoch der Server aus, muss die eine VM neu gestartet werden. Mehr kann die HA Funktionalität in Vmware ESX/ESXi 3.5 bzw. das Virtual Center 2.5 nicht.

In Version 4 von VMware gibt es ein neues Features "Fault Tolerance".
Dieses Feature macht nichts anderes als eine direkte Kopie einer VM auf einem anderen Server mitlaufen zu lassen, d.h. jede Änderung an der primären VM wird auch auf die andere übertragen. Somit kommt es dann zu keinem Ausfall dieser VM.
 
um das ganze abzukuerzen
hast du >=50.000 euro zur verfuegung? nein? dann also keinen esx cluster - fertig

cpu sollte eine quadcore xeon reichen, wennst 2 nimmst sollte das aber nicht soviel teurer sein

ram ~24gb - besser mehr

platten -> kommt drauf an, ESXi sollte reichen, nimm also einen server welcher mit einem ESXi auf dem mobo kommt - so ersparst dir schonmal platten fuer den ESXi an sich

dann 4 platten raid10 oder 2 platten raid1 fuer den datenbank server als raw device (verlierst nur zirka 10% leistung zum nativen einsatz, das ist wesentlich schneller als eine virtuelle platte auf dem vmfs einzurichten)

nochmal 4 platten raid10 oder 2 platten raid1 fuer den exchange - ebenfalls raw device

rest auf nem raid1 oder raid5 (kommt auf den benoetigten platz an) und als vmfs

mit dieser config hast mal ganz sicher keine probleme mit der festplatten performance
 
Zuletzt bearbeitet:
ich danke es für den zahlreichen input. 50k euro sind mit sicherheit nicht drin. ;) aber der preisrahmen ist nach dem letzten stand auch nicht in stein gemeißelt. von daher werden wir jetzt mal durchrechnen und analysieren, was für eine lösung am sinnvollsten ist. der kunde scheint auch gegen einem modular- bzw. blade-server nicht abgeneigt. aber schaun wer mal :)
 
Habe in der Firma ein ESX-Cluster mit 2 Servern, und einer EMC FC-SAN mit ~2,5 TB 10k FC-Platten. Dazu noch ein Shelf SATA-Platten fürs Backup-to-Disk.

Hardware der Server 2x 2 GHz Quad, 16 GB RAM und nur ein 73 GB RAID 1 fürs System.

Insgesamt 15 VMs, aber bei einem Serverausfall ist einer in der Lage alles Wichtige am Laufen zu halten.

Kostenpunkt allein für das Storage ~70 k€, dazu zwei Server mit FC-Karten 2x 8000 € und zwei FC-Switches 2x 4000 €. Dann kommen noch die VMware Lizenzen hinzu (~20 k€ wenn ichs richtig weiß). Irgendwann wird sicher noch 1 Server hinzukommen...

Nur um mal einen ungefähren Kostenrahmen aufzuzeigen ;)
 
Ein virtuelles "Hallo" an alle! :wink:

vor vielen Jahren hatte ich auch die Aufgabe, eine "Abschätzung" zur Virtualisierung einer Server-Infrastruktur zu machen, was zu Zeiten des sog. VMware GSX Servers nicht das Problem war. Heute ist das durch die anwachsenden Anforderungen nicht mehr so einfach, besonders dann, wenn man den Kunden nicht kennt, bzw. nicht weiß, wo sich der Kunde in den nächsten Jahren sieht. In deinem kann ich dir nur ein paar Tipps mit auf den Weg geben:

Zum Thema Exchange Server: "Vorsicht", denn ich habe schon Exchange Server mit über 1.000 Postfächer samt Ressourcen virtualisiert und nicht nur einmal deren Datenbanken wiederhergestellt. Völlig unabhängig davon, welche Hardware-Ressourcen im ESX Server vorhanden sind, kann es zu massiven Problemen mit virtualisierten Exchange Servern kommen. Besonders dann, wenn dieser mittels dem VMware Converter vom physischen Stand in einem virtuellen migriert wurde. Ebenso kann es zu massiven Problemen kommen, wenn der RAM des ESX Servers bei erhöhtem Memory Overhead (ballooning) zu "leaken" beginnt oder das lokale Swapping an seine Grenzen stößt, denn dadurch kann es passieren, dass die Exchange Datenbank auf einem VMFS Storage inkonsistent wird, und dabei spielt es keine Rolle, wieviel User (Postfächer etc.) auf dem Exchange Server angelegt sind oder wie groß dessen Datenbank ist. Übrigens bekommst du von Microsoft keinen Exchange Support, wenn die anhand der Logs sehen, dass dieser virtuell betrieben wird, auch nicht als Microsoft-Partner!

Zum Thema Datenbank-Server: Wir betreiben mehrere virtuelle Datenbank-Server, sei es Microsoft SQL Server wie auch Oracle. Wenn sie sauber konfiguriert werden und das Storage performant ist, gibt es keine erwähnenswerte Probleme.

Zum Thema Citrix: Ein ganz klares "NO GO"!!! Das Zusammenspiel von Citrix und VMware ESX Server ist nicht nur eine Performance-Bremse, sondern absolut "BUGGY". Um es auf den Punkt zu bringen, bekommt man keine vernünftige CPU-Skalierung zwischen dem ESX Server und der Citrix-VM zusande. Erst recht nicht, wenn man via virtual SMP mehrere Prozessoren der VM zuweisen will. Eine Citrix VM mit einer zugewiesenen CPU läuft besipielsweise performanter als mit zweien oder mehr!!! In unserem Fall hatten wir sechs virtuelle Citrix Server in Betrieb, eben um Usern "on demand" div. Anwendungen bereit zu stellen. Alle dieser sechs virtuellen Citrix Server machten Mucken, so dass wir wieder auf physische Citrix Server gesetzt haben. Die Fa. Citrix hat nicht umsonst die XenServer-Source aufgekauft, eben die Konkurrenz zu VMware um Citrix Systeme auch (kostengünstiger) virtuell zu betreiben.

Das wars auch schon zu den Tipps, bzw. zu meinen Erfahrungen über die Systeme, die euer Kunde wünscht. Zu vielen anderen Server-Derivaten habe ich nichts negatives zu vermelden. Die anderen Microsoft Server laufen ohne Probleme, UNIX und Linux sowieso.

Was die Hardware zur VMware Infrastruktur angeht, nur drei Dinge: Performance, Ressourcen und Redundanz, und gerade das Letztere kostet mehr als das Doppelte der eigentlichen Systeme. Was von den Kosten her auch sehr ins Gewicht fällt, sind neben den VMware zertifizierten Servern (speziell HBAs und NICs), inkl. Service-Verträge deren Hersteller, das FC-SAN, FC-Switche und natürlich die VMware Lizenzen. Lizensiert werden die ESX Server nach Anzahl der physischen Prozessoren (zukünftig nach Anzahl der Kerne). Dazu muss im ersten Jahr die Lizenz für den VMware Support gekauft werden, ebenfalls nach Anzahl physischer Prozessoren.

Sofern ihr die virtuellen Systeme ausfallsicher (redundant) betreiben müsst, kommen neben dem dazu notwendigen FC-SAN mit redundanten HBAs an redundanten FC-Switche, ein extra physischer Server für den VMware Infrastructure Server sowie Lizenzen für VMware DRS (Überwachung der Auslastung von sog. Ressourcen Pools) und VMware HA (High Availability) hinzu.

Wie eingehens erwähnt, sollte eurem Kunden klar sein wo er sich in den nächsten Jahren sieht, bzw. wie dessen Systemanforderungen wachsen wird, schließlich sollten sich die Investitionskosten einer solchen virtuellen Infrastruktur durch dessen Features bezahlt machen und zukünftige Investitionen verringern.

Grundlegend möchte ich noch anmerken, dass ich produktive VM-Systeme niemals lokal auf einem ESX Server betreiben würde, denn wenn dieser in die Knie geht, macht alles die Krätsche. Ein Test-System ja, ein Produktiv-System nein!!!

@fogzone: Der Load Balancer nennt sich nicht (automatisches) VMotion! Der Load Balancer ist eine Sache des Virtual Infrastructure Servers, eben um Ressourcen festzulegen, diese zu überwachen und ggf. freie Ressourcen zur Verfügung zu stellen. Das VMotion als Funktion macht nichts anderes als verwaltete Ressourcen und den reservierten Inhalt des Arbeitsspeichers einer VM an einen anderen Server abzugeben, auf dessen Rückmeldung zu warten und abschließend seinen Ressourcen-Job zu canceln. Dabei muss allerdings die zu migrierende VM (vmx/vmdk) auf einem zentralen Storage abgelegt sein. Der VMotion-Prozess wird zudem manuell angestoßen. Soll das alles, also die Überwachung des Load Balancers und das mögliche verschieben via VMotion automatisch passieren, sind wir beim Thema VMware DRS und VMware HA. Erst diese zwei Komponenten sind die Automatik dieser Virtual Infrastructure Features.

Shit... nun habe ich wieder einen halben Roman geschrieben. Naja, Hauptsache es hat jemandem weitergeholfen. Ach ja, als VMware Admin hat man übrigens mehr Zeit, z.B. um solche Romane zu schreiben. :asthanos:

Na dann, frohes virtualisieren, und denkt daran -> REALITÄT IST DA WO DER PIZZA-MANN HERKOMMT!!! :asthanos:

Franky
 
Zuletzt bearbeitet:
Ein virtuelles "Hallo" an alle! :wink:

vor vielen Jahren hatte ich auch die Aufgabe, eine "Abschätzung" zur Virtualisierung einer Server-Infrastruktur zu machen [...] Übrigens bekommst du von Microsoft keinen Exchange Support, wenn die anhand der Logs sehen, dass dieser virtuell betrieben wird, auch nicht als Microsoft-Partner!

Hoho,
das war vielleicht vor vielen Jahren mal so, aber sieh selbst, Exchange auf VMware wird von Mickeysoft unterstützt.

http://www.vmware.com/solutions/business-critical-apps/exchange/isv-support.html

Ciao.
 
Hoho,
das war vielleicht vor vielen Jahren mal so, aber sieh selbst, Exchange auf VMware wird von Mickeysoft unterstützt.

http://www.vmware.com/solutions/business-critical-apps/exchange/isv-support.html

Ciao.

Hi Spin0x! :wink:

Ich bin gerade der Thematik deines Links gefolgt - Vielen Dank dafür! Was ich seitens VMware sowie Microsoft lese, klingt sehr erfreulich. Ich möchte demnach meine Aussage, die ich aus Gründen eigener Erfahrungen gemacht habe, zurücknehmen. :asthanos:

Nur kurz zu dieser Erfahrung: Wir hatten einen virtualisierten MS Exchange Server, der anfangs sehr sauber und performant lief, und nach und nach immer mehr Probleme machte. Mit "damals" meine ich übrigens nicht "vor vielen Jahren", sondern vor wenigen Monaten - Um genau zu sein August 2008. Nun, diese Probleme waren von unserer Seite aus nicht zu begründen, denn die ESX-/Exchange-Logs waren in Ordnung. Auch der VMware-Support fand keine Ursachen. Microsoft dagegen begründete die Ursache an der Virtualisierung mit VMware und gab keinen weiteren Support. Allerdings meinte Microsoft, dass wir mit deren eigenen Virtualisierungs-Lösung keine Probleme hätten und selbstverständlich den vollen Support für alle Microsoft-Produkte bekommen würden. Meiner Meinung nach ein sehr schlechter Scherz, wenn man als Microsoft-Partner mit VMware virtualisiert, und das zu 90% im gesamten Unternehmen.

Wie dem auch sei, mag sich der Support geändert haben, aus welchen Gründen auch immer. Unser Exchange läuft nun wieder physisch und das ist gut so. :asthanos:

Dennoch danke für den Hinweis, Spin0x!

Bye... Franky
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh