Gehversuche mit Fibre Channel SAN

ITnetX

ITnetX

Enthusiast
Thread Starter
Mitglied seit
03.03.2008
Beiträge
1.731
Ort
Pfalz
Eigentlich kenne ich mich im Serverbreich gut aus. ESX'en. Linux Kisten oder Windows Server einrichten usw. ist eigentlich kein Thema. Nur das Thema Storage absteits von RAID / SATA / SAS ist mir nur so am Rande geläufig. Ich möchte mir jetzt zuhause ein Setup mit meinem DELL R200 bzw. mit meinem IBM X3650 aufbauen mit einem Fibre Channel SAN um dort dann entsprechend VMs abzulegen.
Ich habe jetzt bei Servershop24.de erst mal Blind geschaut und wollte schon bestellen:

1 x NetApp DS14 MK2 Disk Shelf inkl. 14x 72 GB 10K Festplatten + 2x ESH2
1 x Qlogic QLA2310F FC Fibre Channel SFP HBA 2 Gbit/s PCI-X
1 x LC/LC LWL Kabel

Bis ich dann kapiert habe das mir das überhaupt nix bringt ohne Controller. Ist das richtig oder gibt es eine Möglichkeit via FC HBA + Linux Server das Array doch anzubinden? ( Wäre ja irrsinnig )
Gibt es günstig irgendwo gebrauchte Komplettsysteme von Dell, HP, IBM oder NetApp, EMC ??

Von der Theorie bin ich aber schon richtig wenn ich einer meiner Server mit einem FC HBA ausstatte und dann entsprechend ein SAN(inkl. Controller, Filer) mit FC habe das ich die einfach miteinander verbinden kann?

Vielen Dank für euer Feedback
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Theoretisch ja, aber der Verbrauch von so 'ner DS14MK2 mit den kleinen Platten macht halt null Sinn.
Du kannst Dir auch einen Filer mit FC selber bauen - Openfiler unterstütz das ganz gut.
Das wäre vermutlich auch günstiger. - wieviele FC-Targets willst Du denn verbinden? - ggf. benötigst Du noch ein FC-Switch.?
 
ITnetX schrieb:
Von der Theorie bin ich aber schon richtig wenn ich einer meiner Server mit einem FC HBA ausstatte und dann entsprechend ein SAN(inkl. Controller, Filer) mit FC habe das ich die einfach miteinander verbinden kann?

Vielen Dank für euer Feedback
Zum Vergrößern anklicken....

Das sollte so gehen.
Du kannst einen ESX Server mit einer FC Karte direkt an eine Netapp hängen.

Zwar nicht schön, aber es geht.
 
Zuletzt bearbeitet:
konfetti schrieb:
Theoretisch ja, aber der Verbrauch von so 'ner DS14MK2 mit den kleinen Platten macht halt null Sinn.
Du kannst Dir auch einen Filer mit FC selber bauen - Openfiler unterstütz das ganz gut.
Das wäre vermutlich auch günstiger. - wieviele FC-Targets willst Du denn verbinden? - ggf. benötigst Du noch ein FC-Switch.?
Zum Vergrößern anklicken....

Wenn du mit Verbrauch den Energieverbrauch meinst dann gebe ich dir recht aber das ganze ist eh nur ein paar Stunden ab und zu in Betrieb.
Das ich so einen Filer auch selbst bauen kann habe ich schon gesehen bzw. mir ein Tutorial durchgelesen. Ich frage mich nur ob es evtl. möglich ist an so einen Openfiler
eine DS14MK2 anzuschliessen? Wohl eher nicht? :-)

Das Grundsetup wäre "ein" Filer und "ein" ESX. Das ein FC Switch benötige wenn es evtl. mehr Maschinen bzw. mehrere Storage Devices wären, war mir schon klar.

Vielen Dank für euer Feedback :-)
 
ITnetX schrieb:
Das ich so einen Filer auch selbst bauen kann habe ich schon gesehen bzw. mir ein Tutorial durchgelesen. Ich frage mich nur ob es evtl. möglich ist an so einen Openfiler
eine DS14MK2 anzuschliessen? Wohl eher nicht? :-)
Zum Vergrößern anklicken....

ich kann dir nicht ganz folgen...
 
Na ein DS14MK2 ist ja nur ein Diskshelf(Array) ohne Controller. Wenn ich von NetApp etwas eigenständiges/lauffähiges will brauch ich eine FAS270 usw... zumindest ist das mein jetziger Kenntnisstand. Ich wollte diesen einfach nur Verifiziert haben, oder hören das es doch eine Möglichkeit gibt dieses DS14MK2 Diskshelf/Array ohne NetApp Controller sondern mit einem Openfiler Selbstbau zu nutzen...
 
ESOS kannte ich noch garnicht - wir sollten hier echt mal irgendwo eine Liste aller Storage-OS machen... ;) - Danke, ich schau mir ESOS mal an.

Ich würde ganz spontan auch nicht glauben das es geht, hab aber nicht die Möglichkeit es zu testen. - Problem bei dem DS14MK2 is halt, die Logic dazu steckt in den NetApp-Filern (gehn auch FAS20XX statt der 270 - die FAS270 ist ja nur ein Filerkopf in nem DS14MK2)...

Aber für die Spielerei mit FC an sich, würd ich erstmal eben auf die "günstigere" Variante - mit "Althardware" die noch vorhanden ist - zurückgreifen.

Und ja, ich meinte vorallem den hohen Stromverbrauch vom DS14...
 
Der QLogic ist ja gegenüber dem System "nur" ein SCSI Kontroller. Wenn du ihn mit dem Shelf verbindest müsstest du im BIOS n einzelne Platten sehen. Sollte das der Fall sein könntest du diese einzeln in der VMware nutzen oder ein SAN bauen. Es kann allerdings auch sein, das das Shelf seine Platten nur einem NetAPP Kontroller zeigt, dann hasste Pech. Mit EMC Gehäusen geht das, NetAPP hab ich noch nicht in den Händen gehabt.
 
ITnetX schrieb:
1 x NetApp DS14 MK2 Disk Shelf inkl. 14x 72 GB 10K Festplatten + 2x ESH2
Zum Vergrößern anklicken....

An den 2 ESH´s kannst du jeweils einen Dualport FC Adapter anschließen, können auch 2 Maschinen sein. Ich kenne Netapp nur am Rande, aber ESH2 ist uralter Kram mit 1Gbit pro Port. Zum "lernen" ist sowas durchaus noch zu gebrauchen, ich würde zusätzlich aber noch einen Brocade/IBM/Dell FC Switch dazu nehmen (4Gbit Switche gibts ab 30 Euro).
 
Ich nutze ESOS und bin soweit zufrieden :) Konfiguration ist kinderleicht und die Performance gut.
Evtl kann ich demnächst mal ne schnelle Doku + Bilder der Konfig zeigen, falls jemand Interesse haben sollte.
 
Zuletzt bearbeitet:
Was für ein OS nutzt du?
Zum Vergrößern anklicken....
Du meinst auf den Hosts, welche das Storage verwenden?
- VMware ESXi 6.0

Für eine gute Performance sind laut meinen Erfahrungen wichtig:
- Auf jeden Fall wenn Hardware-Raid-Controller => aktivierter Write-Cache
Ansonsten: Wenn kein Cache vorhanden ist, besser ein Software Raid mit MDADM bauen und durch das ESOS zugrundeliegende Linux-System verwalten lassen
=> habe selbst einen HBA eingebaut und nutze Software-Raid, sehr gute Erfahrungen
- Ausreichend RAM, da ESOS je nach Einstellung deiner Virtual Disks sogennantes Paging verwendet, und den RAM als Cache verwendet (habe hier 32GB im Einsatz, 16GB reichen aber auch locker)
- CPU muss nicht übertrieben gut sein, habe einen Intel Xeon E5620 im Einsatz (reicht mir vollkommen, CPU langweilt sich meistens)
- Natürlich gute Platten, aber auch Auto-Tiering (also HSM / Hierarchical Storage Management) ist möglich (z.B. SSD => 10k SAS => NL-SAS) habe ich aber noch nie verwendet

Ich persönlich nutze folgende Festplatten:
- 4x 450 GB SAS 15k im Raid 5 => alle VMs welche gute Performance brauchen
- 4x 3TB SATA im Raid 5 => Hauptsächlich für File- und MediaServer, Archiv usw.

Wenn dich ESOS interessiert, schau Dir mal Beiträge von Marc Smith an, Hauptentwickler und Initiator von ESOS. Er hat einige gute Blogbeiträge geschrieben. Hatte auch schon persönlich mit ihm Kontakt, er hat immer schnell und kompetent geantwortet, falls mal ein tiefgreifenderes Problem vorhanden war. Habe ESOS aber als ein sehr zuverlässiges System erlebt.
 
Du meinst auf den Hosts, welche das Storage verwenden?
Zum Vergrößern anklicken....
Ich habe gelesen (auf die schnelle bin im stress fahre am Sonntag bis anfang Jan weg) das das "ESOS" auf Win, Linux und Mac lauft und es das noch ein Image gibt das "out of the Box" rennen soll.
Wie wie das funktioniert ein bekannter hat es mir zwischen tür und angel wie man so schön sagt geschickt aber ohne Infos worum es sich genau handelt.
- Auf jeden Fall wenn Hardware-Raid-Controller => aktivierter Write-Cache
Zum Vergrößern anklicken....
Sie meinen Link oben.
Ausreichend RAM, da ESOS je nach Einstellung deiner Virtual Disks sogennantes Paging verwendet, und den RAM als Cache verwendet (habe hier 32GB im Einsatz, 16GB reichen aber auch locker)
Zum Vergrößern anklicken....
Trotzt chache vom Controller? Ich habe sorge wenn die USV nicht einspringt das die Virtuellen Systeme die drauf liegen korrupt sind.
CPU muss nicht übertrieben gut sein, habe einen Intel Xeon E5620 im Einsatz
Zum Vergrößern anklicken....
Laut Shop sollen bei mir 2x Xeon X5560 Quad Core 2.8 GHz drinnen sein.
Ich persönlich nutze folgende Festplatten:
- 4x 450 GB SAS 15k im Raid 5 => alle VMs welche gute Performance brauchen
- 4x 3TB SATA im Raid 5 => Hauptsächlich für File- und MediaServer, Archiv usw.
Zum Vergrößern anklicken....
Bei mir sind es mal 6x 10k 300GB SAS Platten. "Das Problem" im Server passen nur 2,5Zoll rein. Ka ob ich noch "russisch" über einen 2ten Controller meine 3,5Zoll Extern dran hänge nur mache ich mir über die Stromversorgung gedanken.

Ich würde gerne mir infos mal auf deutsch holen ist immer einfacher und besser zu verstehen.
 
Nein. ESOS ist praktisch eine eigene kleine Distribution. Keine Installation auf Windows oder Mac. ESOS wird auf einen USB-Stick gepackt und von diesem gestartet.
Puh, hab jetzt keine Zeit nach dem Controller zu sehen, solltest Du aber selbst rausfinden können :)
Ich habe sorge wenn die USV nicht einspringt das die Virtuellen Systeme die drauf liegen korrupt sind.
Zum Vergrößern anklicken....
Die Problematik bezüglich dem non-persistent Cache im RAM besteht natürlich immer. Deswegen kann man bei Bedarf den Cache abschalten, wenn man die sicherere Methode fährt.
3.5" Platten ranzupfuschen geht bestimmt irgendwie, find ich persönlich halt immer schrecklich, wenn hinten aus dem Server einfach ein paar Platten lieblos raushängen. Für solche Zwecke kann man immer auf ein SAS-Shelf zurückgreifen, welches per SAS an den ESOS-Server angeschlossen wird.

PS: Infos auf Deutsch sind wahrscheinlich relativ schwer zu bekommen, vor allem in der IT. ESOS wird lediglich in den USA entwickelt und ein Großteil der User sitzt ebenfalls in den USA. Das Hilfeforum ist auch komplett auf Englisch. Ist in der heutigen Zeit eben einfach Standard.
 
Das Hilfeforum ist auch komplett auf Englisch. Ist in der heutigen Zeit eben einfach Standard.
Zum Vergrößern anklicken....
Ist normal kein problem aber du weist da gibts begriffe und abkürzungen die bei uns nicht geläufig sind.
 
Rennt jemand aktuell von euch das "ESOS - Enterprise Storage OS" ?!
 
Jo, wollte ja eigentlich mal noch eine Doku liefern, habs bisher zeitlich noch nicht geschafft. Kann aber mal ein paar Bilder vom Aufbau präsentieren :)

Eigentlich nix spektakuläres, ein Supermicro Server mit 12x 400GB SAS als ESOS-System.
Fr.jpg

Im Front-End ist Fibre-Channel 4Gb im Einsatz:
He.jpg

Br.jpg

Auf den Brocades ist eigentlich nur Zoning eingerichtet. Präsentiert werden die LUNs an ESXi-Server.

Hab hier auch noch zusätzlich ein Testsystem, bin aber noch nicht zum Testen gekommen :-[
 
Nochmal, ESOS wird nicht auf einem Betriebssystem installiert. ESOS ist das Betriebssystem.

Website:
Enterprise Storage OS® is a quasi Linux distribution; its purpose is to provide SCSI targets via a compatible SAN (Fibre Channel, InfiniBand, iSCSI, FCoE)
 
Aso weil laut Wikpedia wird das auf zb auf Win installiert. Wie sieht es mit der Hardware Kompatibilität aus?
 
Laut meinen bekannten sollte der Server funktioieren den ich gekauft habe.
Was für ein Image muss ich mir herunterladen das ich es installieren kann?
Ich habe leider unten noch keine Netzwerkverbindung und kann nichts testen.
 
Laut meinen bekannten sollte der Server funktioieren den ich gekauft habe.
Was für ein Image muss ich mir herunterladen das ich es installieren kann?
Ich habe leider unten noch keine Netzwerkverbindung und kann nichts testen.
 
Mal eine Frage: Wozu SAN im Homebereich? (Achtung: Antworten wie: "Um den Nerdfaktor zu erhöhen" sind ausdrücklich erlaubt :d )


Das NetApp-Shelf frisst Strom ohne Ende und bringt gelinde gesagt mittelmäßige Kapazität bei mittelmäßiger Performance.
Ja, es ist günstig. Es ist aber auch von vorvorgestern, also Zeiten, in denen AKW-Strom noch zulässig war ;)

FC ist zwar kein Hexenwerk, aber komplizierter als Ethernet.


Warum nicht ein Raid1 aus 2 SSDs, die per NFS über 10G einen Datastore für VMware zur Verfügung stellen?

  • Um längen schneller als FC mit DS14MK Shelves
  • Ethernet statt FibreChannel (weniger Komplexität)
  • wesentlich geringerer Stromverbrauch
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh