[Sammelthread] ZFS Stammtisch

VMDirectPath funktioniert mit den LSI Controllern erfahrungsgemäß sehr gut.

Solltest du trotzdem Probleme haben, würde ich eher empfehlen die Festplatten einzeln per Raw-Drive-Mapping an die VM weiterzugeben und dann in der VM darauf einen ZFS-Pool zu erstellen.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich möchte mein System hier auch mal vorstellen:
Hardware:
2 Opteron 265HE
16GB RAM
2 LSI Megaraid SATA 300-8 (Per Jumper zu reinen Marvell SATA Controllern Verkrüppelt)
12 1,5TB SATA Festplatten
eine alte IDE Festplatte zum booten (Wird noch durch CF ersetzt)

Software:
Openindiana als Basis, 1. Pool RAIDZ1 aus 6 Platten, 2. Pool RAIDZ2 aus 6 Platten. Dazu napp-it sowie Virtualbox und phpVirtualbox. Damit habe ich fast die gleiche Funktionalität wie der ALL-in-One Server, ausser das keine 64-Bit VMs genutzt werden können, da der Server keine Unterstützung für Virtualisierung bietet (nicht einmal die Prozessoren).

Könnte auch eine Lösung für die sein die Probleme mit VMDirectPath haben. Wenn der Prozessor Virtualisierung unterstützt funktionieren auch 64 Bit VMs.
 
HI Crash,

klar gibt es Virtualisierungsalternativen. Auch Citrix XenServer wäre ja denkbar. Der hat aber immernoch kein VMDirectPath bzw. PCI Passtrough

Weswegen ich bei VMWare bleiben will: Ich brauche VMDirectpath weil ich eine ISDN PCI Karte an eine VM durchreichen muss. Das war eigentlich der eigentliche Grund für den ESXi. Das mit dem All-in-one kam erst später. Keine Ahnung ob VirtualBox das durchreichen von PCI Geräten kann.

Zweiter Grund: Das basteln mit VMWare ist wahrscheinlich auch beruflich für mich potentiell ein Vorteil als im Firmenumfeld unübliche Lösungen.

Dritter Grund: Ich hab nicht die Energie, Zeit und Lust um mich wirklich in Solaris und/oder Linux reinzufriemeln. ich brauch eine Lösung die ich relativ intuitiv per GUi bedienen kann.

vierter Grund: Bei problemen mit VMWare findet man viele Boards, Hilfen etc. Ich hab vor Jahren mal mit XenServer rumprobiert und da war man bei Problemen fast auf sich allein gestellt. Das wiegt evtl. Vorteile dann nicht auf.
 
Zuletzt bearbeitet:
Ich möcht mir einen Fileserver mit Software RAID unter Ubuntu Server einrichten, mit 8 HDDs zu je 3TB.
Welchen günstigen Controller würdet ihr da empfehlen?
Muss ja nix aufwändiges sein, er soll seine Funktion nur problemlos verrichten, mit dem Schrott von deLock z.B. hab ich nur schlechte Erfahrungen gemacht -.-
 
Hallo!

Ich schreibs einfach mal in den Thread, weil hier eventuell der ein oder andere Solaris o.ä. benutzt. ;)

Also die Situation ist folgende: Habe einen HP Proliant N36L Microserver mit Solaris Express 11 mit 8 GB ECC RAM und 4x 2TB Platten im RAID-Z1.
So, jetzt hab ich hier noch eine Sharkoon 5-Bay Raid Box stehen, die ich gerne anschließen würde um die dann nach und nach mit Festplatten zu bestücken.

Der N36L hat zwar einen E-Sata Anschluss, allerdings hat der wohl keinen Port Multiplier, d.h. darüber kann ichs vergessen.
Nächste Idee wäre eine E-Sata Karte einzubauen, hab ich aber keine low profile Variante von gefunden.. (normale passen leider nicht rein)

Bleibt noch die USB Variante!
Da der N36L leider nur USB 2.0 Anschlüsse hat, würde ich dann eine USB 3.0 Karte in den PCIe 2.0 x1 Slot einbauen. Sowas hier: Buffalo IFC-PCIE2U3, 2x USB 3.0, low profile, PCIe 2.0 x1 | Geizhals.at Deutschland

Nun die Frage(n):
1. Unterstützt Solaris die Karte überhaupt?
2. Wenn ja, wie oder als was werden die Festplatten in der Box dann erkannt?


Ok, relativ unwahrscheinlich, dass jemand Erfahrung mit der Kombination hat, aber versuchen kann mans ja mal. ;)
Ansonsten werd ichs einfach mal ausprobieren, 35€ für so 'ne Karte sind ja nicht die Welt..
 
Zuletzt bearbeitet:
Ich möcht mir einen Fileserver mit Software RAID unter Ubuntu Server einrichten, mit 8 HDDs zu je 3TB.
Welchen günstigen Controller würdet ihr da empfehlen?
Muss ja nix aufwändiges sein, er soll seine Funktion nur problemlos verrichten, mit dem Schrott von deLock z.B. hab ich nur schlechte Erfahrungen gemacht -.-

Software Raid = Host-Bus Adapter + 3TB Platten + kein Schrott +
guter OS-Support (für ZFS sogar allererste Wahl):
lsi 9211 - Google-Suche

diesen LSI 2008 Controller gibt es bei einigen SuperMicro Boards auch onboard

---------- Beitrag hinzugefügt um 23:36 ---------- Vorheriger Beitrag war um 23:20 ----------

Also die Situation ist folgende: Habe einen HP Proliant N36L Microserver mit Solaris Express 11 mit 8 GB ECC RAM und 4x 2TB Platten im RAID-Z1.
So, jetzt hab ich hier noch eine Sharkoon 5-Bay Raid Box stehen, die ich gerne anschließen würde um die dann nach und nach mit Festplatten zu bestücken.
.

Sata + Port Multiplier geht sicher nicht
USB3 könnte gehen (habs nicht getestet), die Platten sollten dann als Einzelplatten erscheinen.
sofern des JBOD des Sharkoon keine Probleme macht.
USB2 geht ziemlich sicher, ist aber richtig lahm bei mehreren Platten.
 
Zuletzt bearbeitet:
Danke gea!
Werds einfach mal an einen USB 2 Port hängen und testen was passiert, glaub ich. Wenns läuft bestelle ich dann mal so eine USB 3 Karte, Versuch macht klug. ;)
 
Nochmal zum Problem mit den Abstürzen im Zusammenhang mit dem Intel SAS Expander. Habe mittlerweile den ESXi Host und die Solaris VM neu installiert. Nach und nach dann die alten Pools importiert und den integrierten NappIt Benchmark laufen lassen. Die ersten Pools zeigten keine Probleme und vernünftige Performance Werte an.
Als letztes wurde dann der VM-Pool mit aktivierter DeDuplizierung importiert. Sobald der Benchmark anfing auf den Pool zu schreiben ist die Maschine sofort wieder abgestürzt.
In den Logs fand sich dann auch ein Kernel Fehler mit Eintragungen zur DDT (denke das damit die DeDuplizierungsTable gemeint ist).
Anschließend den Pool gelöscht und neu mit aktivierter DeDuplizierung aufgebaut. Ein erneuter Benchmark ist dann ohne Probleme durchgelaufen.

Hat einer eine Idee was da mit der DeDuplizierung schief gelaufen ist? Der Pool besitzt kein L2ARC und auch kein ZIL. Alle weiteren Parameter stehen auf Standard.

Zusätzlich hätte ich gerne weiter Infos zur NBMAND Funktion. Soweit ich verstanden habe, sollte man bei gleichzeitigem Zugriff per CIFS und NFS auf einen Pool NBMAND aktiviert haben. Sobald ich es aber aktiviere kann ich den Pool nicht mehr als NFS DataStore in den ESXi mounten. Angeblich bestehen keine Rechte auf die Freigabe. Deaktiviere ich es wieder, geht alles.
 
So, habs jetzt mal mit USB2 getestet, geht ohne Probleme.
Raid Bay ist im JBOD Modus und die Platten werden mir einzeln angezeigt, so muss das. ;)

Werde mir dann jetzt die USB3 Karte bestellen, mal hoffen, dass das genauso funktioniert.
 
Noch eine Frage zur Verwendung eines L2ARC. Ist der Inhalt des Caches nach einem Neustart des Server noch vorhanden? Oder wird er dabei geleert? Falls der Cache geleert wird, schränkt dies doch sehr stark die Verwendung eines L2ARC im privaten Umfeld ein oder etwa nicht?
 
Software Raid = Host-Bus Adapter + 3TB Platten + kein Schrott + guter OS-Support (für ZFS sogar allererste Wahl):
lsi 9211 - Google-Suche
Der 9211-8i ist ja nun kein Schnäppchen (bei eBay > 200 €) für einen Controller der nicht mal Raid5 (für ZFS egal ich weis) unterstützt.

Was bietet der im Vergleich zum deutlich preiswerteren Dell SAS 6/IR (kann auch kein Raid5) für Vorteile?
 
Zuletzt bearbeitet:
Der 9211-8i ist ja nun kein Schnäppchen (bei eBay > 200 €) für einen Controller der nicht mal Raid5 (für ZFS egal ich weis) unterstützt.

Was bietet der im Vergleich zum deutlich preiswerteren Dell SAS 6/IR (kann auch kein Raid5) für Vorteile?

Der LSI 9211 ist eben der wohl beste interne Controller für
ZFS und Software Raid

Im Vergleich zum Dell, der auf dem billigeren und älteren SAS1 1068 Chipsatz von LSI
beruht, hat der 9211 mit LSI 2008 Chipsatz die Vorteile:

- schneller, SAS2
- unterstützt Platten > 2 TB
- hat weniger Probleme mit Expandern
- Ist Original LSI (wegen Firmware Updates)
- Ist ein reiner HBA Controller, also ganz ohne Raid - nicht mal 0 oder 1
(kein Nachteil sondern Vorteil, ansonsten muss die IR Raid-Firmware erst weggeflasht werden,
falls es überhaupt eine reine IT Firmware völlig ohne Raid gibt)

Günstigere Aternativen:
SuperMicro AOC-USAS2-L8e (ziemlich baugleich, aber links bestückt -> Bastelei am Slotblech)
IBM M1015, hat leider Raid firmware, läßt sich aber umflashen, so dass er geht, nur sinnvoll wenn billig/gebraucht
 
Zuletzt bearbeitet:
Hallo,

versuche gerade den Thread ein bissl zu lesen aber er ist so unheimlich gross geworden :)

Ich wuerde mir gerne einen Fileserver zusammenschustern und als Dateisystem ZFS nutzen. Dachte beim OS an Openindiana.

Als Hardware wuerde ich gerne ein ASUS E35M1-I mit AMD Fusion350 nehmen. Hat der CPU genug dampf fuer ein Raid-Z1 ? Es sollen NFS SMB und FTP als Service laufen. Ansonsten eigentlich nichts weiter.

Das Board soll mit 5x2TB bestueckt werden...
 
Hallo,

versuche gerade den Thread ein bissl zu lesen aber er ist so unheimlich gross geworden :)

Ich wuerde mir gerne einen Fileserver zusammenschustern und als Dateisystem ZFS nutzen. Dachte beim OS an Openindiana.

Als Hardware wuerde ich gerne ein ASUS E35M1-I mit AMD Fusion350 nehmen. Hat der CPU genug dampf fuer ein Raid-Z1 ? Es sollen NFS SMB und FTP als Service laufen. Ansonsten eigentlich nichts weiter.

Das Board soll mit 5x2TB bestueckt werden...

Hi,
ich hätte auch schon an ein AMD E-350 gedacht. Was mich allerdings stört, ist, dass alle einen Realtek Netzwerk Chip haben und dieser angeblich unter Solaris/OpenIndiana Probleme machen kann/soll. Wenn man mit den 6 onboard Sata Steckplätzen auskommt, würde ich eine Intel PCIe Netzwerkkarte reinbauen.

Leider habe ich damit noch keine Erfahrung, ob das bei dem Asus problemlos möglich ist, eine andere Karte als eine Graka reinzubauen.

Genug Power sollte der Prozessor sicher haben. Ich schaffe mit dem Atom D510 schon Gigabit mit Raidz1 problemlos auszulasten.

Grüße Ghandalf
 
Noch eine Frage zum VMXNET3 Treiber in der Solaris Maschine. Mir ist aufgefallen das die Anzeige bzgl. der CPU Auslastung in Solaris und dem ESXi 5 Host Unterschiedlich ist. Beim kopieren von Daten auf die ZFS Maschine zeigt vmstat eine Auslastung von ca. 10% an. Der ESXi Host dagegen nahezu 70%. Bei Wechsel auf den E1000 Treiber steigt die CPU Last sogar auf 100%. Wie kommt das? Ist das nur ein Darstellungsproblem? Oder gibt es das noch ein paar Dinge bei der Konfiguration zu beachten?

Ist der L2ARC bei ZFS nach einem Reboot noch gefüllt?
 
Noch eine Frage zum VMXNET3 Treiber in der Solaris Maschine. Mir ist aufgefallen das die Anzeige bzgl. der CPU Auslastung in Solaris und dem ESXi 5 Host Unterschiedlich ist. Beim kopieren von Daten auf die ZFS Maschine zeigt vmstat eine Auslastung von ca. 10% an. Der ESXi Host dagegen nahezu 70%. Bei Wechsel auf den E1000 Treiber steigt die CPU Last sogar auf 100%. Wie kommt das? Ist das nur ein Darstellungsproblem? Oder gibt es das noch ein paar Dinge bei der Konfiguration zu beachten?

Ist der L2ARC bei ZFS nach einem Reboot noch gefüllt?

Die VM sieht ja nur die dynamisch zugeteilte CPU Leistung
Es zählt nur das was ESXi anzeigt.

L2ARC is nach reboot leer
 
Kann ich einen Pool bei einem SATA Controllerwechsel einfach umziehen? Muss ich also nach dem Controllerwechsel nur den Pool importieren? Sollte man ihn vorher exportieren/löschen? Wie groß ist das Risiko das dabei der Pool/Daten verloren gehen?
 
Zuletzt bearbeitet:
Kann ich einen Pool bei einem SATA Controllerwechsel einfach umziehen? Muss ich also nach dem Controllerwechsel nur den Pool importieren?

Das is das schöne an ZFS und Software Raid.
Einfach Pool importieren und gut.

Sollte man ihn vorher exportieren/löschen?

Export ist die saubere Methode, Import geht aber auch ohne

Löschen/ Destroy ist zwar krass, aber ein Import geht trotzdem noch
sofern sonst noch nichts mit den Platten geschehen ist.

Wie groß ist das Risiko das dabei der Pool/Daten verloren gehen?

Gleich Null sofern beim Umbau nichts kaputt geht
 
Importversuch eines unvollständigen zpools

Hallo,

ich verzweifelte vor einiger Zeit an einem Problem mit meinem OpenSolaris-BackupServer bzw. einem zpool, das ich bis jetzt auf Eis gelegt habe
(zpool ausgebaut, auf OpenIndiana umgestellt und neue HDDs eingebaut sowie neues Datengrab erstellt), aber ich benötige nun einige der alten Daten.
Leider habe ich mir damals selbst ins Knie geschossen.
Mein Backup-Server mit einem zpool (rpool 20GB) und einem raidz2 (7x1TB + log-device 8GB) für Daten hat sich verabschiedet. Da ich sowieso aus diesem alten PC
einen IPCop aufsetzen wollte (dafür die 8GB-HDD) und der neue Backup-Server ein neues log- und cache-device als mirror aus zwei SDDs bekommen sollte,
habe ich mich erst einmal an den IPCop gesetzt (GROBER FEHLER !!!). Cop läuft ...... nun der neue Backup-Server ........ OpenSolaris 2009.06 installiert,
wegen dedup Repo auf /dev umgestellt und auf snv_134 upgedatet, upgrade des ZFS auf Version 22. Nun nur noch den Daten-zpool importieren ... fertig! .... DENKSTE !!!!!

# zpool import
pool: tank1
id: 5048704328421749681
state: UNAVAIL
status: The pool was last accessed by another system.
action: The pool cannot be imported due to damaged devices or data.
see: http://www.sun.com/msg/ZFS-8000-EY
config:

tank1 UNAVAIL missing device
raidz2-0 ONLINE
c7t5d0 ONLINE
c7t0d0 ONLINE
c7t6d0 ONLINE
c7t3d0 ONLINE
c7t1d0 ONLINE
c7t4d0 ONLINE
c7t2d0 ONLINE

Bis jetzt ja noch logisch, also ein:

# zpool import -f tank1
cannot import 'tank1': one or more devices is currently unavailable
Destroy and re-create the pool from
a backup source

aber da fehlt ja nur das, aus meiner Sicht unwichtige, log-device, der Rest sollte importierbar sein.

Danach habe ich eine Woche mit Tante Google verbracht und ca. 100 verschiedene Tipps probiert.

Auch jeder Importversuch mit den Optionen -f, -F, -X, -V,- D, und allen Kombinationen aus diesen, half nichts. Der Import mit der Option -D funktioniert wohl nur bei vorhandener zpool.cache,
aber da ich dämlicherweise das System neu aufgesetzt habe, habe ich diese natürlich nicht mehr.
Auch meine Versuche wieder ein neues log-Device hinzuzufügen, es zu ersetzen, zu entfernen usw. (die üblichen Tipps aus dem Troubleshoootingguide) enden damit, dass er es nicht kann,
weil er angeblich den zpool nicht kennt, wenn er nicht importiert ist.

Ich drehe mich im Kreis:
- kein Import, weil device fehlt
- kein replace / attach / detach / remove ......., weil zpool nicht importiert ist.

Zum Zeitpunkt des Crashs wurden auch keine Schreiboperationen auf den Datenpool ausgeführt, sodass ich sehr gut auf die informationen aus den slog verzichten kann,
und selbst wenn... ich verzichte lieber auf die letzten 30 Sekunden, als auf meine kompletten Daten.
Das ZFS scheint aber nach dem Motto zu handeln: Wenn nicht garantiert werden kann, dass ALLE Daten konsistent sind,
dann taugen auch ALLE Daten nichts und sind Schrott, den man nicht zu brauchen hat.

Ein Reparaturversuch mit dem logfix-Tool brachte ebenfalls nichts, da mir die GUID des alten slogs fehlt (die HDD tut ja inzwischen im IPCop Dienst, leider!).

Folgende Informationen kann ich noch liefern:

eee@opensolaris:~# zdb -e tank1

Configuration for import:
vdev_children: 2
version: 22
pool_guid: 5048704328421749681
name: 'tank1'
state: 0
hostid: 946038
hostname: 'opensolaris'
vdev_tree:
type: 'root'
id: 0
guid: 5048704328421749681
children[0]:
type: 'raidz'
id: 0
guid: 16723866123388081610
nparity: 2
metaslab_array: 23
metaslab_shift: 30
ashift: 9
asize: 7001340903424
is_log: 0
create_txg: 4
children[0]:
type: 'disk'
id: 0
guid: 6858138566678362598
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@0,0:a'
whole_disk: 1
DTL: 4345
create_txg: 4
path: '/dev/dsk/c7t5d0s0'
devid: 'id1,sd@SATA_____SAMSUNG_HD103UJ_______S13PJ1BQ709050/a'
children[1]:
type: 'disk'
id: 1
guid: 16136237447458434520
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@1,0:a'
whole_disk: 1
DTL: 4344
create_txg: 4
path: '/dev/dsk/c7t0d0s0'
devid: 'id1,sd@SATA_____SAMSUNG_HD103UJ_______S13PJDWQ317311/a'
children[2]:
type: 'disk'
id: 2
guid: 10876853602231471126
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@2,0:a'
whole_disk: 1
DTL: 4343
create_txg: 4
path: '/dev/dsk/c7t6d0s0'
devid: 'id1,sd@SATA_____Hitachi_HDT72101______STF604MH14S56W/a'
children[3]:
type: 'disk'
id: 3
guid: 2384677379114262201
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@3,0:a'
whole_disk: 1
DTL: 4342
create_txg: 4
path: '/dev/dsk/c7t3d0s0'
devid: 'id1,sd@SATA_____SAMSUNG_HD103UJ_______S13PJ1NQ811135/a'
children[4]:
type: 'disk'
id: 4
guid: 15143849195434333247
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@4,0:a'
whole_disk: 1
DTL: 4341
create_txg: 4
path: '/dev/dsk/c7t1d0s0'
devid: 'id1,sd@SATA_____Hitachi_HDT72101______STF604MH16V73W/a'
children[5]:
type: 'disk'
id: 5
guid: 11627603446133164653
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@5,0:a'
whole_disk: 1
DTL: 4340
create_txg: 4
path: '/dev/dsk/c7t4d0s0'
devid: 'id1,sd@SATA_____SAMSUNG_HD103UJ_______S13PJDWQ317308/a'
children[6]:
type: 'disk'
id: 6
guid: 15036924286456611863
phys_path: '/pci@0,0/pci8086,244e@1e/pci11ab,11ab@9/disk@6,0:a'
whole_disk: 1
DTL: 4338
create_txg: 4
path: '/dev/dsk/c7t2d0s0'
devid: 'id1,sd@SATA_____Hitachi_HDS72101______JP2921HQ0KMEZA/a'
children[1]:
type: 'missing'
id: 1
guid: 0


Ich bin am Ende mit meinem Latein und meinen Nerven.
Kann mir jemand helfen, dem ZFS beizubringen das (fehlende) slog zu ignorieren (kann man die Abfrage nach der Vollständigkeit des Pools beim Import unterdrücken?),
ihm zu sagen, es hat keins, oder dem Pool zum Schein wieder ein slog unterzuschieben?
Vielleicht kann man den Pool auch unter einem anderen OS (Linux mit Fuse oder Kernelmodul, BSD), das nicht so pedantisch ist, kurz importieren, ihn "reparieren",
exportieren und dann unter OpenSolaris bzw. dem jetzigen OpenIndiana wieder importieren?
Vielen Dank für die Bemühungen und für's lesen des doch sehr langen Beitrags.

Viele Grüße
Ronny
 
Zuletzt bearbeitet:
Hallo,

ich verzweifelte vor einiger Zeit an einem Problem mit meinem OpenSolaris-BackupServer bzw. einem zpool, das ich bis jetzt auf Eis gelegt habe
(zpool ausgebaut, auf OpenIndiana umgestellt und neue HDDs eingebaut sowie neues Datengrab erstellt), aber ich benötige nun einige der alten Daten.
Leider habe ich mir damals selbst ins Knie geschossen.
Mein Backup-Server mit einem zpool (rpool 20GB) und einem raidz2 (7x1TB + log-device 8GB) für Daten hat sich verabschiedet.

...... nun der neue Backup-Server ........ OpenSolaris 2009.06 installiert,
wegen dedup Repo auf /dev umgestellt und auf snv_134 upgedatet, upgrade des ZFS auf Version 22. Nun nur noch den Daten-zpool importieren ... fertig! .... DENKSTE !!!!!

.. da fehlt ja nur das, aus meiner Sicht unwichtige, log-device,

bis ZFS V.19 war ein Pool mit fehlendem Log device verloren.

Mit der V.22 läuft ein Pool auch mit fehlendem log device,
er kann aber nicht mehr importiert werden

Mit aktuellem ZFS geht das aber auch.

Also:
Openindiana/SE11 nehmen und Pool ohne log device importieren.
siehe Migrating ZFS Storage Pools - Oracle Solaris ZFS Administration Guide

ab napp-it 0.6 wird das auch per menü pool-import unterstützt.
 
Zuletzt bearbeitet:
Mahlzeit!

Ich bräuchte mal Eure pathologischen Rat (verdammt - ich sollte nicht so viel "Bones" schauen aktuell ^^).

Folgendes:
Nach dem letzten großen Crash auf meinem Gigabyte-Board habe ich vor einigen Wochen meinen Server auf folgende Hardware aufgerüstet und bis dato mit Debian betrieben (mdadm). Allerdings brauche ich für meinen MCSA-Kurs den ich gerade mache dringend eine Virtualisierungsplattform. Mit KVM bin ich ziemlich unsanft auf die Nase gefallen und VMware Server 2 ist unter Debian Squeeze ein echter Krampf - davon abgesehen, dass das Hyperthreading meiner CPU nicht verwendet wird.

Als evtl. Alternative denke ich nun über eine "Eierlegende ESXi-Sau" nach :)

Mal zur Hardware:
* Intel Xeon E3-1230 (4 Cores, 8 Threads / 3.2GHz)
* SuperMicro X9SCM-F
* LSI/Intel SASUC8i (neuer, der alte hat sich "verabschiedet" (Memo an mich: RMA!!))
* HP SAS Expander :P
* 16GB ECC RAM

Aktuell verwende ich 2x 640GB als System (mdadm RAID1).
Dazu sind im System:
10x 1TB HDs (6x Hitachi 1TB + 4x WD Green EADS)
6x 1.5TB HDs (5x Samsung 1.5TB + 3x WD Green EADS)

Alles KEINE 4k Platten :)

Was könnte man daraus machen? Das Board sollte meines Wissens nach PCI-Passthrough unterstützen. ESXi wäre eine gute Plattform für die Virtualisierung und nach dem Krampf unter Debian stehen entweder eine solche Lösung (mit einem relativ hohem Aufwand um die aktuellen Daten erstmal zu backuppen (Frage ist noch: wohin) und dann ZFS zu verwenden (OpenIndiana) IM ESXi ODER ESXi wie erwähnt mit Debian in einer VM und mdadm (dann könnte ich die Daten schön migrieren).

Letzte Möglichkeit: CentOS als System und dann VMware Server 2.0.2 laufen lassen.

Sorry, dass meine Frage etwas ZFS "offtopic" wird, aber ich kenn den Thread ja schon was länger und was ESXi-Kombikisten angeht habt Ihr sicherlich eine sehr gute Erfahrung um mir einen Tipp geben zu können ;)

Dazu muss ich noch erwähnen, dass ich nach dem oben erwähnten Crash meiner Daten noch an alle Daten rankam, schiebe das ganze aber derweil auf den nun toten LSI/Intel SASUC8i der derweil getauscht wurde. Dennoch habe ich aktuell ein etwas schlechtes Gefühl wieder auf ZFS zu setzen :/

Ich freue mich auf Eure Kommentare :)

Ciao
Dennis
 
Zuletzt bearbeitet von einem Moderator:
1.
Was könnte man daraus machen? Das Board sollte meines Wissens nach PCI-Passthrough unterstützen. ESXi wäre eine gute Plattform für die Virtualisierung und nach dem Krampf unter Debian stehen entweder eine solche Lösung (mit einem relativ hohem Aufwand um die aktuellen Daten erstmal zu backuppen (Frage ist noch: wohin) und dann ZFS zu verwenden (OpenIndiana) IM ESXi ODER ESXi wie erwähnt mit Debian in einer VM und mdadm (dann könnte ich die Daten schön migrieren).
Letzte Möglichkeit: CentOS als System und dann VMware Server 2.0.2 laufen lassen.

2.
Dennoch habe ich aktuell ein etwas schlechtes Gefühl wieder auf ZFS zu setzen :/

1.
stabile Virtualisierung geht m.E. nur mit einem barebone type-1 hypervisor
wie Xen oder ESXi als Basis oder mit einem Kernel-based Virtualisierer wie KVM -
wobei dann die Stabilität extrem vom System und den sonstigen installierten Sachen abhängt.

Virtualisierung als Anwendung auf einem full-size System z.B. VMware Server, Virtualbox etc
ist nur für nichtkritisches sinnvoll.

Bei der genannten Hardware geht am Besten:
ESXi + local storage zum Speichern der VM's (kein passthrough notwendig)
-> VM's sind ok, ein Fileserver sollte aber nicht virtuaisiert werden

oder all-in-one mit Virtualisieren eines NAS mit passthrough,
ESXi und Storage VM auf onboard Sata, Storage für NAS/SAN auf den SAS controller

eine Anmerkung noch:
Der LSI 1068 Controller mit dem HP Expander 'soll' mit manchen Plattenkombinationen
abhängig von der verwendeten Firmware Probleme bereiten.

Ich habe dazu keine eigene Erfahrung (habe nur LSI 2008 Controller mit neuem LSI SAS2 Expander)


2.
Gegen Datenverlust/ Probleme hilft kein Dateisystem sondern nur ein Backup
Ansonsten ist die Datensicherheit bei aktuellem ZFS unerreicht. Kein anderes System
ist in der Lage soviel Fehler zu reparieren oder frühzeitig anzuzeigen.
 
Zuletzt bearbeitet:
Hi Gea,

vielen Dank für Deine ausführliche Antwort :)

Der Rechner sollte wohl eher in die Richtung "All in One" gehen. Dieser steht in einem privaten Umfeld (Firmendaten liegen auch drauf, sind allerdings extern dauerhaft gesichert). Dementsprechend wäre das die NAS Variante.

Ich muss dazu sagen, dass ich einen 2. Rechner hier hätte mit einem 6 Core Phenom + 8GB ECC RAM, aber ich glaube wenn ich noch mehr Strom aus der Steckdose ziehe "lyncht" mich meine Frau ;)

1.
Als Speicher für ESXi + die VM für den Filer würde meine 80GB Intel SSD zum Einsatz kommen die aktuell "über" ist (onboard).

Der HP SAS Expander wurde erst vor wenigen Wochen eingebaut - NACH dem großen Crash - der läuft bis dato einwandfrei mit meinen Platten - allerdings "nur" auf 1.5GBit/s, was aber zu verschmerzen ist ;) So fix sind die Platten ja eh nicht.

2.
Ja das ist klar und hatte ich zum Glück auch. Ich überlege ob mir nicht ein etwas kleinerer RAID reicht, wenn ich denn zum ZFS (zurück)wechseln sollte, damit ich wieder genügend Platz für die Backups habe. Hier würde ich dann einen 2. Controller per PCI Passthrough anbinden (eSATA "Sil3132" - dieser läuft (getestet) am besten mit meinem externen RAID) um dann die Backups direkt durchzuführen.

Das ZFS eine tolle Sache ist, weiß ich. Ich denke mal ich hatte auf Grund von der reinen Destop-Hardware und einem defekten LSI die Probleme.
 
Hallo Leute,

jetzt stolpere ich zum wiederholten Male über den HP SAS Expander.
Ich habe meine HDs alle direkt von der HBA LSI 9211-8 per SFF8087 über die Backplanes gesteckt.
Ich finde einfach nicht raus, für was diese Karte gut sein soll.
Wer kann mich erleuchten bitte? :hail:

Ich habe dazu keine eigene Erfahrung (habe nur LSI 2008 Controller mit neuem LSI SAS2 Expander)

Gea,
hast du zu dem LSI Expander mal einen Link bitte? Ich finde das Teil nicht auf der Webseite.
 
Zuletzt bearbeitet:
Hallo Leute,

jetzt stolpere ich zum wiederholten Male über den HP SAS Expander.
Ich habe meine HDs alle direkt von der HBA LSI 9211-8 per SFF8087 über die Backplanes gesteckt.
Ich finde einfach nicht raus, für was diese Karte gut sein soll.
Wer kann mich erleuchten bitte? :hail:

Dann erleuchte ich mal :d

HP SAS Expander Owner's Thread - [H]ard|Forum

Ich hoffe das sagt ALLES über dieses tolle Stückchen Hardware aus ;)

PS. Mein ESXi rennt nun - natürlich fehlt mir genau 1 Multilane-Breakout Kabel um meine 2x 640GB HDs als iSCSI Volume dem ESXi zu Verfügung zu stellen, aber erstmal reichen die 80GB auf der SSD ja noch ;)
 
Dann erleuchte ich mal :d

HP SAS Expander Owner's Thread - [H]ard|Forum

Ich hoffe das sagt ALLES über dieses tolle Stückchen Hardware aus ;)

LOL, danke DieTa.
Jetzt hab ich wohl 95 Forum-Seiten zu lesen und das mit meinen suboptimalen Englischkenntnissen. :fire:

Für die LSI 9211-8i benutzt man gleich den Dual-Uplink, geht aber die Übertragungsrate nicht radikal in die Knie, wenn in meinem Beispiel gleich 24 HDs an 2 HBA Ports hängen?
Baut man sich da nicht selbst einen Flaschenhals ins System mit ein?
Odditory schreibt zwar, dass die Expanderkarte fürs Board und OS nicht sichtbar ist - aber was sagt ZFS dazu? Weder in der HCL von Nexenta, Openindiana oder Oracle finde ich zu der HP oder Intel Karte was.
Benutzt die Expander Karte schon jemand in Verbindung mit Openindiana bzw. ZFS und hat Erfahrungswerte?
Fragen über Fragen.
 
LOL, danke DieTa.
Jetzt hab ich wohl 95 Forum-Seiten zu lesen und das mit meinen suboptimalen Englischkenntnissen. :fire:

Für die LSI 9211-8i benutzt man gleich den Dual-Uplink, geht aber die Übertragungsrate nicht radikal in die Knie, wenn in meinem Beispiel gleich 24 HDs an 2 HBA Ports hängen?
Baut man sich da nicht selbst einen Flaschenhals ins System mit ein?
Odditory schreibt zwar, dass die Expanderkarte fürs Board und OS nicht sichtbar ist - aber was sagt ZFS dazu? Weder in der HCL von Nexenta, Openindiana oder Oracle finde ich zu der HP oder Intel Karte was.
Benutzt die Expander Karte schon jemand in Verbindung mit Openindiana bzw. ZFS und hat Erfahrungswerte?
Fragen über Fragen.

Ist das gleiche wie bei einem Netzwerkswitch. Der ist für die Netzwerkkarte
auch nicht sichtbar. Bei SAS und einem SAS Expander ist es genauso.

Für den 9211 würde ich aber einen neueren SAS2 Expander auf LSI Basis empfehlen.
Er gilt als problemloser mit Sata als der HP Expander und kann auch bei Sata 6Gb/ Kanal

Da ein Uplink vier Kanäle bündelt, hat man bis zu 4 x 6Gb = 24 Gbit. Da die schnellsten aktuellen
Platten so um die 3 Gbit haben, ist das nicht unbedingt der große Flaschenhals als dass man unbedingt
gleich zwei Uplinks bräuchte.

siehe auch
Intel RES2SV240 24-port SAS2 Expander Wiki
 
LOL, danke DieTa.
Jetzt hab ich wohl 95 Forum-Seiten zu lesen und das mit meinen suboptimalen Englischkenntnissen. :fire:

Der erster Beitrag enthält aber alle wichtigen Infos - Rest ist "Makulatur". :)
 
Zuletzt bearbeitet von einem Moderator:
Es gibt wohl mittlerweile 3 verschiedene Revisionen - erkennt man nur an den Farben der Platine; HP bekommt es nicht auf die Kette die Revisionen draufzuschreiben - oder will das nicht.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh