[Sammelthread] ZFS Stammtisch

[gea]

Wenn die user alle Rechte im Hauptordner X haben, dann sehen sie auch alle Unterordner unabhängig davon, welche Rechte sie in einem Unterordner haben.

Man müsste daher bereits im Hauptordner X mit unterschiedlichen Gruppen arbeiten,
nach dem Motto: User A und B haben edit-Rechte auf Ordner 1 und 2
User C hat edit Rechte auf Ordner 1 und 3

 

[Wirrkopf]

1.Frage: Kann man im Napp-it irgendwo den Namen der VM ändern? Oder muss man das im OI direkt machen?

2. Frage: Wo kann ich einstellen das OI ohne 30 Sekunden Wartezeit bootet?

3. Gibt es ein Forum das sich mit Napp-it / OI / ESXi beschäfigt und in dem mehr los ist? Hier scheint es doch eher ein Feierabendthread zu sein und ich hab eigentlich nur tagsüber neben meiner Arbeit Zeit für sowas

 

[TheLastBoyscout]

1.Frage: Kann man im Napp-it irgendwo den Namen der VM ändern? Oder muss man das im OI direkt machen?

Keine Ahnung, was genau du meinst. Den Namen der Solaris Machine?

2. Frage: Wo kann ich einstellen das OI ohne 30 Sekunden Wartezeit bootet?

Das ist der Timeout des Bootloaders (grub) - ändere in der /rpool/boot/grub/menu.lst Datei den Wert in der folgenden Zeile (musst dazu root Rechte haben):

timeout=30

3. Gibt es ein Forum das sich mit Napp-it / OI / ESXi beschäfigt und in dem mehr los ist? Hier scheint es doch eher ein Feierabendthread zu sein und ich hab eigentlich nur tagsüber neben meiner Arbeit Zeit für sowas

Guze Frage. ZFS/Solaris ist nun mal kein Mainstream Produkt, wie irgendwelche aktuellen Computerspiele und schon allein daher gibt es halt wesentlich weniger Anwender. Der überwiegende Teil professioneller Anwender (IT Center) wird sich i.d.R. eher an fertige System mit vor-Ort Wartungsverträgen ran halten, d.h. es bleiben nicht so viele Nutzergruppen übrig. Hinzu kommt, dass dieses All-in-One System mit napp-it noch recht jung ist (< 1 Jahr).
"Live Support" wirst du nirgendwo bekommen, aber die Nutzergemeinde wächst mit jedem der es ausrobiert und sich in die Materie einarbeitet...

-TLB

 

[gea]

Gibt es ein Forum das sich mit Napp-it / OI / ESXi beschäfigt und in dem mehr los ist? Hier scheint es doch eher ein Feierabendthread zu sein und ich hab eigentlich nur tagsüber neben meiner Arbeit Zeit für sowas

ZFS gewinnt derzeit enorm an Bedeutung, es gibt aber dennoch noch nicht soviele deutschsprachige Nutzer und Foren.

Forumdeluxx ist mit das aktivste deutschsprachige Forum.
Ein Übersicht anderer meist englischsprachiger Foren habe ich
unter napp-it.org zusammengefasst.

 

[Wirrkopf]

Ich habe eben ein sehr unschönes Verhalten meiner ESXi All-In-One Lösung festgestellt.

Mein OI 151 habe ich per Napp-it zum Mitglied meiner Windows Domäne gemacht. Dann kann ich die Domänenuser für Verzeichnisse in Napp-It berechtigen. Soweit so schön.

Wenn ich aber nun den ESXi neustarte dann passiert folgendes:
1. ESXi startet neu (Wahrscheinlich passiert es auch wenn nur der OI neustartet)
2. OI wird automaisch als erste VM gestartet
3. Mein DC startet mit 2 Minuten Verzögerung (VM liegt auf dem SAN vom OI)
4. Meine restlichen VM Starten
Und nun kommen weder der DC noch die VMs auf die Feigaben vom OI. Wenn ich mich mit dem Root anmelde kann ich in den Sicherheitseintellungen auch sehen das der OI offenbar die Sicherheitsschlüssel der User nicht auflösen kann da dort noch die kryptischen Nummernfolgen stehen und keine Usernamen. Übrigens kann man auch die Freigaben die mit "SMBGastzugriff" freigegegen sind nicht erreichen!

Wenn ich dann den OI wieder aus der Domäne werfe und wieder zufüge können plötzlich wieder alle VMs zugreifen. Übrigens ist es nicht sehr schön gelöst im Napp-It das der OI nicht korrekt aus der Domäne abgemeldet wird wenn in der Domäne war und nun einer Workgroup beitreten will. Da muss man immer noch das Computerkonto des OI in der AD manuell löschen.

Ich kann mir das nur so erklären: Das OI startet ja bevor der DC gestartet ist, geht ja auch nicht anders wenn der DC auf dem SAN vom OI liegt. Also kann der OI die Domäne nicht erreichen. Ich hätte nun erwartet das das OI beim ersten Zugriffsversuch eines Clients wieder versucht den DC zu erreichen um den User zu authentifizieren. Tut er aber anscheinend nicht. Das beim starten den DC nicht erreichen konnte bringt ihn völlig aus dem Tritt. Auch ein testweiser neustart des SMB Services bringt nichts.

Das ist ein ziemlich übler Bug wie ich finde denn so muss ich nach jedem gewollten oder ungewollten Neustart manuell eingreifen damit es läuft.

Als WorkAround wäre evtl. denkbar den DC auf der lokalen HDD wie den OI zu legen und ihn vor dem OI zu starten. Oder einen zweiten DC auf die lokale HDD zu packen. Alles Lösungen die mir nicht so recht gefallen da ich auf der lokalen HDD wirklich nur den OI haben will damit alles andere von der Performance und Redundanz des Z1s des OI profitiert.

Kann das jemand anders bestätigen? Vielleicht kann man ja auch im OI was umstellen das dieser Fehler nicht mehr auftritt?

 

[TheLastBoyscout]

Hallo,

Ich hab' nach einigem hin und her mein napp-it System soweit, dass ich es durchtesten kann und mir ist aufgefallen, dass der Plattenzugriff auf das von Solaris bereitgestellte NFS Verzeichnis sehr nur bescheidene Datenraten hergibt.

Ich habe dazu ein paar Plattenbenchmarks in einer Windows7 (64 Bit) VM laufen lassen:
CrystalDiskMark 2.2:

ATTO 2.46:

Wenn ich den pool in napp-it mit Bonnie benchmarke, bekomme ich folgende Werte, kann aber mangels Vergleichssystem diese nicht so recht bewerten:

(Der SAS15k pool ist ein Spiegel von zwei alten 36 GB 15k SAS Platten, der momentan nicht genutzt wird)

Der Server ist wie folgt zusammengestellt:

ESXi 4.1u1
Supermicro X8DTL, 2x XEON L5518, 4x8GB regECC
5x WD VelociRaptor 600GB am internen LSI 1068E,
per pass-through an das SAN OS durchgereicht (OpenIndiana b_148, 6 GB RAM zugeteilt) und dann als RAID10 + Spare konfiguriert.

OpenIndiana nutzt den "vmxnet3" Ethernetadapter, um ESXi den RAID10 Plattenverbund per NFS zur Verfügung zu stellen.

Was für Werte bekommt ihr so? Ich bin ehrlich gesagt von den Werten sehr enttäuscht, da ich auf einem anderen ESXi System (Supermicro X8SIL mit XEON 3460) mit lokalem HW RAID10 erheblich bessere Werte bekomme (so um die 40 MB/s beim 4k Write im CrystalMark Test). Hab' ich da irgendwo einen Fehler in der Systemkonfiguration gemacht?

Da sollten doch eigentlich schon erheblich bessere Werte möglich sein, oder?


-TLB

 

[Wirrkopf]

Auf welchem Filesystem liegen denn die VMs? Auf SAS15K oder VMStorage?

Und was mir bei der AttoBenchmark Beschreibung auffällt: "...dynamically sized disks...". Stimmt das überhaupt? Als ich meine VMs auf dem NFS Speicher im ESXi angelegt habe war das erste was mir auffiel das man eben NICHT mehr die Wahl hat zu entscheiden ob die Disk gleich den Speicherplatz voll belegt oder wächst. Also meines Wissens wird der Festplattenspeicherplatz gleich belegt. Was auch damit übereinstimmt wenn ich die VMDK Größe der virtuellen Disk im Verzeichnis überprüfe.

Zu den Werten: Lies Dir mal die älteren Beiträge durch. Ich habe das schon hinter mir Mein Fazit: Der Atto Bechmark oder auch der Crystal Bechmark ergeben wirklich eher bescheidene Werte. Wobei das bei diversen Messungen auch unterschiedlich war/ist. Mal sind die Werte ok (Schreibraten von max, 150 MB/S) und dann wieder nicht (Schreibrate von max 50 MB/S) ohne das ich genau weiss was sich geändert hat.

Wenn das unter WInXP misst dann werden die Werte noch viel schlechter ,-)

Die niedrigen Werte sind aber irgendwie nicht korrekt da die echten Schreibraten auch bei einer Atto Messung im 50 MB/s Bereich um die 100 MB/s über den GB Switch sind. Oder nochmal: Ich mache den Atto Benchmark und der wirft mir write Werte unter 50 MB/s aus. Dann kopiere ich mir ein FIle mit 10 GB von einem echten Client übers GB Lan auf das SAN und habe Werte von 100 MB/s. Also das Maximum was über 1 GB zu übertragen ist.

Ich habe mich inzwischen damit abgefunden das mir die realen Kopierwerte wichtiger sind als synthetische Benchmarkwerte.

 

[TheLastBoyscout]

Wie beschrieben liegen die VMs all auf dem "VMstorage" Pool. SAS15k war nur für Experimente (vor dem Kauf der 'richtigen' Platten) da.

Ich bin auch kein wirklicher Freund von synthetischen Benchmarks und habe das hier nur aus folgenden Gründen gemacht:
1. Das System kommt mir (viel) zu langsam vor (Installationszeit von Win7 war irgendwie erheblich länger als ich es von einem normalen Desktopsystem mit einfacher HDD gewohnt bin).
2. Ich wollte was haben, was ich mit den Ergebnissen anderer All-in-one Nutzer (oder meinen eigenen) vergleichen kann.

Bei den Benchmarks habe ich die Tests immer mindestens drei Mal durchlaufen lassen und immer Werte bekommen, die nicht mehr als 20% Abweichung aufzeigen.

Ich habe auf dem All-In-One System dann mal vergleichsweise Windows XP installiert, und während die Datenraten fürs Lesen grosser Blöcke (512k) oder sequentielles Lesen recht gut aussehen, sind die Werte für 4k als auch die Schreibwerte im allgemeinen Mist:

Dies ist mein erster Versuch, ein Datensystem "aufs Netzwerk auszulagern", vielleicht ist das einfach so?

Ich habe noch zwei andere Server für VMs, beide allerdings mit lokalem Datenspeicher, also nicht übers (virtuelle) Netzwerk angebunden und da sehen die Benchmarkwerte deutlich besser aus (und zumindest bei System 1 ist die Festplattenperformance innerhalb der VMs klar erkennbar):

System #1
ESXi 4.0 auf X8SIL-F mit XEON 3460, 2x 4GB regECC
LSI 84016E (mit Backupbatterie): 4x WD Raptor 150GB im RAID10

System #2
VMware Server 2.0.x auf CentOS 5.3
Tyan Tempest XT5000i mit 2x XEON 5420, 8x 2GB FB-RAM (ECC)
Promise SuperTrak EX12350 (mit Backupbatterie): 5x WD Raptor 300GB im RAID10 + Hotspare

Dies ist übrigens das System, welches durch den neuen All-in-One Server ersetzt werden soll.

In beiden Fällen sind die Schreibraten wesentlich besser als bei meinem All-in-One System. Wenn diese geringen Schreibraten nicht ein prinzipbedingtes Problem beim SAN sind, muss da doch bei meiner Konfig irgendwas im Argen liegen.
Was für CrystalMark-Werte bekommt ihr so mit einem All-In-One Server (damit ich mal einen Vergleich habe)?

-TLB

 

[TheLastBoyscout]

Sollte das Abschalten der Synchronisation etwa helfen?

zfs set sync=disable pool/dataset

Sieht fast so aus:

Fast da, wo VM Hostsystem #1 ist.

Hier auch noch mal die ATTO Ergebnisse:

Da geht irgendwie ab 128k was total schief

Riskier' ich durch das Abschalten der Synchronisation da jetzt irgendwie was (Datenverlust bei Stromausfall oder wenn's Netzteil aufgibt)?

Was ist mit den ATTO-Werten los? Bei 128k bricht die Leserate ein und ab 512k war's das bei Schreiben?

-TLB

 

[Wirrkopf]

Host: ESXi AMD Phenom II X6 1100T (nicht mein Hauptsystem, andere HDDs, Rest gleich)
SAN VM: OI 151 64bit, 4 GB vRAM, Z1 aus 3 x 1 TB Hitachi
Client VM: Windows 7, 64 Bit, 2 GB vRAM

Gestern sah es positiv aus.


Heute sieht es ganz anders aus (so wie meistens)


Ich denke das da irgendein Bug/Inkompatibilität sein muss.

 

[ludwinator]

ZFS Benchmarks sind immer schwierig, weil du nie sicher bist, was sich im Cache abpielt. ZFS optimiert von sich aus sehr viel und versuch alle Resourcen optimal zu nutzen, wenn du also z.B. vorher Videos gestreamt hast wirds du andere Benchmarkergebnisse haben als wenn das System frisch gebootet wurde.
ESX spielt sicherlich auch eine nicht unerhebliche Rolle hier.
Ich würde diese Benchmarks nicht überbewerten ...

cu

 

[Wirrkopf]

Die Unterschiede von über 1 : 3 finde ich schon etwas zu viel für "optimiert".

Und wenn ZFS so viel optimiert warum werden dann die Benchmark Ergebnisse nicht nach ein paar Durchläufen besser?

Durch die Einstellung "direct I/O" im ATTO Benchmark wird zumindest der Windows eigene Cache umgangen. Ich kann mir durchaus vorstellen das die unterschiedlichen Ergebnisse etwas mit dem ZFS eigenen Cache zu tun haben aber dann eher in dem Sinne das da was schiefläuft!

Wenn ich ein 10 GB großes File auf das ZFS schreibe und die Schreibrate ist durchgängig über 100 MB/s dann kann mein OI mit 4 GB vRam kaum durch cachen so viel dazu beitragen.

Aber dann frage ich mich warum bei dem Benchmark mit kleineren Dateien (meistens) so viel weniger Durchsatz erreicht wird. Aber eben nicht immer. Manchmal sind die Ergebnisse so wie ich sie auch erwarten würde.

 

[TheLastBoyscout]

Host: ESXi AMD Phenom II X6 1100T (nicht mein Hauptsystem, andere HDDs, Rest gleich)
SAN VM: OI 151 64bit, 4 GB vRAM, Z1 aus 3 x 1 TB Hitachi
Client VM: Windows 7, 64 Bit, 2 GB vRAM

Hallo Wirrkopf,

hast du bei deinem System die Schreibsynchronisation abgeschaltet (zfs set sync=disable pool/dataset)? Erst damit kam ich auf halbwegs vernünftige Schreib-Werte:

Ich verstehe nur nicht, wieso du deutlich bessere Werte beim Lesen bekommst, der RAID10 Verbund aus den 600 GB VelociRaptors sollte da deutlich besser abschneiden. Insbesondere bei den kleinen Blöcken komme ich erst ab 16k über die 50 MB/s Grenze hinaus, während du das schon bei 4k schaffst.

Hier wurde eine einzelne 600 GB WD VelociRaptor getested und auch deren ATTO-Werte sind bis zur 256 kB Blockgröße um Klassen besser (etwa um Faktor 6 !!!) als was ich aus dem RAID10 Verbund bekomme:

Vielleicht sollte ich OI 151 probieren? Ich habe keine Ahnung, ob da an dem Dateisystem-Treiber was optimiert wurde was mir hilft.
Vielleicht taugen die benutzten Benchmarks nichts? Gibt's da was besseres?

-TLB

 

[Wirrkopf]

Also für mein System mit dem Z1 aus 3 x 1 TB (7200 U) scheint das sync disabled nicht die Lösung zu sein.
Die kleinen Dateien werden zwar enorm beschleunigt aber über 256 KB scheint die Schreibrate gekappt zu werden.



Aber wie in meinem Beitrag vorher zu sehen gab es durchaus Messungen mit aktiviertem Sync die auch bei größeren DAtein über 100 MB/s.

Wovon es nun abhängt ob es gerade langsam geht oder schnell kann ich nicht erkennen.
Natürlich laufen die Benchmarks wenn ausser dem OI und der Win7 Vm nichts auf dem ESXi läuft.

---------- Beitrag hinzugefügt um 13:30 ---------- Vorheriger Beitrag war um 12:11 ----------

Hier die Werte von meinem Hauptsystem mit einem Z1 aus 6 x 2 TB (5900 U) Hitachi. Wobei hier 6 VMs während der Messung laufen da das System schon "produktiv" läuft und ich nicht dauern alles runterfahren kann. Das sollte die Messung aber nur wenig bremsen.

Werte ein bischen besser aber von der Symptomatik identisch mit dem anderen System.

 

[KurzGedacht]

Hi,

ich hab napp-it auf openindiana 151 laufen und würde gerne time-slider in nautilus verwenden.
Wenn ich nautilus als root starte kann ich time-slider auch verwenden... allerdings nicht in den verzeichnissen meines angelegten mirrored pool (zfs 28), dort ist der Button inaktiv.
Weiß jemand was da zu tun ist?

 

[Snuskhammer]

@Wirrkopf

Lief das System vorher besser/schneller?

ICh habe bei mir ein ähnliches Phänomen. Die ersten 4 Wochen nach der Inbetriebnahme des Systems lief alles rasend schnell.

Jetzt bekommen ich nur Schreibraten hin <50 MB/s

 

[Wirrkopf]

@Snuskhammer

Es läuft ab und zu "normal" schnell also schreibraten von max 150 MB/S (bei meinem Z1 aus 6 x 2 TB) Aber ich kann kein Muster erkennen WANN.

Erst dachte ich direkt nach einem Reboot, dann erst nach einer Weile uptime... Dann kam es mir vor als wären die Schreibraten dann besonders hoch wenn viele VMs gleichzeitig zugreifen...

Aber im Grund bin ich Planlos wovon das abhängt.

Und es ist ja auch mehr ein Benchmark Problem. Selbst wenn der Atto Diskbenchmark nur 40 MB/S misst kann ich jederzeit von einem Win7 Client ein 10 GB FIle mit 100 MB/s auf mein Z1 speichern.

Es scheint also eher ein Problem mit "kleineren" Files zu sein. Oder vielleicht ist es auch gar kein Problem und die Benchmarks kommen mit dem ZFS irgendwie nicht klar...

 

[Snuskhammer]

Nutzt OI + NappIT bei dir den RAM?

Ich habe be mir gemerkt das der RAM-Verbrauch immergleich bleibt. 2GB von 8GB werden benutzt.

Die anderen 6GB liegen brach. Wieso? Kann ich das irgendwo einstellen?

Bei Nexenta war es ja so, dass der RAM beim Datentransfer mitgenutzt wurde.

 

[Wirrkopf]

Nutzt OI + NappIT bei dir den RAM?

Wie stelle ich das fest?

Ich habe aber versuche mit der vRam Größe angstellt. 1,2,4 und 12 GB RAM.

Ab 2 GB vRam gab es keine signifikante Geschwindigkeitssteigerung. Das würde zu Deinem Ergebnis passen.

@ GEA lebst Du noch?

 

[layerbreak]

Wie stelle ich das fest?

Ich habe aber versuche mit der vRam Größe angstellt. 1,2,4 und 12 GB RAM.

Ab 2 GB vRam gab es keine signifikante Geschwindigkeitssteigerung. Das würde zu Deinem Ergebnis passen.

In vSphere siehst du den RAM Verbrauch in der Übersicht des Gastes.

Was bei mir ist, ist dass bei reservierten 8 GB meistens auch nur wenig mehr wie 2 GB genutzt werden. Selten steigt die Zahl auf 3,4 GB.
Ich habe unter Eigenschaften/Resourcen aber 8 GB für diese VM zugeteilt.
Was mir aber auch aufgefallen ist, ist dass ESXi das BS als "Anderes 32-bit" einstuft, obwohl ich bei der Installation Solaris 10 64-bit angegeben habe.
Vielleicht liegt es daran.

Was wird denn bei euch als BS angezeigt?

Wer hat schon das ESXi 5 installiert? Erfahrungen hierzu?

@ GEA lebst Du noch?

Ja, leider scheint die Liste hier so ziemlich tot zu sein. Zumindest bekommt man auf Fragen selten oder gar keine Antwort.
Schade.

 

[gea]

In vSphere siehst du den RAM Verbrauch in der Übersicht des Gastes.

Was bei mir ist, ist dass bei reservierten 8 GB meistens auch nur wenig mehr wie 2 GB genutzt werden. Selten steigt die Zahl auf 3,4 GB.
..

Ja, leider scheint die Liste hier so ziemlich tot zu sein. Zumindest bekommt man auf Fragen selten oder gar keine Antwort.
Schade.

Benchmarks sind so angelegt, dass der RAM keine Rolle spielt.
Der Solaris Kernel nutzt aber dynamisch schon alles was da ist
als RAM-Lese-Cache. In Real-World: mehr RAM ist besser da schneller.
Ca 1 GB wird vom OS benötigt. 2 GB ist eigentlich das praktische Minmum.
4-8 GB sind sinnvolle Werte für einen Server. Mit dedup und vielen usern
kann aber auch 128 GB ein sinnvoller Wert sein.

Zu diesem Forum
Ich denke, es ist das deutschsprachige Forum mit den meisten ZFS-usern,
es gibt aber keine Garantie auf Anworten. Ich selber bin gerade im Urlaub,
schaue auch nicht täglich vorbei und Benchmarks ist eigentlich kein Thema
mit dem ich mich sonderlich beschäftige..

Richtig tiefergehende Fragen sind im illumos.org oder nexenta.org forum
aber besser angesiedelt. Da gibt es Chancen, dass os-developer antworten.

 

[layerbreak]

gea, einen schönen Urlaub noch.

Hat von euch schon jemand eine zweite HBA-Karte in seinen All-in-one-ESXi Server gesteckt?
Motherboard ist Supermicro X8Sia und da hab ich noch 2 PCIe Steckplätze frei. In eine habe ich jetzt eine weitere LSI Karte gesteckt.
Mir gelingt es aber nicht diese Karte per passthrough an OI weiterzureichen.

Hoffe hier kann mir jemand weiterhelfen. Danke.

 

[DarkDeveloper]

gea, einen schönen Urlaub noch.

Hat von euch schon jemand eine zweite HBA-Karte in seinen All-in-one-ESXi Server gesteckt?
Motherboard ist Supermicro X8Sia und da hab ich noch 2 PCIe Steckplätze frei. In eine habe ich jetzt eine weitere LSI Karte gesteckt.
Mir gelingt es aber nicht diese Karte per passthrough an OI weiterzureichen.

Wie sind die Symptome? Nach einem ESXi Reebot sieht die Config wie im Screenshot aus?
Wenn ja, dann liegt es wahrscheinlich daran, dass der PCIe Switch hinter dem die Karte liegt kein ACS kann. Das wird benötigt, um Passthrough zu ermöglichen.

 

[gea]

gea, einen schönen Urlaub noch.

Hat von euch schon jemand eine zweite HBA-Karte in seinen All-in-one-ESXi Server gesteckt?
Motherboard ist Supermicro X8Sia und da hab ich noch 2 PCIe Steckplätze frei. In eine habe ich jetzt eine weitere LSI Karte gesteckt.
Mir gelingt es aber nicht diese Karte per passthrough an OI weiterzureichen.

Hoffe hier kann mir jemand weiterhelfen. Danke.

pass-through eines Adapters hinter einem PCI-e switch scheint nicht zu gehen.
vgl [H]ard|Forum - View Single Post - OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express)

 

[layerbreak]

Wie sind die Symptome? Nach einem ESXi Reebot sieht die Config wie im Screenshot aus?

Ja.

Wenn ja, dann liegt es wahrscheinlich daran, dass der PCIe Switch hinter dem die Karte liegt kein ACS kann. Das wird benötigt, um Passthrough zu ermöglichen.

Was ist ACS?

pass-through eines Adapters hinter einem PCI-e switch scheint nicht zu gehen.
vgl [H]ard|Forum - View Single Post - OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express)

Jep.

Vielen Dank DarkDeveloper und gea - das war/ist das Problem.
Offensichtlich liegt es an dem IDT Switch, der nicht passthrough kann.

Erst einmal Manual durchsucht in der Hoffnung, dass ein PCIe noch vorhanden ist, der nicht an einem Switch hängt.
Und Treffer.
Ich hab jetzt die Netzwerkkarte von Slot#2 in Slot#4 umgesteckt und die 2. HBA auf Slot#2 gesteckt und siehe da es funzt.

Es stellt sich die Frage, wie wirkt es sich aus?
a) dass ein PCIe direkt an der CPU hängt und die andere PCIe am Chipsatz?
b) dass eine HBA eine x8 Codierung und 5,0 GT/s hat und die Andere nur x4 und 2,5 GT/s.
Bremst es die Festplatten aus?

 

[DarkDeveloper]

Was ist ACS?

ACS steht für 'Access Control Services' und scheint die Zugriffe auf Geräte hinter einem PCIe Switch zu koordinieren. Ohne kann es wohl zu Datenkorruption kommen, wenn eines der Geräte per Passthrough durchgereicht wird (PCI Passthrough with PCIe devices behind a non-ACS switch in vSphere).

Es stellt sich die Frage, wie wirkt es sich aus?
a) dass ein PCIe direkt an der CPU hängt und die andere PCIe am Chipsatz?
b) dass eine HBA eine x8 Codierung und 5,0 GT/s hat und die Andere nur x4 und 2,5 GT/s.
Bremst es die Festplatten aus?

Die Anbindung von CPU zu SB ist laut Diagramm eh auf 2,5 GT begrenzt und der HBA muss sich die Bandbreite noch mit ein paar anderen Devices teilen. In der Praxis wirst du das aber mit Sicherheit nicht merken, wenn du nicht gerade 8 SATA3 SSDs dranhängen und sequentielle Benchmarks machen willst

 

[otto123]

Benchmarks sind so angelegt, dass der RAM keine Rolle spielt.
Der Solaris Kernel nutzt aber dynamisch schon alles was da ist
als RAM-Lese-Cache. In Real-World: mehr RAM ist besser da schneller.
Ca 1 GB wird vom OS benötigt. 2 GB ist eigentlich das praktische Minmum.
4-8 GB sind sinnvolle Werte für einen Server. Mit dedup und vielen usern
kann aber auch 128 GB ein sinnvoller Wert sein.

Zu diesem Forum
Ich denke, es ist das deutschsprachige Forum mit den meisten ZFS-usern,
es gibt aber keine Garantie auf Anworten. Ich selber bin gerade im Urlaub,
schaue auch nicht täglich vorbei und Benchmarks ist eigentlich kein Thema
mit dem ich mich sonderlich beschäftige..

Richtig tiefergehende Fragen sind im illumos.org oder nexenta.org forum
aber besser angesiedelt. Da gibt es Chancen, dass os-developer antworten.

Auch gerade mal wieder nach seehr langer Zeit reingeschaut. Land unter mit Diss. Immerhin - der Server läuft problemlos: USV an, Power on, 4 Minuten warten dann ist Esxi und VM SE11 gestartet. Knopf nochmals drücken und die Kiste pennt nach einigen Minuten. Verschlüsselung tut auch. Vielleicht werfe ich mal wieder einen Scrub an.

So. leider bis Weihnachten ausgeplant.

Herzlicher Gruss
Otto

Auf die Kanban Konferenz in M geht nicht durch Zufall wer?

 

[Gelöschtes Mitglied 117520]

Servus,

bin auch mal wieder da (was soll man auch zu ZFS schreiben wenn es einfach klasse läuft? ).

Vielleicht kann mir jemand einen Tipp geben. Gestern Abend habe ich mehr durch Zufall gesehen, dass eine meiner Platten defekt ist.

root@risu:/home/dieta# zpool status bigpool
  pool: bigpool
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
 scan: scrub canceled on Sat Sep 11 11:28:25 2010
config:

        NAME        STATE     READ WRITE CKSUM
        bigpool     DEGRADED     0     0     0
          raidz2-0  DEGRADED     0     0     0
            c7t0d0  ONLINE       0     0     0
            c7t1d0  ONLINE       0     0     0
            c7t2d0  ONLINE       0     0     0
            c7t3d0  ONLINE       0     0     0
            c7t4d0  ONLINE       0     0     0
            c7t5d0  ONLINE       0     0     0
            c7t6d0  ONLINE       0     0     0
            c7t7d0  FAULTED      0     0     0  too many errors

Nun habe ich hier aus Sicherheitsgründen noch eine 1.5TB HD liegen (sind alles 1.5er). Da mir das aber noch nie passiert ist, dachte ich, ich könnte die defekte Platte rausnehmen (S/N hab ich ja sowohl im Napp-it als auch als Label auf den Platten - weiß also welche raus muss), die neue Platte rein und dann resilvern.

Auf der Suche nach dem Befehl, fand ich dann haufenweise Berichte über 2 Platten (die defekte und die neue) die parallel im System sein müssen. Es handelt sich (wie zu sehen) um einen RAIDz2. Das problematische: Alle 14 SATA Ports (6 onboard + 8 vom LSI) sind belegt. Ich KANN also nicht die Austauschplatte DAZU stecken.

Gibt's da eine Lösung oder kann ich jetzt nen großes Backup machen und den RAID-Array anschließend NEU bauen? Evtl. muss ich gar nicht auf die Konsole sondern kann da was über napp-it machen?

Vielen Dank schonmal für Eure Ideen

 

[DarkDeveloper]

Das hätte ich jetzt probiert:
- Rechner aus
- Platte tauschen
- Rechner an
- zpool replace bigpool c7t7d0

und warten bis das Resilvering duch ist.

 

[gea]

Servus,

Vielleicht kann mir jemand einen Tipp geben. Gestern Abend habe ich mehr durch Zufall gesehen, dass eine meiner Platten defekt ist. dann resilvern.

Auf der Suche nach dem Befehl, fand ich dann haufenweise Berichte über 2 Platten (die defekte und die neue) die parallel im System sein müssen. Es handelt sich (wie zu sehen) um einen RAIDz2. Das problematische: Alle 14 SATA Ports (6 onboard + 8 vom LSI) sind belegt. Ich KANN also nicht die Austauschplatte DAZU stecken.

Gibt's da eine Lösung oder kann ich jetzt nen großes Backup machen und den RAID-Array anschließend NEU bauen? Evtl. muss ich gar nicht auf die Konsole sondern kann da was über napp-it machen?

Vielen Dank schonmal für Eure Ideen

das Verfahren hängt von der Hardware ab.

LSI 1068/ 2008 und Sata (nur ahci) können hotplug. Falls die pool-eigenschaft auto-replace auf on steht,
sollte ein online-tausch der platte funktionieren (es sollte automatisch ein resilver starten)

Ansonsten Platte tauschen, auf disk-replace gehen und nur die alte PlattenID anwählen.

Ansonsten: Rechner aus, Platte tauschen, Rechner an und eventuell
disk-replace wählen/ scub starten, falls es nicht automatisch resilvered.

Ich habe aber auch Hardware, bei der ein Tausch im gleichen Slot nicht
funktioniert. Da muss die neue Platte tatsächlich in einen neuen Slot damit
ein disk-replace funktioniert. Ich lasse da immer einen Slot frei.