[Sammelthread] Proxmox Stammtisch

[Luckysh0t]

Wie das bei ProxMox ist kann ich nicht sagen.

Mit zfs send die VM bei PVE zu sichern sind aus meinem damaligen Wechsel von esxi nicht wirklich mit deiner Lösung zu esxi zu vergleichen. Hatte da am Anfang auch meinen Solaris Filer als nfs Store.

PVE speichert dort nur die virtuellen Datenträger, nicht wie ESXi die ganze VM samt Konfigurationsdateien. Ergo mus dann dann erst seine VM manuell anlegen und die Datenträger händisch einbinden.

Daher bin ich auf PBS gewechselt, und lokaler SSD im pve Host.

 

[gea]

Das Problem sind nicht die Konfigurationsdateien sondern die virtuellen Datenträger und deren Dateisysteme. Da beim Schreiben nacheinander Daten und Metadaten geschrieben werden, kann ein Absturz beim Schreiben zur Folge haben dass zwar Daten geschrieben wurden aber die dazu passenden Metadaten es nicht mehr auf Platte geschafft haben. Selbst ZFS mit Copy on Write kann korrupte Dateisysteme für Gäste nicht verhindern, daher die Notwendigkeit von ZFS sync write für VM Storage. ZFS kann nur sich selber vor Schaden bewahren.

Nutzt man ZFS Snaps so hat man das gleiche Problem im Snap, allerdings hilft hier sync write nicht weiter. ESXi nutzt für sicheres Backup ESXi Snaps mit zwei Optionen, erstmal kann der Speicherstand in ESXi Snaps mit gesichert werden (hot memory, VM ist on nach restore) oder aber das Dateisystem wird über die vmware tools kurz angehalten (quiesce). Für Windows Gäste können die vmware tools das Betriebssystem in einen sicheren Backup Stand versetzen. Man kann nun sichere, sauber wiederherstellbare ESXi Snaps mit ZFS Snaps kombinieren um die Vorteile von beiden zu haben.

Meines Wissens nutzt ProxMox normalerweise keine Snaps für Backups sondern nutzt verschiedene fsync Level beim Backup um das kopierte Dateisystem möglichst konsistent zu halten. Das umgeht die Snap Problematik eines inkonsistenten VM Dateisystems in Snaps (allenfalls die Backup Kopie kann inkonsistent sein). ZFS Snaps als Backupquelle haben halt den Vorteil dass so ein Snap praktisch ohne Verzögerung erstellt wird, initial keinen Platz verbraucht, es keine Begrenzung in der Anzahl gibt (Versionierung) und man ZFS Snaps per Replikation mit ansonst unerreichter Performance wegsichern kann. Auch kann man ein Rollback auf einen Snap praktisch ohne Verzögerung machen. Backup/Restore per File Kopie kann Stunden dauern.

Korrigiert mich wenn ich da falsch liege.

 

[Luckysh0t]

Das Problem sind nicht die Konfigurationsdateien sondern die virtuellen Datenträger und deren Dateisysteme.

Das ist mir klar, mein Kommentar vergleicht die „usability“ deines Ansatzes bei pve vs esxi. Während ich bei esxi eine sofort per vmx importierbare und lauffähige VM auf dem externen Storage habe, und damit im zfs snap, habe ich bei pve mit dem gleichen Ansatz nur eine bzw mehrere virtuelle Datenträger. Die ja nur die halbe Wahrheit sind bei einer VM.

Der Umstand war für mich einer der „alles ist anders Punkte“ bei meinem privaten Wechsel zu pve. Und machte diese Backuplösung obsolet.

 

[gea]

ZFS hat mit Snaps die Art und Weise revolutioniert wie man ganze Dateisysteme regelmäßig (alle 5min, stündlich, täglich - hunderte Versionen), sicher (readonly, nicht veränderbar) und effizient (brauchen keinen Platz nach dem Anlegen) versionieren und fast ohne Verzögerung komplett wiederherstellen kann, egal ob Office Dateien, komplette VMs oder gar Betriebssystemstände die man aus einem Snap booten kann. Auch das Backup auf einen anderen Ort über ZFS Snaps und Replikation ist unerreichbar schnell, hat keine Probleme mit offenen Dateien und syncronisiert selbst riesige Dateisysteme unter hoher Last mit vielen Änderungen innerhalb von Sekunden oder Minuten bei erneutem Sync. Jedes Verfahren das auf Kopieren größerer Datenmengen basiert ist dem hoffnungslos unterlegen, egal ob man Performance/Zeit oder Effizienz/Platzbedarf betrachtet.

Prinzipiell sollte also auch mit Proxmox Versionierung/Restore und Backup mit ZFS Snaps funktionieren. Ein Fsync beim Kopieren geht ja auch, fehlt nur eine Funktion damit ein Proxmox Snap wie unter ESXi einen konsistenten VM oder Betriebssystem-Stand hat.

 

[Bib]

Hi,
ich habe gestern einen Proxmox auf einem Fujistu Q558 Mini-PC aufgesetzt. Nur normales RAM, kein ECC. Aktuell ist eine M2-SSD drin, es sind noch 2 weitere 2,5" SSDs möglich.

Ich hab das in ext4 gemacht. Würde hier ZFS überhaupt Sinn machen? Ohne ECC und ohne (Software-)RAID - also mit nur einer einzelnen SSD?

 

[Luckysh0t]

Ich meine mich zu erinnern, dass man nicht bei allen verfügbaren Dateisystemen dann snapshots nutzen kann - da PVE anders als vsphere wohl das Dateisystem nutzt um snapshots anzulegen.

Ich habe auch zwei einzel SSD in meinem PVE Host - beide mit zfs.

 

[BobbyD]

dass man nicht bei allen verfügbaren Dateisystemen dann snapshots nutzen kann - da PVE anders als vsphere wohl das Dateisystem nutzt um snapshots anzulegen.

Wobei die (bei mir) immer angeboten wurden, denke daher, das stimmt so nicht ganz.

Ich habe aktuell PVE mit ext4 und btrfs am Laufen, letzteres fühlt sich etwas fluffiger an. Wenn ausreichend RAM vorhanden ist, spricht aber nichts gegen ZFS, auch bei nur einem Laufwerk.

 

[KurantRubys]

Wobei die immer angeboten werden, denke daher, das stimmt so nicht ganz.

Ne, auch nicht immer. LVM Thin kann das, LVM ohne Thin nicht. Hab den Unterschied nicht gesehen als ich die neue SSD rein gebaut hab und jetzt steh ich da

 

[Bib]

Ohne ECC meinte ich, habs oben ausgebessert...
Es heisst doch immer, kein ZFS ohne ECC-RAM? Ist das nur bei einem NAS wichtig?

 

[MisterY]

ZFS mit ECC > ZFS ohne ECC > andere Dateisysteme

 

[deckardstp]

PBS +1

Oder wenn man setzt einen 3 Knoten Failover Cluster mit Ceph auf, das geht auch mit Miniservern. Das hat weiterhin den Charme, das man an einem Knoten Wartung machen kann, und das System trotzdem weiterläuft.

Ceph hat für mich im privaten Bereich den Haken, dass Power Savings eigentlich nicht mehr machbar sind. Dadurch hat man schon deutlich mehr Stromverbrauch. Meine Proxmox Kiste mit IPMI, nem i9-9900 und über 120TB Storage nimmt sich im Idle knapp 44W. Das kann man mit Ceph abhaken. War für mich dann der Grund es wieder zu deaktivieren.

Beitrag automatisch zusammengeführt: 26.10.2023

Ohne ECC meinte ich, habs oben ausgebessert...
Es heisst doch immer, kein ZFS ohne ECC-RAM? Ist das nur bei einem NAS wichtig?

Der Streit ist so alt wie ZFS. ECC ist empfohlen, aber nicht mandatory. Ich habe auch 128GB Ram ohne ECC am laufen. Ist noch nichts gestorben deswegen.

 

[Bib]

Ok, dann setze ich jetzt erstmal alles schön mit dem ext4 auf, so wie ich es aktuell installiert habe und anschließend mache ich ein backup, installiere proxmox neu mit zfs und kann dann auch gleich ein notfall recovery üben.

 

[deckardstp]

Kurze Verständnisfrage @Bib Wie sieht denn Dein Storage aus? Willst Du Debian/Proxmox auf ZFS installieren oder nur die VMs bzw deren Volumes?

 

[Bib]

Ich habe einen extra DELL T20 mit ESXi, darauf läuft unter anderem FreeNAS, siehe Signatur. Das bleibt so.

Die ganzen Netzwerk-Dinge wie pfsense/opnsense, unifi controller, asterisk, pihole usw möchte ich jetzt auf extra Hardware laufen lassen und nicht mehr auf meinem DELL T20. (als alternative Überlegung hatte ich noch, nur für opnsense ein eigenes Gerät mit 4 Intel-LAN-Anschlüssen zu besorgen, aber ich werde wohl erst mal bei meinem Fujitsu Q558 und proxmox bleiben...)

Ich habe aktuell nur eine einzige M2-SSD im Rechner, darauf wollte ich alles komplett installieren. Wenn das zu klein wird, dann evtl. noch eine 2,5" SSD dazu für die SSDs.

Also um auf deine Frage zurück zu kommen: aktuell ext4 baremetal - VMs bzw. LXC hab ich noch nix installiert
Ich wechsle dann auf zfs baremetal. - Wenn ich eine VM installiere, dann muss ich nochmal das Dateisystem auswählen? Dann dort wieder ZFS, oder?

 

[gea]

Der Streit ist so alt wie ZFS. ECC ist empfohlen, aber nicht mandatory. Ich habe auch 128GB Ram ohne ECC am laufen. Ist noch nichts gestorben deswegen.

ZFS braucht genausowenig ECC wie jedes andere Dateisystem auch.

ZFS garantiert jedoch durch Prüfsummen auf Daten und Metadaten dass Daten auf dem Weg zur Platte und zurück nicht verändert wurden (Bitrot, Kabel oder Power Probleme etc). Ohne ECC kann man sich darauf aber nicht 100% verlassen da es passieren könnte dass ein RAM Fehler vor dem Hinzufügen der Prüfsummen die Daten verändert. Im Ergebnis hat man dann korrupte Daten mit korrekten Prüfsummen auf dem Pool. Sowas kann selbst ZFS ohne ECC Hilfe weder vermeiden noch entdecken.

Das Problem tritt mit einer geringen statistischen Wahrscheinlichkeit auf. Je länger und intensiver man den Server nutzt, je größer der Speicher desto wahrscheinlicher ein nicht entdeck- oder korrigierbarer Datenfehler. Bei intensiver Nutzung, kritischen Daten und viel Arbeitsspeicher würde ich RAM ohne ECC vermeiden.

 

[Trambahner]

@Bib Ein ZFS-Pool auf einer einzelnen SSD? Das geht, aber damit hast Du ausser für eine paar Metadaten keine Redundanz, d.h. ZFS kann dann Fehler in der Regel erkennen, aber nicht beheben,
Damit hast Du zwar ein paar ZFS-Vorteile/Features , aber die "Selbstheilungskräfte" sind ausser Kraft gesetzt.

Virtuell innerhalb einer VM, wenn deren Image wie z.b. vmdk oder qcow auf nem ZFS-Pools abgelegt ist, kannst Du das Dateisystem des jeweiligen Gastsystems nutzen. Physikalisch liegen die Datenblöcke dann ja auf ZFS. Bei iSCSI ists quasi das gleiche.

 

[deckardstp]

Ich muss @Trambahner zustimmen. Du hast die Möglichkeit Snapshots zu nutzen, allerdings sind die eigentlichen Stärken von ZFS damit außen vor. Du kannst auch einfach mit dem Standarddateisystem von Proxmox anfangen und dann im weiteren Verlauf noch einen ZFSPool einhängen und die Maschinen bzw. Volumes dahin verschieben. Zur Sicherung habe ich beispielsweise einen kleinen NUC mit PBS der mir im 4h Zyklus Snapshots des VMs inkl. Host zieht. Die VMs sind in meinem System eher "vernachlässigbar". Nur die eingehängten Volumes laufen auf ZFS. Mir lag aber viel daran, dass ich die ZFS Volumes auch mal schlafen schicken kann. Bei aktiven VMs auf ZFS ist das eher nicht möglich.

 

[meute]

Hallo,

Hab jetzt nen Dell Wyse 5070 mit dem Celeron J 4105
ausgestattet ist das Büxchen mit 16 G Ram und ner 256 -er SSD

ist zwar OT, aber ich habe hier zum Dell Wyse 5070 nichts weiter gefunden.

Welches 16 GB RAM Modul hast Du verbaut?

Passen beim Dell Wyse 5070 auch nur 16 GB Dual Rank Module wie beim Futro S740?

Futro-S740/README.md at main · R3NE07/Futro-S740

Contribute to R3NE07/Futro-S740 development by creating an account on GitHub.

github.com

 

[LehmannE]

Hallo,

möchte mir auch ein Homeserver für Proxmox zusammen bauen!
Der soll auf Sockel 1700 auf gebaut werden. Deswegen wollte ich ihr mal nach fragen, was ihr zu den Teile sagt?

CPU - Intel i5 13500T 35W
Board - Supermicro MBD-X13SAZ
RAM - 2 x Kingston Server Premier 16GB DDR5 4800 MHz ECC (KSM48E40BD8KM-16HM)
SSD - 2 x WD Red SA500 1TB (WDS100T1R0A) in HW Raid 1 für System (oder man kann bei der Installation ein Software Raid 1 erstellen)
M.2 PCIe - 1 WD Red SN700 2 TB (WDS200T1R0C) für die VM oder 2 x WD Red SN700 SW Raid 1

Und was sagt ihr oder sollte man noch was verändern?
Gruß Enrico

 

[Trambahner]

# 13500T > "T"-Version sinnlos, wenn Du ein normales Case nimmst. Du sparst in Idle kein einziges Watt, das ist ein normaler 13500 der "oben rum" limitiert ist für kleine Mini-PC mit wenig Kühlmöglichkeit.
# Hw-Raid brauchst Du nicht und ist sogar nachteilig . btw: Chipsatz-Raid ("Fakeraid") vom Board könnte das Ding eh nicht; Du müsstest einen echten Hw-Controller einbauen)
=> bei der Installation kannst Du als Bootdevice einfach die 2 Boot-SSDs auswählen und da drauf ZFS-Mirror erstellen. => Besser als Hardwareraid und ZFS-Pools legt man sinnvollerweise nicht auf Hw-Raid an. Ideal für ZFS ist direkter Durchgriff auf die HDDs, Du brauchst da also "dumme Ports/Hostbusadapter".

Für die VMs: Mach hier ebenso einen ZFS-Mirror aus zwei M.2 PCIe SSDs. Nachdem PCIe Lanes immer knapp ist: "go big" mit genug Reserve; auch damit Du z.B. Platz für ZFS-Snapshots hast. Voll sollten Consumer-SSDs eh nie werden, weil dann der SLC-Cachebereich typischerweise immer kleiner wird und damit der Einbruch der Schreibraten desto schneller erfolgt, desto voller die SSDs werden.
(ich hab hier zwei SN850X 4TB im kleinen Proxmox-Server (die performen sehr schön mit ZFS) )
Vergiss hier die ganzen riesigen ausgelobten IOPS-Nummern, bei Homeservern brauchst Du eher gute Schreib- und Leseraten bei kurzen Warteschlagen.

Btw, die Red SSDs sind ganz normale Consumer-SSDs _ohne_ Datacenter-Features (z.B. Powerloss-Protection). Ob man dafür extra Geld ausgeben will, weiss ich nicht.
Oder aber, halt Datacenter-SSDs mit entsprechenden Features.

Kommt halt auf die beabsichtigen Anwendungen in den VMs, das gewünschte Perfmance und Durchhalte-Verhalten und Sicherheitsfeatures an.

Tipp: Hau Dir die Ram-Sockel nicht mit 16er Modulen voll, sondern steig eher gleich mit 2x32 ein. Für VM-Betrieb kann man eigentlich fast nie genug Speicher haben und ZFS kann viel Ram als Cache auch excellent nutzen.

Ich bin zwar derzeit eher im AMD-Lager, aber Supermicro mit ECC und Intel kann man auch sehr gut machen. Was ich nicht weiss ist, ob Proxmox ordentlich die P-Cores und E-Cores sinnvoll für optimale Performance der jeweiligen VMs zuordnen kann; mit diesen hybriden CPUs hab ich diesbzgl. keine Erfahrung.

 

[deckardstp]

Board - Supermicro MBD-X13SAZ

Überleg Dir sehr gut ob Du IPMI brauchst. Frisst Dir ständig mindestens 5, eher 10W im Betrieb. 10Wh sind 88kWh im Jahr.

 

[MisterY]

Bei mir sind es 3W

 

[LehmannE]

Überleg Dir sehr gut ob Du IPMI brauchst. Frisst Dir ständig mindestens 5, eher 10W im Betrieb. 10Wh sind 88kWh im Jahr.

Wollte vorher alles im Bios einstellen über der Grafikkarte und die Funktion im Bios deaktivieren.
Kannst du ein Board empfehlen was das IPMI nicht hat?

Bei mir sind es 3W

Was hast du für ein Board?


@Trambahner
den i5 13500T hatte ich gedacht, wegen weniger Abwärme! Habe auch was Internet gefunden / gelesen das es im Idel nicht viel unterschied ist. Mit T oder ohne T.
Das Gehäuse soll ein 19" 1U kurz 36 cm werden. Da ist dann nicht viel Platz mit CPU Kühler.

ZFS-Mirror hört sich gut an für das System! Ein SW Raid1 kann ich dann gut über das Programm überwachen.
Recht für das System so 500 GB oder 1 TB aus?
Was für Sata SSD würdest du empfehlen?
Datacenter-SSDs sowas ihr Solidigm SSD D3-S4520 480 GB (SSDSC2KB480GZ01)

Wollte für die VM ein Raid 1 machen. Kann man da dann ein SW Raid ZFS-Mirror machen, das ist super.
Das Board hat ja nur ein M.2 PCIe. Da wollte ich mir eine Karte holen, wo 2 M.2 PCIe drauf passen wegen Raid 1.
Die SN850X 4TB ist doch auch ein Consumer-SSD oder?
Was für M.2 PCIe SSD würdest du empfehlen für Dauer betrieb?
Datacenter M.2 PCIe Samsung PM9A3 3.84 TB oder Micron 7450 Pro 3.84 TB?


Ram dann 2 mal 32 GB auf 64 GB!

Habe was im Netz gelesen, das Proxmox VE 8.0 mit den P-Cores und E-Cores zurecht kommen soll.


Habe mal in dein Signatur geschaut!
AMD würde ihr das ihr gut gefallen!
Board - AsRock X570D4U-2L2T/BCM (90-SXG9B7-A0UAYL) hat gleich 2 x M.2 PCIe drauf. 10 GB Netzwerk, die anderen deaktivieren.
CPU - AMD Ryzen 7 5700X oder AMD Ryzen 5 5600X
Ram - Micron 32 GB DDR4 3200 Mhz (MTA18ASF4G72AZ-3G2R)



Gruß Enrico

 

[MisterY]

Supermicro X10SRA-F

 

[deckardstp]

Wollte vorher alles im Bios einstellen über der Grafikkarte und die Funktion im Bios deaktivieren.
Kannst du ein Board empfehlen was das IPMI nicht hat?

Ich hab noch ein älteres Asrock Rack: E3C246D4U2-2L2T - IPMI verbraucht bei mir auch wenn ich es ausschalte genauso viel als eingeschaltet.

Ich habe noch ein altes Z370M Board mit einem i3-8100. Der läuft aktuell mit bis zu C10 und im Extremfall mit 16,5W 64GB RAM, 1x NVMe und 10GBit SFP+ (siehe unten).

Board - AsRock X570D4U-2L2T/BCM (90-SXG9B7-A0UAYL) hat gleich 2 x M.2 PCIe drauf. 10 GB Netzwerk, die anderen deaktivieren.

Gleiches Spiel mit 10G. 8-10W ca. für ein RJ45 Interface. Ich hab mir nun eine X520-DA1 SFP+ besorgt. Die läuft mit justierten ASPM Settings mit ca. 2,5W im Idle.
RJ45 ist an der Stelle die schlechteste Wahl. Fiber hab ich nie getestet, aber am besten sind wohl vom Verbrauch/Preis-Leistung (wenn möglich zu verbauen) vorkonfektionierte DAC Kabel.

Letztendlich ist es Dir überlassen. Es macht aber Sinn sich im Vorfeld lieber mehr Gedanken zu machen, als dann hinterher (teuer) nachzujustieren.

 

[wddn]

Die läuft mit justierten ASPM Settings mit ca. 2,5W im Idle.

Wie hast du das gemacht?
Ich komme leider nicht tiefer/höher als C2 mit einem x470D4U mit Intel X710-DA2 und Asus Hyper M.2 mit TrueNAS Scale…

 

[deckardstp]

Wie hast du das gemacht?
Ich komme leider nicht tiefer/höher als C2 mit einem x470D4U mit Intel X710-DA2 und Asus Hyper M.2 mit TrueNAS Scale…

Das X470DU ist ein schönes Serverboard, allerdings habe ich mit meinem E3C246D4U2-2L2T das gleiche Problem. Sie sind aus meiner Sicht eher für Dauerbetrieb und Performance ausgerichtet, als für Power Saving.
Wird teilweise auch durch BIOS Einstellungen beeinflusst. Bei meinem Z370M Board darf ich zum Beispiel den SATA Controller nicht deaktivieren, sonst erreicht er nur C8.

Den niedrigen Verbrauch habe ich auf dem Z370M Board erreicht. Es gibt ein altes aspm_tuning.sh Skript von Luis R. Rodriguez. Wolfgang hat es neulich im Rahmen seiner Grafikkartentests vorgestellt:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Damit war es mir möglich die Karte soweit zu optimieren. Basis war Debian/Ubuntu. Ob und wie es sich mit TrueNAS/BSD verhält, müsstest Du mal probieren.

 

[Trambahner]

Das Board hat ja nur ein M.2 PCIe. Da wollte ich mir eine Karte holen, wo 2 M.2 PCIe drauf passen wegen Raid 1.

Achtung Falle. Intel für Generation 12/13/14 kann den x16-Slot nur auf 2x 8 Lanes aufteilen, nicht auf 4x 4 Lanes.
D.h. auf einer x8 Karte wirst im Zweifelsfall nur 1 SSD nutzen können und auf einer mit 4 M2 Steckplätzen nur 2. Die restlichen Lanes sind "verschenkt" und können nicht anders genutzt werden.
Hat Intel nicht anders vorgesehen bei Sockel 1700 Core i3/5/7/9.

Die zwei mechanisch 8x Slot in dem X13SAZ sind elektrisch 4x, d.h. da kannst nur eine SSD reinpacken.

Die SN850X 4TB ist doch auch ein Consumer-SSD oder?

Ja, ich wäge da immer je nach Einsatzfall etwas ab, daher sehr gute Consumer-Laufwerke im kleinen und Datacenter im großen Server.

Was für M.2 PCIe SSD würdest du empfehlen für Dauer betrieb?
Datacenter M.2 PCIe Samsung PM9A3 3.84 TB oder Micron 7450 Pro 3.84 TB?

Mit den Microns hab ich keine Erfahrung. Die PM9A3 (mit 7.68TB) im U2-Gehäuse hab ich ja selber. Keine Probleme damit.
M.2 würd ich mir da überlegen bei Datacenter, U2 sind normal leistungsfähiger weil viel bessere Kühlung. U2 PCIe ist aus Anwendersicht nix anderes als M2 PCIe, Du musst halt mit (ordentlichen) Kabeln/Steckkarten adaptieren. Brauchst bei PCIe 4 aber auch sehr gute Kabel bzw. Adapterkarten.

Habe mal in dein Signatur geschaut!
AMD würde ihr das ihr gut gefallen!
Board - AsRock X570D4U-2L2T/BCM (90-SXG9B7-A0UAYL) hat gleich 2 x M.2 PCIe drauf. 10 GB Netzwerk, die anderen deaktivieren.
CPU - AMD Ryzen 7 5700X oder AMD Ryzen 5 5600X
Ram - Micron 32 GB DDR4 3200 Mhz (MTA18ASF4G72AZ-3G2R)

Sicher eine gute Kombo.
Beachte, dass ein M2 von der CPU und der zweite vom Chipsatz kommt. Zwischen CPU und Chipsatz können insgesamt nur etwa 7,5 GiB/s pro Richtung gleichzeitig transferiert werden. Da fällt alles rein, was am Chipsatz hängt (also der eine M.2, alle Sata-Ports, der pcie4 x1 Slot und die Netzwerkports. Fällt gleichzeitig mehr als diese 7,5 GiB/s pro Richtung an, drosseln sich die Durchsätze der einzelnen Geräte solange das anhält. Sollte also ein eher geringes Limit zuhause sein.
Ausserdem hast Du ja noch die Slots direkt von der CPU, die fallen da nicht drunter.


Tipp: Ohne Not keinesfalls 1U Case für daheim nehmen. Die Lüfter müssen schreien für brauchbaren Luftzug, die Optionen Dinge zu verbauen (Kühler, Lüfter, Netzteile, Steckkarte) sind entsprechend sehr unschön.
Daheim 3U mindestens, eher 4U. Selbst bei 4U muss man höllisch aufpassen mit der Kühlerhöhe, viele 120er Tower passen da nicht um wenige mm oder 1-2cm. Von sowas wie nem NH-D15 ganz zu schweigen.

 

[wddn]

Selbst bei 4U muss man höllisch aufpassen mit der Kühlerhöhe, viele 120er Tower passen da nicht um wenige mm oder 1-2cm. Von sowas wie nem NH-D15 ganz zu schweigen.

92mm Noctua passt perfekt in 4U als Anhaltspunkt

 

[LehmannE]

Tipp: Ohne Not keinesfalls 1U Case für daheim nehmen. Die Lüfter müssen schreien für brauchbaren Luftzug, die Optionen Dinge zu verbauen (Kühler, Lüfter, Netzteile, Steckkarte) sind entsprechend sehr unschön.
Daheim 3U mindestens, eher 4U. Selbst bei 4U muss man höllisch aufpassen mit der Kühlerhöhe, viele 120er Tower passen da nicht um wenige mm oder 1-2cm. Von sowas wie nem NH-D15 ganz zu schweigen.

Machbar ist noch ein 2U Gehäuse, da sind dann 80 mm Lüfter drin! Wie das SilverStone RM23-502-Mini, hat schon 2 drin. Wenn man das 5,25" raus macht, passen da auch noch 2 hin.
Weil ich nur ein kleinen Serverschrank habe mit 12 HE und der ist gut gefüllt.

Achtung Falle. Intel für Generation 12/13/14 kann den x16-Slot nur auf 2x 8 Lanes aufteilen, nicht auf 4x 4 Lanes.
D.h. auf einer x8 Karte wirst im Zweifelsfall nur 1 SSD nutzen können und auf einer mit 4 M2 Steckplätzen nur 2. Die restlichen Lanes sind "verschenkt" und können nicht anders genutzt werden.
Hat Intel nicht anders vorgesehen bei Sockel 1700 Core i3/5/7/9.

Die zwei mechanisch 8x Slot in dem X13SAZ sind elektrisch 4x, d.h. da kannst nur eine SSD reinpacken.

Habe ich das richtig verstanden! Wenn man eine Adapterkarte mit 2 oder 4 SSD hat.
Gehen beim PCIe 5.0 x16 nur 2 SSD, wegen 2 x 8. Wenn die Adapterkarte 2 x SSD mit PCIe 4.0 x 8 hat, sind x 8 verschenkt! Bei einer Adapterkarte 4 x SSD PCIe 4.0 x16. Gehen nur 2 SSD, weil das Board nur 2 x 8 kann und nicht 4 x 4.
Bei den 1 x PCIe 4.0 x 8 (x 4) geht nur eine SSD. Weil der PCIe nur x 8 oder x 4 kann und nicht 2 x 4.

Das ist ja mal wieder nicht schön! Hatte gerade eine ASRock Hyper Quad M.2 Card gefunden, mit 4 SSD drauf. Die hat PCIe 4.0 x 16 und mit PCIe bifurcation x4 x4 x4 x4, soll jede Einzel erkannt werden. Das hatte für mich völlig ausgereicht. 2 für System und 2 für VM. Oder eine Supermicro AOC-SLG3-2M2-O



AsRock X570D4U-2L2T/BCM (90-SXG9B7-A0UAYL)

Sicher eine gute Kombo.
Beachte, dass ein M2 von der CPU und der zweite vom Chipsatz kommt. Zwischen CPU und Chipsatz können insgesamt nur etwa 7,5 GiB/s pro Richtung gleichzeitig transferiert werden. Da fällt alles rein, was am Chipsatz hängt (also der eine M.2, alle Sata-Ports, der pcie4 x1 Slot und die Netzwerkports. Fällt gleichzeitig mehr als diese 7,5 GiB/s pro Richtung an, drosseln sich die Durchsätze der einzelnen Geräte solange das anhält. Sollte also ein eher geringes Limit zuhause sein.
Ausserdem hast Du ja noch die Slots direkt von der CPU, die fallen da nicht drunter.

Hat man 2 Datenautobahn ihn 7,5 GiB/s und zurück 7,5 GiB/s.
Die müssten sich den die M.2, 10 GB Lan und 1GB Lan teilen und USB.
Kann man die M.2 SSD vom Chip und CPU als System SSD Raid 1 nehmen?
Auf den einen PCIe 4.0 x8 je eine M2. SSD drauf und auf den anderen PCIe 4.0 x8 M.2 SSD drauf für die VM in Raid 1?


@wddn
du hast in deiner Signatur eine TrueNAS Scale Server mit eine Asus Hyper M.2 4x1TB Micron 7300 verbaut.
Auf ein AMD Board von Asrock Rack X470D4U. Ist die auf den PCIe 3.0 x 16 drauf und auf x4, x4, x4, x4 eingestellt?

Gruß Enrico