[Kaufberatung] Medienserver

[gea]

Vielen Dank für Eure Beiträge!

Sorry, aber je mehr ich lese, desto weniger scheine ich zu verstehen. Ich versuche das noch einmal zu rekapitulieren (ich hoffe, das geht Euch nicht auf die Nerven):

1) Ich kann n Festplatten zu einem Raid-Z vdev oder mehrere Raid-Z vdevs organisieren. Wenn es um optimale Stripesize und Performanz geht, empfehlen sich für Raid-Z3 vdev 4, 5, 7 oder 11 Festplatten.

2) Diese Raid-Z vdevs kann ich einzeln oder vermehrt in einen Pool packen. Je mehr Raid-Z vdevs (aber max. 10 Platten) in einem Pool sind, desto schneller.

Habe ich das so richtig verstanden?

Danke!

Es gibt zwar schon eine theoretisch optimale Anzahl (7,11,19) bei Raid-Z3, es dreht sich in der Praxis aber um ein ausgewogenes Verhältnis zwischen Kosten, Sicherheit und Performance.

Ein Raid-Z3 aus 4 Platten wäre unvernünftig, da dabei 3 Platten nur der Sicherheit dienen und der nutzbare Platz der einer Platte ist. Übliche Größenordnungen von Raid-Z2 sind 6-12 Platten, bei Raid-Z3 sind es 11 Platten und mehr - man kann aber auch davon abweichen. Ein Raid-3 aus 50 Platten wäre auch möglich. aber nicht effektiv was Performance und Rebuildzeiten angeht.

2. Ja, die Performance steigt fast linear mit der Anzahl der vdevs. Ein Pool aus 2 x Raid-Z2 (entspricht konventionellem Raid-60) ist fast doppelt so schnell wie ein Pool aus einem Raid-Z2.

---------- Post added at 23:49 ---------- Previous post was at 23:40 ----------

@gea: Habe meinen Beitrag oben nochmal editiert, bitte noch mal lesen.

Für höchste Performance und Verfügbarkeit ist es sicher richtig alles auf mehrere Controller, Storage-Gehäuse oder redundante Datenpfade bei Expanderlösungen zu verteilen. Sun Thumber war z.B. auch ein Storage Server mit 6 Controllern genau wie meine aktuellen Chenbro Cases mit 6 Controllern und 50 Platteneinschüben.

Der dafür nötige Aufwand und die Kosten spielen aber in einer anderen Liga.

 

[GrafikTreiber]

Natürlich, redundante Controller/Expander/SAS-Switches/Gehäuse, usw. sind preislich eine andere Liga, auch die Verwaltung ist unter Umständen nicht einfach. Aber in "klein" kann man das auch mit geringem Budget realisieren nur in dem man die Festplatten so aufteilt wie in meiner Zeichnung oben, der Aufwand dazu ist wirklich minimal, es kostet nur ein paar Minuten Arbeitszeit mehr anstatt die Festplatten "einfach so rein zu schieben".

 

[UweObst]

Zunächst möchte ich Euch für die zahl- und hilfreichen Beiträge danken und Euch frohe Weihnachten wünschen.

Ein Raid-Z3 aus 4 Platten wäre unvernünftig, da dabei 3 Platten nur der Sicherheit dienen und der nutzbare Platz der einer Platte ist. Übliche Größenordnungen von Raid-Z2 sind 6-12 Platten, bei Raid-Z3 sind es 11 Platten und mehr - man kann aber auch davon abweichen. Ein Raid-3 aus 50 Platten wäre auch möglich. aber nicht effektiv was Performance und Rebuildzeiten angeht.

2. Ja, die Performance steigt fast linear mit der Anzahl der vdevs. Ein Pool aus 2 x Raid-Z2 (entspricht konventionellem Raid-60) ist fast doppelt so schnell wie ein Pool aus einem Raid-Z2.

Aber dann war doch meine Poolorganisation mit jeweils 6x4 Raid-Z vdevs in einem Pool gar nicht einmal so verkehrt. Bei der Menge der Platten wäre dann wohl Raid-Z2 sinnvoller und vernünftiger.

Bei der Verkabelung ließe sich dann darauf achten, das man das Ganze möglichst optimal verteilt (z.B. so wie von GrafikTreiber vorgeschlagen).

Zwei Fragen liegen mir noch auf der Seele:

1) Wie sieht es bei Raid-Z2 mit der Ausfallsicherheit aus.

2) Welche Software empfiehlt sich für mein besprochenes Vorhaben (ZFS, AES, Samba)? Solaris und Co?

 

[gea]

Zwei Fragen liegen mir noch auf der Seele:

1) Wie sieht es bei Raid-Z2 mit der Ausfallsicherheit aus.

2) Welche Software empfiehlt sich für mein besprochenes Vorhaben (ZFS, AES, Samba)? Solaris und Co?

Bei Raid-Z2 dürfen in diesem vdev zwei Platten ausfallen, ohne dass Daten verloren sind. Bei der dritten ist der Pool futsch.

Zu ZFS, da gibt es viele Vorlieben
Bei Solaris & Co gibt es die beste Integration in das OS und den Solaris CIFS/SMB Server, der einfach wie Windows arbeitet und Windows kompatibler ist als SAMBA
Bei BSD gibt es auch stabiles ZFS und eine größere Softwareauswahl, nutzt SAMBA
ZFS on Linux ist noch nicht stable wird aber sicher in Zukunft die meistgenutzte Plattform, nutzt SAMBA

Verschlüssellung in ZFS gibt es nur bei Oracle Solaris, sonst passiert das auf deviceebene unterhalb oder innerhalb ZFS

Wenn es rein um Storage geht (Stabilität, Einfachheit, rennt einfach nach 20 Min), würde ich Solaris und Co als erstes anschauen.

Ohne CLI Vorerfahrung eine appliance distribution mit Web-GUI nehmen

 

[UweObst]

Was spricht gegen ZFSonLinux und LUKS/dm-crypt?

Laut folgendem Beitrag die performanteste Lösung:

-ZFS eigene Encryption ab Pool Version 30. Nur in der nicht-freien Solaris Version von Oracle verfügbar, sprich Solaris 11 Express und Solaris 11.11. Du begehst damit einen Vendor-Lock-In weil der Code ab Poolversion 28 nicht mehr freigegeben wird. Außerdem ist die Performance auch mit AES-NI wirklich schlecht, die CPU ackert ständig auf 100% wofür z.B. Linux nur 10-30% bei selbem Durchsatz benötigt. Sehr schnell eingerichtet.
-Geli unter FreeBSD. Die Verschlüsslung arbeitet hier performanter, allerdings ist Geli so weit ich weiß nicht multi-threaded, von daher ist die Performance nicht ganz optimal, es könnte besser sein. Relativ schnell eingerichtet.
-dmcrypt/LUKS und ZFSonLinux unter Linux. Die performanteste und ressourcenschonendste Lösung was Verschlüsslung angeht. Nicht so schnell eingerichtet wie FreeBSD und Solaris 11 Nachteil: ZFSonLinux ist noch nicht fertig und befindet sich noch im RC-Status. Daten sind und waren nie in Gefahr, der Code der diesen Bereich betrifft ist nahe zu 100% gleich mit dem unter FreeBSD und OpenIndiana, allerdings gibt es hier und da noch einige Einschränkungen/Probleme welche mit der Anpassung an den Linux-Kernel einhergehen. Es gibt trotzdem bereits viele Unternehmen die ZFSonLinux bereits produktiv einsetzen. Sofern man sich also einen kurzen Überblick über die aktuellen Limitationen verschafft steht auch dem Produktiveinsatz von ZFSonLinux nichts im Wege.

Welche Linux-Distribution käme infrage? Wie sieht es mit Samba aus?

 

[GrafikTreiber]

Was dagegen spricht steht doch bereits im Quote.
Prinzipiell kommt jede Distribution in Frage, Hauptsache mit aktuellem Kernel ab 3.2, Samba gibt es überall.
Ich verwende Debian 6 Squeeze mit 3.2er Kernel aus den Backports und die Ubuntu 10.04 Lucid Packages aus der ZFS-PPA, die sind binär kompatibel mit Debian 6 Squeeze.
Siehe dazu auch #2434 im ZFS Stammtisch.

 

[UweObst]

Solltest du eine vollständige Crypto-Installation mit ZFSonLinux machen kann ich meine Doku aus meiner persönlichen Wiki hier kurz posten. Das ist zwar keine vollständige Anleitung, aber eine Kurz-Doku die *NIX-Experten sehr viel Arbeit abnimmt. Da ich schon öfter Anfragen bekommen habe wie mein System denn so genau aussieht werde ich das vielleicht auch in nächster Zeit mal in einem separaten Thread nieder schreiben.

Von diesem Angebot würde ich gerne Gebrauch machen

 

[GrafikTreiber]

Die Formatierung aus der Wiki geht hierbei leider verloren, also leider hier nur normaler Text. Nur reine Doku für persönliche Zwecke, keine Garantie auf Vollständigkeit und Funktion, kein Support, keine Haftung für irgendetwas.

Geht dabei nur um die Installation eines vollständig verschlüsselten Debians mit encrypted root und unlock via init.rd mit aktuellem Kernel und Debian auf eine SSD. Die Installation mache ich manuell mit debootstrap und nicht mit dem Debianinstaller, so no Click-Click-Click-and-done for you!
Man muss dazu auf eine Live-CD mit aktuellem Kernel und debootstrap booten, ich verwende dazu grml.

Das LVM-Layout ist angelehnt an die Proxmox-Vorgaben, kannst du aber handhaben wie du willst. Für Anfänger ist das eher nichts, man sollte schon ein paar Grundlagen kennen damit man weiß was man da überhaupt tut.

Spoiler

Verschlüsselte Debian Remoteinstall mit Debootstrap
Partionieren, FS schreiben und mounten
Partionslayout schreiben, 256MB bootable 0x83, zweite für dmcrypt:
fdisk /dev/sda

Boot-FS schreiben
mkfs.ext3 /dev/sda1 -L boot

Verschlüsseln
dd if=/dev/urandom of=/dev/sda2
cryptsetup luksFormat -c aes-xts-plain -s 512 -h sha512 --align-payload=2048 /dev/sda2

LVM erstellen
cryptsetup luksOpen /dev/sda2 ssd-crypt
vgcreate pve /dev/mapper/ssd-crypt

Logicalvolumes erstellen
lvcreate -n root -L 4G pve
lvcreate -n swap -L 4G pve
Rest nach belieben.

LVs formartieren
mkfs.ext3 /dev/mapper/pve-root -L root
mkfs.ext3 /dev/mapper/pve-data -L data

Laut Proxmoxsupport-Aussage von Sommer 2012 ist EXT3 performanter als EXT4.
mkswap /dev/mapper/pve-swap -L swap
swapon /dev/mapper/pve-swap

Mounten
mkdir /mnt/dstrap
mount /dev/mapper/pve-root /mnt/dstrap
mkdir /mnt/dstrap/boot
mount /dev/sda1 /mnt/dstrap/boot

Debootstrap
debootstrap --verbose --arch=amd64 squeeze /mnt/dstrap/ ftp://ftp.de.debian.org/debian/

Netzwerkinfos notieren und anpassen
nano /mnt/dstrap/etc/resolv.conf
nano /mnt/dstrap/etc/network/interfaces
nano /mnt/dstrap/etc/hostname
Hostname zu hosts hinzufügen:
nano /mnt/dstrap/etc/hosts

nano /mnt/dstrap/etc/apt/sources.list
#squeeze
deb Index of /debian squeeze main contrib non-free
deb Index of /debian squeeze-updates main contrib non-free
deb Index of /debian-security squeeze/updates main contrib non-free
deb Index of /debian-backports squeeze-backports main contrib non-free

deb-src Index of /debian squeeze main contrib non-free
deb-src Index of /debian squeeze-updates main contrib non-free
deb-src Index of /debian-security squeeze/updates main contrib non-free
deb-src Index of /debian-backports squeeze-backports main contrib non-free

nano /etc/apt/preferences
# APT PINNING PREFERENCES
Package: *
Pin: release a=squeeze-backports
Pin-Priority: 200

fstab und crypttab schreiben
blkid /dev/sda1 /dev/mapper/pve-root /dev/mapper/pve-swap
nano /mnt/dstrap/etc/fstab
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
UUID=09e250b8-1cb6-4982-9cf7-26c5fc51df1d / ext3 defaults 0 1
UUID=af86157b-7b5f-41d9-9927-6599d4d8e686 /boot ext3 defaults 0 2
UUID=612ed8ed-dc70-4e35-98d2-031c5ab14230 none swap sw 0 0
echo "ssd-crypt UUID=`blkid -s UUID -o value /dev/sda2` none luks" | tee -a /mnt/dstrap/etc/crypttab

Chrooten in das gedebootstrapte System

mount -o rbind /dev /mnt/dstrap/dev
mount -t tmpfs none /mnt/dstrap/tmp
mount -t proc proc /mnt/dstrap/proc
mount -t sysfs sys /mnt/dstrap/sys
chroot /mnt/dstrap /bin/bash

System updaten und Packete installieren
passwd

aptitude update

aptitude install locales
dpkg-reconfigure locales -plow
Deutsche und englische Locales wählen, als Standard en_US.UTF-8

aptitude full-upgrade

aptitude install -t squeeze-backports linux-image-amd64 linux-headers-amd64 firmware-linux firmware-linux-free firmware-linux-nonfree
aptitude install grub2 module-init-tools cryptsetup lvm2 openssh-server console-setup
aptitude install zsh ntp rcconf nano rsync pv lsof screen hddtemp lm-sensors pciutils
aptitude install -t squeeze-backports smartmontools
update-smart-drivedb
aptitude install acpid

System konfigurieren
dpkg-reconfigure console-setup
dpkg-reconfigure grub-pc
GRUB_CMDLINE_LINUX_DEFAULT="kopt=root=/dev/mapper/pve-root"
dpkg-reconfigure --all --unseen-only
Bei Error
dpkg-maintscript-helper: error: couldn't identify the package
"Manuell" durchführen:
for i in `dpkg --get-selections | awk '{print $1}'` ; do dpkg-reconfigure -plow $i ; done
Default Shell für neue User auf zsh setzen:
nano /etc/adduser.conf
/etc/initramfs-tools/modules anpassen
echo "lvm" >> /etc/initramfs-tools/modules
echo "e1000" >> /etc/initramfs-tools/modules
echo "e1000e" >> /etc/initramfs-tools/modules
echo "aes" >> /etc/initramfs-tools/modules
echo "aes_i586" >> /etc/initramfs-tools/modules
echo "aes_x86_64" >> /etc/initramfs-tools/modules
echo "aes_generic" >> /etc/initramfs-tools/modules
echo "dm-crypt" >> /etc/initramfs-tools/modules
echo "dm-mod" >> /etc/initramfs-tools/modules
echo "sha256" >> /etc/initramfs-tools/modules
echo "sha256_generic" >> /etc/initramfs-tools/modules
echo "lrw" >> /etc/initramfs-tools/modules
echo "xts" >> /etc/initramfs-tools/modules
echo "crypto_blkcipher" >> /etc/initramfs-tools/modules
echo "gf128mul" >> /etc/initramfs-tools/modules

cp /usr/share/initramfs-tools/hooks/cryptroot /etc/initramfs-tools/hooks/
cp /usr/share/initramfs-tools/hooks/udev /etc/initramfs-tools/hooks/
cp /usr/share/initramfs-tools/scripts/local-top/cryptroot /etc/initramfs-tools/scripts/local-top/
update-initramfs -u -k all
Kann ignoriert werden:
W: Possible missing firmware /lib/firmware/isci/isci_firmware.bin for module isci
cryptsetup: WARNING: invalid line in /etc/crypttab -
Chroot verlassen und Neustarten

exit
sync
umount /mnt/dstrap/sys
umount /mnt/dstrap/proc
umount /mnt/dstrap/dev/pts
umount /mnt/dstrap/dev
umount /mnt/dstrap/tmp
umount /mnt/dstrap/boot
umount /mnt/dstrap
lvchange -a n pve
cryptsetup luksClose ssd-crypt
reboot

Sollte sich etwas nicht unmounten lassen, lazy unmount, also umount -l probieren, ansonsten noch lsof | grep /mnt/dstrap und dann die Prozesse einzeln killen.
Sollte nun alles geklappt haben wird man nach dem Reboot nach dem Passwort zum Entschlüsseln gefragt, damit das ganze später auch ohne Remoteconsole/IPMI funktioniert, nun folgendes:

aptitude install busybox dropbear

nano /etc/initramfs-tools/initramfs.conf

BUSYBOX=y
DROPBEAR=y
Und noch die Netzwerkkarte konfigurieren.
DHCP:

#
# DEVICE: ...
#
# Specify the network interface, like eth0
#
DEVICE=eth0

Statische IP:

DEVICE=eth0
IP=:10.0.13.37::255.255.255.0::eth0ff

Automatisch generierterer Keystuff:
ls /etc/initramfs-tools/etc/dropbear/
ls /etc/initramfs-tools/root/.ssh

nano /etc/initramfs-tools/root/.ssh/authorized_keys

Vorkonfigurierten Privatekey rausnehmen und durch eigenen ersetzen.

reboot

Nun sollte man sehen wie sich die Initrd eine IP via DHCP holt, auf Port 22 läuft dann Dropbear.
Nun mit seinem Privatekey drauf verbinden und mit
echo -n "MEIN PASSWORT EINSETZEN" > /lib/cryptsetup/passfifo
unlocken.

Das Ganze kann man natürlich auch automatisieren:
ssh -i .ssh/dropbear/id_rsa_initram -o UserKnownHostsFile=.ssh/dropbear/known_hosts root@10.0.13.37 "echo -ne \"MEIN PASSWORT EINSETZEN\" > /lib/cryptsetup/passfifo"
Nützliche Links
System verschlüsseln
[Tutorial] Debian Squeeze from Scratch - Server Support Forum
[SOLVED] Ubuntu 11.10 FDE w/ XTS - Ubuntu Forums
Remoteunlock:
Voll-verschlüsseltes-System via SSH freischalten
Remotely Unlock Fully Encrypted Debian Squeeze | HowtoForge - Linux Howtos and Tutorials

Wie man die Festplatten für Storage später verschlüsselt habe ich oben schon verlinkt, #2434 im ZFS Stammtisch. ZoL entweder manuell installieren, dann aber beachten dass man bei jedem Kernelupdate neu kompilieren muss.
Oder so wie ich die ZFS-PPA zur /etc/apt/sources.list hinzufügen:

deb http://ppa.launchpad.net/zfs-native/stable/ubuntu lucid main 
deb-src http://ppa.launchpad.net/zfs-native/stable/ubuntu lucid main

Dann aptitude install zfs-dkms zfsutils
Den anderen Krams aus der PPA nicht mit installieren, das ist Ubuntu spezifisch. Nach dem Rebooten muss man mit zfs mount -a mounten da unter Debian das mountall package aus der PPA nicht anwendbar ist!

Vielleicht mache ich auch irgendwann mal einen Thread über mein System und die vollständige Installation, aber mir graut's irgendwie vor den ganzen Supportanfragen die dann eventuell kommen könnten und ich habe ich weder Zeit noch Lust solche Dienstleistungen für lau anzubieten.

 

[UweObst]

Danke, GrafikTreiber!

 

[UweObst]

Vielleicht mache ich auch irgendwann mal einen Thread über mein System und die vollständige Installation, aber mir graut's irgendwie vor den ganzen Supportanfragen die dann eventuell kommen könnten und ich habe ich weder Zeit noch Lust solche Dienstleistungen für lau anzubieten.

Ich weiß, was Du meinst. Aber sicherlich würde nicht nur ich es als unglaublich hilfreich dankbar annehmen, quasi als erste und niederschwelligere Orientierung bzw. Hilfe zur Selbsthilfe, was ja nicht von der Pflicht entbindet, sich damit auseinanderzusetzen, wenn man diesen Weg einschlagen möchte. Einfacher wäre hier sicherlich die Verwendung von Solaris und Napp-it. Wobei für mich noch unklar ist, inwieweit dieses Duo in Sachen Verschlüsselung mit LUKS/dm-crypt mithalten kann resp. vergleichbar ist (@gea?)

Was die Supportanfragen betrifft, wird man wohl "nur" konsequent sein müssen.

 

[gea]

Solaris 11.0 unterstützt AES-NI Hardware. Die Beschleunigung dadurch war jedoch nicht so gut wie es sein könnte. Ich weiß nicht, inwieweit sich das mit dem neuen Solaris 11.1 geändert hat. man sollte auf jeden Fall halbwegs potente Hardware haben - wobei das für einen Single user Mediaserver nicht so entscheident ist wie für einen Multi-User-Server unter Last.

Ansonsten ist Verschlüssellung als einfache eingebaute Eigenschaft eines ZFS Dateisystems, so wie compress, sharing etc eigentlich der Königsweg. Einziger Nachteil: Dies benötigt ZFS Pool Version 30+ und das bedeutet Oracle Solaris only. Ein Wechsel auf eine andere Plattform bedeutet Daten umkopieren. Das wäre aber mit LUKS genauso, da dies wiederum Linux only ist (BSD bzw Illumos/OI) machen das anders.

 

[UweObst]

Ich werde beides (Solaris + Napp-it und ZFSonLinux + LUKS dm-crypt) antesten und berichten, wenn das in Ordnung ist!

Herzlichen Dank an GrafikTreiber und gea sowie keibertz für die hilfreichen Beiträge!

 

[GrafikTreiber]

Wie schon gesagt, die Performance der nativen ZFS-Verschlüsselung ist wirklich absolut unterirdisch. 100% CPU-Last bei mageren Übertragungsraten, siehe: AES-NI accelerated Solaris 11 ZFS encryption on Xeon E3 CPUs inside a VM (ESXi) - [H]ard|Forum oder Zfs encrypted I7 CPU 100% . Und nein, daran kann man nichts ändern. Ich habe dazu ausgiebig recherchiert und viel herum probiert weil ich gerne den SUN-SMB-Server nutzen wollte. Die Performance war auf meiner Hardware ähnlich schlecht, auch mit dem ganz aktuellem Solaris 11 Release von Oracle.

Den Beweis dafür liefern die offiziellen Benchmarks von Oracle welche absolut erschreckend sind. Da müssen zwei 6-Core CPUs im Wert von 2400€ ackern um Werte einer einzelnen 200€ 4-Core CPU unter Windows oder Linux zu erreichen. Ich vermute dass der sehr viel optimierbar ist, aber ob das irgendwann mal getan wird ist eine andere Frage.

Bei der nativen ZFS-Verschlüsselung von Oracle gehen die Übertragungsraten wirklich IMMENS in den Keller und das auch noch bei ständiger 100% CPU-Last!

I'm getting terrible results when benching my encrypted folder on my 10-disk RAIDZ2 of Samsung F4EG drives on Solaris 11.11.11, with 2 cores assigned to the VM on my Intel Xeon E3-1235:
............
Which gives us:
Write: 90.94 MB/s
Read: 52.366 MB/s

This is with the CPU maxed at 100% throughout.

Non-encrypted I get 600ish MB/s write and 900ish MB/s read.

Unter Linux mit dmcrypt ca. 10-15% Verlust in der Datenrate bei 15-30% CPU-Last.

Aber kannst das ja mal selber testen und uns deine Zahlen hier präsentieren, dann muss man sich hier nicht mehr allein auf meine Aussagen stützen wenn es mal wieder um dieses Thema geht.

Für einen Test reicht auch eine ganz normale Testinstallation mit Debian-Installer oder Ubuntu-Installer, da musst du keinen Aufriss mit encrypted Root machen. Generell reicht es eigentlich auch aus nur die Daten zu verschlüsseln da man auf dem Betriebssystem selber ja meistens nichts interessantes abspeichert. Von daher wäre der Weg ZFSonLinux+dmcrypt auch recht einfach. Du nimmst dir die aktuelle Ubuntu-Server-DVD und nutzt den Installer, fügst dann die ZFS-PPA hinzu und verwendest die Befehle die ich ein paar Beiträge vorher schon verlinkt habe zum Verschlüsseln, das dürfte nicht wirklich lange dauern.

Vielleicht ist es für einen Anfänger auch erst mal besser einfach die normale Ubuntu-Server-Installation zu machen. Das ist schneller und einfacher eingerichtet, da hast du dann auch alles bis auf die verschlüsselte Root-Partition die man ja eigentlich auch nicht braucht weil dort wie schon gesagt in der Regel keine relevanten Daten abgespeichert sind.
Wenn du dann später auch die Root-Partition verschlüsseln willst kannst du das immer noch nachträglich machen.
Siehe ZFS Stammtisch Post #2716.

Eigentlich sehr schade das die native ZFS-Verschlüsselung so lahm und inperformant ist da sie viel einfacher einzurichten ist. Vielleicht haben wir aber ja irgendwann mal in der quell-offenen Variante mal eine performantere Alternative für native ZFS-Verschlüsselung, die wird dann auch in ZoL integriert sobald sie in Illumos ist. Da aber anscheinend immer noch keine Gruppe oder eine Firma die Arbeiten dazu aufgenommen hat wird das wohl auch vor 2014 nichts mehr. Bis dahin bleibt für mich nur ZoL+dmcrypt.

Und sofern dann in 2-3 Jahren mal eine quell-offene und native ZFS-Verschlüsselung da ist wird wohl auch ZoL peformancemäßig alle Solaris- und BSD-Lösungen stark überholt haben und ähnlich bei Features und Bugfreiheit aufgestellt sein. Die Performance ist jetzt schon in vielen Teilen besser, die Hardwareunterstützung sowieso. Es fehlt noch der Feinschliff und das Bugfixing.

@gea: Kann man unter Solaris eigentlich auch die "System-Partition" verschlüsseln?

 

[gea]

@gea: Kann man unter Solaris eigentlich auch die "System-Partition" verschlüsseln?

Nicht dass ich wüßte.
Mit Verschlüssellung in ZFS (Oracle Solaris) kann das nicht gehen.
Mit lofiadm Verschlüssellung auf device-Ebene unterhalb ZFS (alle Solaris artigen) geht es auch nicht, da dazu auch erst ein laufendes Solaris benötigt wird. Man müsste schon Solaris darauf virtualisieren damit das ginge.

 

[UweObst]

Ja, sobald die Hardware eingetroffen, montiert und alles installiert ist (Photos etc. werde ich natürlich hier posten ), werde ich die konkreten Testwerte hier bekanntgeben.

Meine vorläufigen Tests mit einem betagten Notebook hinsichtlich der softwareseitigen Umsetzung der hier gemachten Vorschläge waren sehr vielversprechend. Momentan ist Ubuntu Server + ZoL + LUKS/dm-crypt mein Favorit und relativ schnell einzurichten. Zudem lässt sich unter Ubuntu auch relativ leicht und schnell das Root-Partition verschlüsseln, falls nötig. Das überlege ich mir aber noch, ob das überhaupt nötig ist.

 

[UweObst]

OT: Vollverschlüsselung mit Ubuntu 12.04

Ich habe mir nen Wolf zurecht gelesen und gedängelt, um das Ganze zu erreichen. Damit andere das nicht müssen, nachfolgend ein kurzes Tutorial:

1. Von Live-CD starten (ausprobieren, nicht installieren!; nachfolgend alles als root = sudo -s)
2. Festplatte mit gparted o.ä. partitionieren (bei mir /dev/sda)
   • 2 Partitionen (/dev/sda1 = ext3, mind. 256MB, boot als Label; /dev/sda2 = unformatiert, lvm als Label)
3. Verschlüsseln der lvm-Partition
   

   cryptsetup -c aes-xts-plain -s 512 luksFormat /dev/sda2
   cryptsetup luksOpen /dev/sda2 lukslvm

4. Erstellen der lvm-Partitionen
   

   pvcreate /dev/mapper/lukslvm
   vgcreate vgubuntu /dev/mapper/lukslvm

5. swap- und root-Partition erstellen
   

   lvcreate -L xxxM -n swap vgubuntu (xxx=RAM in MB*1,3)
   lvcreate -l 100%FREE -n root vgubuntu

6. Formatieren der swap- und root-Partition
   

   mkswap /dev/mapper/vgubuntu-swap
   mkfs.ext3 /dev/mapper/vgubuntu-root

7. Installation von Ubuntu 12.04
   • Unter Installationsart "Etwas Anderes" wählen
   • Mountpunkte setzen
     • /dev/sda1 -> ext3 und /boot
     • /dev/mapper/vgubuntu-root -> ext3 und /
8. Ins verschlüsselte System wechseln (als root ausführen!)
   

   mount /dev/mapper/vgubuntu-root /mnt
   mount /dev/sdX1 /mnt/boot
   mount -o rbind /dev /mnt/dev
   mount -t proc proc /mnt/proc
   mount -t sysfs sys /mnt/sys
   cp /etc/resolv.conf /mnt/etc/resolv.conf
   chroot /mnt /bin/bash

9. Nachinstallieren von lvm2 und cryptsetup
   

   apt-get install lvm2 cryptsetup

10. UUID herausfinden (von lvm-Partition) und in /etc/crypttab eintragen
    

    cryptsetup luksUUID /dev/sda2
    echo "lukslvm UUID=<VOLUME_ID> none luks" >> /etc/crypttab

11. dm-crypt-Modul hinzufügen
    

    echo "dm-crypt" >> /etc/modules

12. Kernel-Initramfs aktualisieren
    

    update-initramfs -u -k all

13. GRUB-Konfiguration aktualisieren
    

    GRUB_CMDLINE_LINUX_DEFAULT="kopt=root=/dev/mapper/vgubuntu-root"

14. Beenden/Neustart
    

    exit (danach mit root weiter!)
    sync
    umount /mnt/sys
    umount /mnt/proc
    umount /mnt/dev/pts
    umount /mnt/dev
    umount /mnt/boot
    umount /mnt
    lvchange -a n vgubuntu
    cryptsetup luksClose lukslvm
    reboot

 

[UweObst]

Hallo,

beruflicherseits musste mein Vorhaben lange Zeit ruhen.

Um jetzt endlich auch zu einem Ergebnis zu kommen, wollte ich fragen:

a) Ist die Liste von GrafikTreiber für den Homeserver noch up to date?

b) Welche Festplatten würdet Ihr empfehlen (2 oder mehr TB; möglichst leise)?

Für das Software-Raid möchte ich Linux (Ubuntu Server) mit ZFS und LUKS verwenden.

Danke im Vorsus!

 

[UweObst]

Push

 

[FserPHzo]

b) Welche Festplatten würdet Ihr empfehlen (2 oder mehr TB; möglichst leise)?
Danke im Vorsus!

Western Digital Red 3000GB, SATA 6Gb/s (WD30EFRX) Preisvergleich | Deutschland - Hardwareluxx - Preisvergleich

 

[UweObst]

Western Digital Red 3000GB, SATA 6Gb/s (WD30EFRX) Preisvergleich | Deutschland - Hardwareluxx - Preisvergleich

Danke!

Was sagt Ihr (z.B. gea, GrafikTreiber) zu den Komponenten des Servers?

 

[GrafikTreiber]

Du hast "Glück" dass ich hier gerade zufällig rein schaue, bin eigentlich nicht mehr hier aktiv. Ständig die selben Fragen, zu viele inkompetente Antworten, keiner liest mal zwei Seiten weiter, es hat einfach keinen Zweck, ich habe es aufgegeben, die Welt kann ich wo anders effektiver verbessern.
Gutes Beispiel: http://www.hardwareluxx.de/communit...ver-verschluesselung-media-backup-959645.html Zum Glück schreitet untertackter2004 ein und gebietet der Quacksalberei Einhalt.

Festplatten sollte man so groß wie möglich kaufen da jeder SATA-Anschluss Geld kostet (bei mir 60€ pro Festplatten-Slot, teile einfach die kompletten Hardwarekosten durch die Anzahl an Festplatten-Einschüben, wirst sicherlich bei 50 bis 60€ landen) und trotz höherer TB/€-Preise dadurch quasi das selbe wie 3TB HDDs kosten, Stichwort TCO, also Beispiel hier auch der Abschnitt "Storage Costs" in http://blog.backblaze.com/2013/02/20/180tb-of-good-vibrations-storage-pod-3-0/ , ist in etwa in der Mitte, Suchfunktion nutzen.
HGST Deskstar 7K4000 4000GB, SATA 6Gb/s (HDS724040ALE640/H3IK40003272SW)
Reds sind eigentlich hauptsächlich Marketing-Platten für mit den WD versucht den Consumer mehr Geld aus der Tasche zu locken. Kauf dir die Hitachis, es hat schon einen Grund warum die in den meisten professionellen Builds für "Cheap Storage" verwendet werden. Haben 3 Jahre Garantie und sind nebenbei auch noch viel performanter ohne dadurch laut und warm zu sein, siehe Reviews.

Auf was wolltest du jetzt eigentlich setzen, Sockel 1155 oder 2011? Kann das gerade auf die schnelle nicht mehr finden. Sofern du meine Sockel 2011 Empfehlung meinst, das ist noch ganz aktuell.

Sofern du 1155 meinst, lies hier weiter:
Die Hardware ist nicht mehr ganz aktuell, nun gibt es schon Haswell, die Boards dafür fehlen aber noch, sind erst in den nächsten Wochen verfügbar, suche dir also ein passendes Board ( X10SLH-F oder X10SLL-F oder X10SLM-F oder X10SLM+-F, die Ausstattung ist etwas unterschiedlich) und eine Haswell-CPU heraus.
Bedenke aber dass eventuell die neuen Netzwerkkarten mit alten Kernel-Versionen nicht laufen. Es kann durch aus sein dass sich das mit den Boards noch bis August oder länger hinzieht, ich habe damals 5 Monate auf mein Sockel 2011 Board gewartet weil Supermicro den Termin immer wieder verschoben hatte.

Wenn du also ein System haben willst mit dem du sofort und problemfrei los legen kannst, kauf dir vorher bereits empfohlene Hardware. Haswell ist jetzt kein riesiger Sprung, eher ein kleiner Babyschritt, von daher ist es absolut nicht tragisch nicht die neuste Hardware zu haben.

Überrings gibt es nun ZFSonLinux Pakete direkt für Debian Wheezy, du musst also keinen Murks wie Ubuntu verwenden.

 

[UweObst]

Du hast "Glück" dass ich hier gerade zufällig rein schaue, bin eigentlich nicht mehr hier aktiv. Ständig die selben Fragen, zu viele inkompetente Antworten, keiner liest mal zwei Seiten weiter, es hat einfach keinen Zweck, ich habe es aufgegeben, die Welt kann ich wo anders effektiver verbessern.
Gutes Beispiel: http://www.hardwareluxx.de/communit...ver-verschluesselung-media-backup-959645.html Zum Glück schreitet untertackter2004 ein und gebietet der Quacksalberei Einhalt.

Das finde ich sehr schade. Ich habe Deine konstruktiven Beiträge immer mit Aufmerksamkeit gelesen. Zudem hatte ich das Gefühl, dass Du weißt, wovon Du sprichst. Also lass Dich nicht frustrieren

Festplatten sollte man so groß wie möglich kaufen da jeder SATA-Anschluss Geld kostet (bei mir 60€ pro Festplatten-Slot, teile einfach die kompletten Hardwarekosten durch die Anzahl an Festplatten-Einschüben, wirst sicherlich bei 50 bis 60€ landen) und trotz höherer TB/€-Preise dadurch quasi das selbe wie 3TB HDDs kosten, Stichwort TCO, also Beispiel hier auch der Abschnitt "Storage Costs" in Backblaze Blog » 180TB of Good Vibrations – Storage Pod 3.0 , ist in etwa in der Mitte, Suchfunktion nutzen.
HGST Deskstar 7K4000 4000GB, SATA 6Gb/s (HDS724040ALE640/H3IK40003272SW)
Reds sind eigentlich hauptsächlich Marketing-Platten für mit den WD versucht den Consumer mehr Geld aus der Tasche zu locken. Kauf dir die Hitachis, es hat schon einen Grund warum die in den meisten professionellen Builds für "Cheap Storage" verwendet werden. Haben 3 Jahre Garantie und sind nebenbei auch noch viel performanter ohne dadurch laut und warm zu sein, siehe Reviews.

Ja, das hatte ich mir auch gedacht. Die Reds locken schon mächtig, erweisen sich dann aber als Papiertiger. Und nachdem sich die Festplattenpreise wieder normalisiert haben, geht das auch wieder.

Auf was wolltest du jetzt eigentlich setzen, Sockel 1155 oder 2011? Kann das gerade auf die schnelle nicht mehr finden. Sofern du meine Sockel 2011 Empfehlung meinst, das ist noch ganz aktuell.

Sofern du 1155 meinst, lies hier weiter:
Die Hardware ist nicht mehr ganz aktuell, nun gibt es schon Haswell, die Boards dafür fehlen aber noch, sind erst in den nächsten Wochen verfügbar, suche dir also ein passendes Board ( X10SLH-F oder X10SLL-F oder X10SLM-F oder X10SLM+-F, die Ausstattung ist etwas unterschiedlich) und eine Haswell-CPU heraus.
Bedenke aber dass eventuell die neuen Netzwerkkarten mit alten Kernel-Versionen nicht laufen. Es kann durch aus sein dass sich das mit den Boards noch bis August oder länger hinzieht, ich habe damals 5 Monate auf mein Sockel 2011 Board gewartet weil Supermicro den Termin immer wieder verschoben hatte.

Wenn du also ein System haben willst mit dem du sofort und problemfrei los legen kannst, kauf dir vorher bereits empfohlene Hardware. Haswell ist jetzt kein riesiger Sprung, eher ein kleiner Babyschritt, von daher ist es absolut nicht tragisch nicht die neuste Hardware zu haben.

Deine 1155-Empfehlung habe ich, aber Deine 2011-Empfehlung habe ich nicht finden können. Besteht Deinerseits die Möglichkeit, mir diese zur Verfügung zu stellen? Das wäre prima! Vielen Dank im Voraus!

Nö, Haswell muss nicht sein. Momentan brauche ich weder den minimalen Geschwindigkeitsvorteil noch die Grafikleistung. Wäre to much für meinen geplanten Einsatzzweck.

Überrings gibt es nun ZFSonLinux Pakete direkt für Debian Wheezy, du musst also keinen Murks wie Ubuntu verwenden.

Mit Ubuntu habe ich Erfahrungen gesammelt; Debian wäre der nächste Schritt

 

[Loopman]

Nö, Haswell muss nicht sein. Momentan brauche ich weder den minimalen Geschwindigkeitsvorteil noch die Grafikleistung. Wäre to much für meinen geplanten Einsatzzweck.

Der niedrige IDLE Verbrauch könnte interessant sein....

Überrings gibt es nun ZFSonLinux Pakete direkt für Debian Wheezy, du musst also keinen Murks wie Ubuntu verwenden.

Am WE mal probiert.... ist aber noch ziemlich nah dran an Murks.
Ist auf 2 verschiedenen Rechnern nicht sauber installiert worden.... und bin wohl nicht der einzige. Hat aber Potential.

 

[GrafikTreiber]

Das finde ich sehr schade. Ich habe Deine konstruktiven Beiträge immer mit Aufmerksamkeit gelesen. Zudem hatte ich das Gefühl, dass Du weißt, wovon Du sprichst. Also lass Dich nicht frustrieren

Vielen Dank für das Lob. Habe auch vorhin zwei PMs von anderen Usern diesbezüglich bekommen und werde daher vielleicht wieder hier und da ein paar Sachen schreiben.

Deine 1155-Empfehlung habe ich, aber Deine 2011-Empfehlung habe ich nicht finden können. Besteht Deinerseits die Möglichkeit, mir diese zur Verfügung zu stellen? Das wäre prima! Vielen Dank im Voraus!

Habe ich in http://www.hardwareluxx.de/communit...ltimedialem-mehrwert-934234.html#post19948083 drüber gesprochen, da gehe ich auch auf den wesentlichen Unterschied für einen Fileserver von Sockel 2011 auf Sockel 1155, die PCIE-Lanes, ein. Die weiteren Beiträge sind vielleicht auch ganz interessant, Stromverbrauch und warum höhere Leistung bei höherem Verbrauch effektiv doch am Ende fast gleich viel Strom wie die "Stromspar-CPUs" verbrauchen, Festplatten- und Zpool-Aufteilungen, USVs... einfach mal den Thread durchlesen.

Mit Ubuntu habe ich Erfahrungen gesammelt; Debian wäre der nächste Schritt

Ubuntu basiert auf Debian, du kannst deine Erfahrung quasi fast vollständig weiter nutzen. Debian ist deutlich stabiler und wird im professionellem Umfeld weitaus eher eingesetzt als Ubuntu. Arbeite also lieber gleich mit dem Original.

Der niedrige IDLE Verbrauch könnte interessant sein....

Naja, nicht wirklich viel und unter Last sogar teilweise schlechter, siehe Computerbase: Intel „Haswell“-Prozessor für Desktop-PCs im Test. Haswell ist meiner Meinung nach also absolut kein Muss.

Das gleiche Bild wie bei der Messung in Cinebench bei Auslastung aller Kerne zeigt sich auch in Prime95, wenn man den Prozessor ans Limit bringt. Auch hier liegt Haswell auf dem Niveau von Sandy Bridge, was keinesfalls schlecht ist, aber gegenüber dem direkten Vorgänger ein Rückschritt darstellt.

Am WE mal probiert.... ist aber noch ziemlich nah dran an Murks.
Ist auf 2 verschiedenen Rechnern nicht sauber installiert worden.... und bin wohl nicht der einzige. Hat aber Potential.

Sorry, aber klarer Fall von PEBKAC. Das ist eindeutig ein Layer8-Problem.
Was meinst du mit "nicht sauber installiert worden" ? Die Pakete sind für Debian 7, nicht 6! Alternativ compiliert man halt von Hand, das ist auch in unter 5 Minuten getan. Wie wäre es mal mit einer Fehlermeldung oder einem Bugreport? Ich habe diese Pakete bereits auf mehreren unterschiedlichen Servern installiert, genau wie auch schon tausende andere Nutzer.

 

[Loopman]

Sorry, aber klarer Fall von PEBKAC. Das ist eindeutig ein Layer8-Problem.

Nein, nicht unbedingt.

Was meinst du mit "nicht sauber installiert worden" ? Die Pakete sind für Debian 7, nicht 6!

Schon klar.... habs auf 2 frischen Wheezy Installationen getestet, einmal ein Dell Laptop, und auf einem Dell Desktop.
Ich gebe zu, all zu viel Zeit habe ich nicht investiert, wollte es nur mal kurz antesten.
Mit nicht "sauber installiert" meine ich, das während der Installation mehrere Fehler aufgelaufen sind.

Wie wäre es mal mit einer Fehlermeldung oder einem Bugreport?

Wie gesagt, war nur ein kurzer Test, hab erst am WE mehr Zeit um mich mit dem Thema zu befassen.

Ich habe diese Pakete bereits auf mehreren unterschiedlichen Servern installiert, genau wie auch schon tausende andere Nutzer.

Das ist schön, hilft mir aber in dem Fall nicht weiter
Am Wochenende bin ich schlauer, da kann ich mich dann auch um die Fehlermeldungen kümmern. Händisch installiert habe ich den ZFSonLinux Spaß ja schon ebenfalls ohne Probleme, der Murks bezog sich auf die bereitgestellten Debian-Pakete. Auf einem frisch installierten und funktionierendem Wheezy bin ich halt erst mal davon ausgegangen, das es direkt ohne Probleme läuft.... und das tat es halt nicht. Woran es auch immer liegt. Ich werde sicher wieder berichten...

 

[UweObst]

So, folgende Konfiguration wird jetzt bestellt:

1 x SanDisk Extreme II für Desktops 120GB, 2.5", SATA 6Gb/s (SDSSDXP-120G-G26)
1 x Intel Xeon E5-1620, 4x 3.60GHz, Sockel-2011, tray (CM8062101038606)
2 x Kingston ValueRAM DIMM 16GB PC3-12800R reg ECC CL11 (DDR3-1600) (KVR16R11D4/16)
2 x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)
1 x Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O)
4 x LSI 3ware mini SAS x4 (SFF-8087) Kabel, 0.6m (CBL-SFF8087-06M)
4 x DeLOCK SATA-Stromadapter 15pin (SATA) auf 2x 4pin (IDE), Y-Kabel (65159)
3 x be quiet! Silent Wings 2 120mm (BL062)
2 x be quiet! Silent Wings 2 80mm (BL060)
1 x Supermicro SNK-P0050AP4
1 x Inter-Tech 4U-4316L, 4HE
1 x be quiet! Dark Power Pro 10 550W ATX 2.31 (P10-550W/BN200)
1 x Inter-Tech 88887052, Inter-Tech Lüfterblende

HDD = HGST Deskstar 7K4000 4000GB, SATA 6Gb/s (HDS724040ALE640/H3IK40003272SW)

 

[LichtiF]

Ich würde eher 16er Module nehmen kosten ca 110-115 pro Modul.

Wobei das wohl bei der Gesamtmenge nicht viel ausmacht

 

[millenniumpilot]

Hallo,

auch ich habe mich an die Empfehlung von Grafiktreiber gehalten, es ist also hoffentlich nicht alles Umsonst gewesen ;-)
Bin sehr zufrieden damit und sollte hoffentlich für die nächsten Jahre reichen, RAM-Aufstockung auf 128GB ist ja noch möglich bei mir. Allein die Lüftersteuerung des X9SRL macht mir leichtes Kopfzerbrechen, ist aber kein Beinbruch. Konnte mir mit langsamlaufenden Nicht-PWM-Lüftern behelfen.
Mit meiner Ausstattung (siehe Signatur) zieht der Server bei schlafen gelegten Datenplatten, aber noch 8 laufenden VMs (Datastore auf SSD) nur 92W. Das find ich recht human für die gebotene Leistung. Mit laufenden Platten sind es 150W und mit etwas Action 180..200W.

Edit: entgegen der Angabe in der Signatur befinden sich im ESX1 noch 5 weitere Datenplatten, ist aber nur Kleinkram, habs daher nicht weiter aufgezählt. Nur falls sich jemand über die 150W bei nur 10 Platten wundert.

 

[LichtiF]

Danke für die Info das ist interessant mit dem Verbrauch da ich immer noch überlege was ich nehme Desktop Hardware oder Supermicro + Xeon.

Ich brauche halt nur Storage für meine VMs und die werden wohl auf meinem N40L als Zentraler Storage liegen da ich Hyper-V, Vmware usw Testen will.

Welche SSD benutzt du für deine VMs ?

 

[millenniumpilot]

Samsung 840 Pro. Die VMs werden täglich gesichert.