gibs erfahrungen mit 6 * wd20ears hdds im raid 5

[ulukay]

die 300mb/s sind durch die 4 cryptothreads beim lesen limitiert
bzw 250-290mb/s beim schreiben durch 6 cryptothreads + sw raid6.
ergo CPU
ist bei meinem board kein grosses thema, wenn der bulldozer kommt koennt ich einen reinknallen

das "/dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX1" habe ich ausgetauscht. normalerweise steht da die modellbezeichnung der hdd sowie deren seriennummer. ergo isses auch egal wo/wie sie angeschlossen ist. wenn linux die platte erkennt wird sie auch ansprechbar sein

cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX1 samsung1 --key-file /keyfile
cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX2 samsung2 --key-file /keyfile
cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX3 samsung3 --key-file /keyfile
cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX4 samsung4 --key-file /keyfile
cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX5 samsung5 --key-file /keyfile
cryptsetup luksOpen /dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX6 samsung6 --key-file /keyfile
sleep 5
mdadm --assemble /dev/md3 /dev/mapper/samsung1 /dev/mapper/samsung2 /dev/mapper/samsung3 /dev/mapper/samsung4 /dev/mapper/samsung5 /dev/mapper/samsung6

 

[su]

wie ich schon sagte, genial. kein gefummle mit sda sdb sdc usw.

luks hat die platten komplett in beschlag? gibts da keine partitionen mehr?
also muss ich wenn ichs für partitionen verwenden will schreiben
/dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX-part1 und so weiter?

 

[ulukay]

wie ich schon sagte, genial. kein gefummle mit sda sdb sdc usw.

luks hat die platten komplett in beschlag? gibts da keine partitionen mehr?

ja.
keine partitionen, wofuer denn auch

also muss ich wenn ichs für partitionen verwenden will schreiben
/dev/disk/by-id/scsi-SATA_SAMSUNG_HD20-XXXX-part1 und so weiter?

genau, die partitionen werden mit part1 bis partXY angefuehrt.

 

[su]

kannst du mal die parameter oder am liebsten gleich kompletten befehle fürs erzeugen dieses raid posten, also für luks mdadm mkfs und was man sonst noch braucht?
besonders chunk size, align-payload, stripe width und dergleichen und natürlich welches fs das ist, also ext4 oder xfs oder btrfs oder sonstiges.
hier macht nämlich jemand einen bench und kommt im allerbesten fall beim raid5 mit 4 platten nur auf 180MB/s lesend und 120 schreibend und beim raid6 mit 6 platten nur auf 200 lesend und 100 schreibend. und bei parametern direkt daneben bricht ihm nochmal über die hälfte der leseleistung weg.

 

[ulukay]

aehm
die weiss ich ja jetzt nicht mehr

beim erstelln vom raid hab ich nur eines definiert - 128k chunk size. sonst nix

fuer xfs gibts ein script mit dem man sich ein paar werte ausrechnen kann
ganz oben blocksize, chunk size, platten anzahl und raidlevel definieren

#!/bin/bash
BLOCKSIZE=4096 # Make sure this is in bytes
CHUNKSIZE=128  # Make sure this is in KiB
NUMSPINDLES=6
RAID_TYPE=6
RAID_DEVICE_NAME="/dev/md3" # Specify device name for your RAID device
FSLABEL="samsungdaten" # specify filesystem label for generating mkfs line here

case "$RAID_TYPE" in
0)
    RAID_DISKS=${NUMSPINDLES};
    ;;
1)
    RAID_DISKS=${NUMSPINDLES};
    ;;
10)
    RAID_DISKS=${NUMSPINDLES};
    ;;
5)
    RAID_DISKS=`echo "${NUMSPINDLES} - 1" | bc`;
    ;;
6)
    RAID_DISKS=`echo "${NUMSPINDLES} - 2" | bc`;
    ;;
*)
    echo "Please specify RAID_TYPE as one of: 0, 1, 10, 5, or 6."
    exit
    ;;
esac

SUNIT=`echo "${CHUNKSIZE} * 1024 / 512" | bc`
SWIDTH=`echo "$RAID_DISKS * ${SUNIT}" | bc`

echo "System blocksize=${BLOCKSIZE}"
echo "Chunk Size=${CHUNKSIZE} KiB"
echo "NumSpindles=${NUMSPINDLES}"
echo "RAID Type=${RAID_TYPE}"
echo "RAID Disks (usable for data)=${RAID_DISKS}"
echo "Calculated values:"
echo "Stripe Unit=${SUNIT}"
echo -e "Stripe Width=${SWIDTH}\n"
echo "mkfs line:"
echo -e "mkfs.xfs -b size=${BLOCKSIZE} -d sunit=${SUNIT},swidth=${SWIDTH} -L ${FSLABEL} ${RAID_DEVICE_NAME}\n"
echo "mount line:"
echo -e "mount -o remount,sunit=${SUNIT},swidth=${SWIDTH}\n"
echo "Add these options to your /etc/fstab to make permanent:"
echo "sunit=${SUNIT},swidth=${SWIDTH}"

raus kommt dann das optimale mkfs.xfs commando sowie auch die mountoptionen

der da oben im link hat einfach nur einen billigen mistcontroller verwendet. der kommt im raid0 mit windows auch nur auf 250mb/s lesen.
ich verwende 6 native sata 6gbit/s anschluesse des mainboards
wenn ich 6x badblocks ausfuehre, liefert jede platte ueber 100mb/s am anfang

 

[su]

danke fürs skript
das mit dem chunk werde ich dann auch so machen.

gut zu wissen dass einfach der controller schwach war. wobei der konnte sata2 und mein mainboard (da will ichs native anschließen) hat auch nur sata2 mit 3gbit/s. habe ich da ein problem?
klappt das mit dem raid auch wenn alle raid-devices partitionen derselben ssd sind? dann könnte ich gleich auch noch meine ssd zum raid0 machen und wäre diesen lästigen luks flaschenhals los außerdem wäre sonst mein hdd-raid viel schneller als meine ssd, das wär peinlich für letztere

bei dir ist alles xfs? /daten sehe ich, aber auch /, /home, /boot usw?
ist da noch ein lvm zwischen raid und dateisystemen? wenn ja wie groß sind dann die dateisysteme und ist noch platz ohne dateisysteme? weil xfs kann man ja nicht mehr kleiner machen.

 

[su]

@ulukay: push (s.u.)

alles xfs? /daten sehe ich, aber auch /, /home, /boot usw?

ist da noch ein lvm zwischen raid und dateisystemen?

wenn ja wie groß sind dann die dateisysteme und ist noch platz ohne dateisysteme? weil xfs kann man ja nicht mehr kleiner machen.