Strom Optimierung des Fileservers (sandy, 10 Disks}

D

debauer

Enthusiast
Thread Starter
Mitglied seit
25.05.2006
Beiträge
2.829
Moinsen, ich möchte meinen Fileserver gerne mal etwas optimieren. Habe derzeit rund 140W verbrauch (geschätzt - mess die woche nochmal).
Grade was Board und CPU angeht sollte noch so einiges machbar sein. Konnte da bisher rein gar nix einsparen. Würde auch Hardware austauschen. Wollte mir eh noch ne kleine Workstation für Hardware Entwicklung hinstellen.

Derzeit:
ASUS P8H67-V Rev 3.0
Intel Pentium G630T
LSI SAS HBA
6x 2TB Samsung (green) Raid 6
4x 1,5TB Samsung (7200er) Raid 5
16GB SSD für System
LTO4 an SCSI HBA

genutzt wird der Server fast als reiner Fileserver. Debian Squeeze, Arrays Cryptet, Softraid. Macht derzeit bei gleichzeitigem UP/DOWN bis zu 100mb/s. In eine richtung meist nur rund 50mb/s. Leistungs begrenzung liegt da wohl eher an den Clients.

Ich möchte aufjedenfall die 1,5er platten bald austauschen.
Am kostengünstigsten wäre das Raid 6 auf 8 Platten zu erweitern. Gleicher platz, weniger platten, verbrauchärmere platten.

Mein ziel ist mit möglichst wenig neuem Kapital unter 100W zu kommen. Umschichten in andere systeme ist natürlich drin ;)

Hat jemand erfahrungen mit Hotplug von SCSI? Würde das LTO4 gerne bei nicht gebrauch abschalten. zieht selbst im idle über 10w.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Nur SCA (80 pol. SCSI) und FC-AL Platten haben Hotswap. Dein LTO4 Laufwerk hat einen ganz normalen 68 poligen U320 SCSI-Anschluss. Der Stromstecker ist extra als normaler Molex ausgeführt. Wenn du möglichst wenig bei den HDDs brauchen willst, nimm die neuen 7200.14 von Seagate mit 3TB, sofern du immer aktuelle Datensicherungen hast, und dir das 2400 Betriebsstunden Limit pro Jahr ausreichend ist. Und deine LSI Controller auch kein Problem mit 4k Sektor HDDs haben.
 
Zuletzt bearbeitet:
Einer der Stromschlucker wird evtl auch dein LSI Controller sein.

Der PERC 5, der in meinem Fileserver sitzt und auch nen LSI Chip unter der Haube hat, zieht leider fast 30W.
 
PCIe ist - wie PCI - auf 25 Watt begrenzt. Nur für PEG sind 75W + extra Stromstecker erlaubt.

Was er hingegen machen kann, ist den älteren SCSI HBA zusammen mit dem LTO4 Laufwerk in einen anderen Rechner zu verbannen, sofern dieser entsprechende schnelle HDDs fürs zwischenspeichern hat oder er 100MB/sec über Gbit Ethernet (oder auch FC?) sicherstellen kann.
 
Ein Backup Server habe ich schon angedacht. 100mb/s schaff ich derzeit ned.
Da ich möglichst Raid5 besser Raid6 fahren möchte kommen 3TB platte derzeit noch ned in frage.
Denkbar wäre die 1,5er Platte zu behalten und nen Backupserver parallel aufzubauen.
Aber auch hier sollte dann alles wieder cryptet sein und das drückt etwas die performance.

Der LSI sollte ned soviel verbrauchen. Das istn IBM ServeRAID BR10i mit LSI 1068E Chip.

Welche Boards wären den empfehlenswert? bzw Welche chipsätze?
CPUs kommen fast nur 2 andere in frage:
i5-2390T & i5-2500T
Da beide eas-ni haben und entsprechend niedrige TDPs.

Als Backupserver hätte ich nur noch mein Dual Hexacore rumstehen. Alles andere hat kein PCIx. PCIe SCSI HBAs kosten mir zuviel. könnt mir in arsch beisen das ich mein vor nem jahr verkauft hab.
 
Moin,

sieh zu dass wenn du dm-crypt oder Truecrypt benutzt, einen Prozesor mit AES-NI kaufst. Ich hab gute Erfahrungen mit dem kleinen Xeon für Sockel 1155 gemacht.

Ansonsten solltest du nicht viel quatschen, sondern deine /etc/sysctl.conf posten und uns deine Mountoptionen zeigen. Dazu gehört, welches Dateisystem du einsetzt und wir brauchen eine Abschätzung von dir wie wichtig dir Stromverbrauch vs Datensicherheit vs Maximaldurchsatz ist.

Es gibt soviel, dass tunebar ist. Aber alles geht zu Lasten etwas anderen :) An die Hardware würde ich zuletzt gehen.

Grüße

EDIT: Führ dir das mal zu Gemüte:

Linux Fileserver Optimierung :: Debian
Maximaldurchsatz der modifizierten Seagate Dockstar optimieren :: Hacks (nur exemplarisch, das sind Optimierungen für 256MB RAM)
http://falkhusemann.de/blog/2011/01/debian-spezialkernel-fur-fileserver-raidcrypto/
 
Zuletzt bearbeitet:
An AES-NI hat er schon gedacht, ein Intel DX79SI wär vielleicht interessant? ;)

Auch wenn ich es nur ungern empfehle: Hast du schon mal an eine U160 SCSI Karte gedacht, welche durch den PCI 64bit 5Volt kompatiblen 33/66MHz Anschluss in der Regel auch in einem normalen 5Volt 32bit 33MHz PCI-Slot funktioniert? Zumindest ~ 80-120MB/sec sollten damit bei aktuelleren Boards erreichbar sein, sofern nicht zu viel Müll mit an dem Bus intern dran hängt. Wenn es nur ein HH Laufwerk ist und schön herunter bremst, dürfte das gerade noch ausreichen ohne aktivierter Laufwerkskomprimierung.
 
@bluesunset
Ich weis ja ned was du fürn geldscheisser hast, ich habe keinen. :drool:
Das LTO4 hat mich in tadellosem Zustand mit inzwischen 8 Tapes rund 350Euro gekostet.
SAS bin ich gebraucht locker das 2-3fache los, ohne Tapes.

@josen
Das System ist noch komplett unoptimiert.
Habe bisher mehrmals die Basis gewechselt. Was bei Linux ja innerhalb einer Stunde inkl aller Installation möglich ist.
die sysctl.conf ist dementsprechend noch standard.

Ich nutze DM-Crypt.

Code: 
root@debauer-filer:~# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md126 : active raid5 sdb1[0] sde1[4] sdd1[2] sdc1[1]
      4395406848 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

md127 : active raid6 sdh1[0] sdg1[5] sdf1[4] sdk1[3] sdj1[2] sdi1[1]
      7814051840 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/6] [UUUUUU]

unused devices: <none>

Code: 
Dateisystem           Size  Used Avail Use% Eingehängt auf
/dev/sda2              14G  2,1G   11G  16% /
tmpfs                 4,0G     0  4,0G   0% /lib/init/rw
udev                  4,0G  196K  4,0G   1% /dev
tmpfs                 4,0G     0  4,0G   0% /dev/shm
/dev/mapper/raid6     7,3T  6,3T 1018G  87% /media/media
/dev/mapper/raid5     4,1T  3,3T  602G  85% /media/raid5


zum LTO4
Bisher habe ich noch keine vernünftige Backup Lösung gefunden. Per Bashscript finde ich das alles sehr mühselig.
Am PCI Bus hängt sonst nix. Derzeit ists haltn einfacher U320 PCIx Controller.
Bin da eigentlich immer bereit für anständige Software auch was auszugeben. Windows käme auf nem Backupserver auch in Frage.

nachtrag:
Code: 
/dev/mapper/raid6: UUID="5e8af224-e5fb-48b0-a5d5-cf234eb71c9b" TYPE="xfs"
/dev/mapper/raid5: UUID="143decb9-070f-4808-8ab0-938a78546f0f" TYPE="ext4"
 
Zuletzt bearbeitet:
Ich rede jetzt mal nicht von meinen FC-Ports ;)
Aber der Preis fürs Laufwerk war dann wirklich mehr als in Ordnung. Da brauchst dich dann auch nicht über die 10+ Watt für den SCSI-Controller aufregen.

Baccula oder Amanda sind bisher die Standard Lösungen gewesen. Ob sich das inzwischen geändert hat, kA.
 
Moin,

fehlt immernoch die Einordnung Stromsparen vs. Datensicherheit vs. Maximaldurchsatz. Am besten mit Prozentangaben, dann kann ich dir heut abend mal was empfehlen :)

Grüße
 
Stromsparen sehr wichtig.
Maximaldurchsatz unwichtig. (auser fürs tape backupen) 50mb/s waren bisher immer ausreichend. Auch weniger wäre noch ok. Denke bis 30mb/s.
Datensicherheit: ca 1,5TB sehr wichtig. Rest könnte ich verschmerzen. Würde aber sehr lange dauern das alles wieder zu beschaffen. Unter anderem über 300 DVDs und unzählige CDs neu Digitalisieren...

Baccula und Amanda sehen beide sehr interessant aus. Habe noch ABIT Il-90MV + CoreDuo T2050 hier rumfahren. Wenn der Speed eines PCIx HBAs über 32Bit PCI ausreicht wäre das ja ne idee.
 
Viele (alle?) U320 sind leider nur für 3,3Volt PCI(-X) Steckplätze gedacht, weswegen mit der Codierung des Steckers diese nicht in die 32bit 5Volt Slots rein passen. Bei den U160 ist in der Regel - wie auch bei den Intel PCI-X Netzwerkkarten - die Kerbe um auch in 5Volt Slots zu funkionieren. Das dein Laufwerk so weit herab bremst wage ich mal zu bezweifeln, das ist eher der Bereich von LTO3.


Wenn es wirklich nur 1,5TB an wichtigeren Daten sind, würde ich da drei Seagates 7200.14 3TB als three way mirror unter FreeBSD 9 einrichten. Sofern ähnlich sparsame und vor allem zuverlässigere HDDs verfügbar sind, natürlich diese verwenden!
Den Datenbestand der CDs und DVDs würde ich ggf. auf je zwei LTO4 Bänder wegsichern und im Schrank stehend einlagern. Im Falle der DVDs würde sich ggf. eine Umcodierung mittels fmpeg in x264 anbieten und bei den CDs FLAC, wenn es nicht eh nur Ogg Vorbis oder MP3 Dateien sind.
Vielleicht kannst du auch deine Daten dahin gehend sortieren: Häufig benutzt und weniger benutzt und entsprechend auf zwei verschiedene Raid sets verteilen. Wobei das eine dann halt die Disks meistens schlafend legt.
 
wieso denn immer die Seagates? Und ich möchte auf keinen fall ein anderes OS aufm Server. Ich arbeite nur mit Debian Squeeze. Auch auf unsren Servern im RZ.

Ich hab schon über eine andere Verteilung nachgedacht. Aber das haut einfach ned hin. Meist brauch ich beide Raids.

Die Medien wollte ich eigentlich komprimiert auf die Tapes legen. und alle paar monate en neues Fullbackup erstellen. Soviel tut sich da ja ned. Kauf im Monat vllt 10-20 neue DVDs und en paar CDs.

Ich glaub es wird wirklich en Backup Server.
Das LTO4 + die 1,5er Platten im Raid 5. Kann ich vllt in die Hausautomatisierung integrieren (starten per WOL, scripte anwerfen und wieder ausschalten).
 
ZFS verteilt bei einem Mirror die Lesezugriffe (bei drei HDDs also theoretisch dreifache Datendurchsatz). Und bei drei HDDs ist es auch eher unwahrscheinlich dass wenn eine gerade ausgefallen ist, zwei HDDs den selben defekten Sektor aufweisen.

Backups komprimiert man nicht zusätzlich (außer man macht z.B. genug inkrementelle Backups bei Datenbanken). Da du ja anscheinend auch gerne XFS als Dateisystem verwendest, würde ich dir xfsdump nahe legen.
xfsdump(8) and xfsrestore(8) are recommended for making copies of XFS filesystems.
Zum Vergrößern anklicken....
 
Steggi schrieb:
Einer der Stromschlucker wird evtl auch dein LSI Controller sein.

Der PERC 5, der in meinem Fileserver sitzt und auch nen LSI Chip unter der Haube hat, zieht leider fast 30W.
Zum Vergrößern anklicken....
Huch? Ich habe von meinen Messungen vor einiger Zeit eher so 15-17W im Hinterkopf. Aber gut, so richtig wenig ist das so oder so nicht...

Was die SCSI-HBAs und PCI angeht gäbe es zB immer noch den Adaptec 29160N für ganz schmales Geld - das Ding hat läuft als PCI32-Karte mit Sicherheit in einem normalen PCI-Slot, bei PCI-X muss einerseits die Codierung der Karte passen (=die Karte muss 5V können) und dann darf hinter dem PCI-Slot auch nichts im Weg sein.
Bisher habe ich nur 2 Karten so betrieben, zum einen so einen alten HP RAID-Conti und aktuell eine Intel 1000MT Dual auf meinem P7P55D - in beiden Fällen läuft's, aber der Durchsatz ist natürlich relativ für den Allerwertesten...
btw: Die Adaptec 29320 laufen iirc auch in 5V-Slots
 
@JensS: Das kann auch einfach ne Messtolleranz sein, da ich die Werte nur aus der USV auslesen kann...
 
Ah, okay, ich hatte mit so einem Dazwischen-Steck-Messgerät gemessen, das wird also auch nicht auf's Watt genau sein, aber wie gesagt - so ein Conti frisst so oder so ganz schön...
 
So jungs, lag die Tage Krank im Bett. Habe mich etwas mehr mit andern dingen beschäftigt.
Heute möchte ich aber den Server mal angehen und mal die Verbräuche differenzieren.

Ich habe aber schon eines beschlossen.
Ich werde nicht wie teilweise angedacht den Storage auf Filer und HTPC verteilen, sondern den HTPC in den Filer integrieren.
Habe dafür schon 15m HDMI und 5m DVI kabel gekauft. HDMI geht wieder zum Fernseher und DVI zu nem 22" an meinem Arbeitsplatz.
Server/HTPC kann so weiterhin im nebenraum (Werkstatt) stehen bleiben und verursacht so kein Lärm.

Fernbedienung ist eine Dinovo Edge, der macht die entfernung sicher nix aus.

Ich werd versuchen alles sogut wie möglich zu Dokumentieren.
 
Die frage ist doch, welches sollte auf die länge nicht mehr funktionieren?
Istn 1.4 oder 1.4a Kabel (3d, HEC, HDCP, ARC) mit ordentlicher Schirmung das bei mir eh nur 720p schaffen muss. Mehr kann meine alte Büchse ned.
Theoretisch würden auch 10m knapp reichen.
 
Kabel kam grade. hat 23euro bei Ebay gekostet.
1080p sind kein problem ;)
 
Ich bin wieder halbwegs fit und heute kam auchn neues gehäuse + 5m HDMI.

Direkt alles umgebaut. Möchte weg vom Rack zu ordentlichen Towern.
So sieht das jetzt aus:
IMG_0587.JPG


Das LTO4 hängt grade nicht dran. Da das kabel zu kurz ist... auch das 8Pol P4 ist zu kurz, daher musste ich es vorne rum wursteln.
Habe nun auch neu gemessen und komme ohne LTO4 auf 105w im Idle.
Schön wären 100w inkl LTO4 im Idle. also minimum 15w weniger.
 
Zuletzt bearbeitet:
Habe nun auch neu gemessen und komme ohne LTO4 auf 105w im Idle. Schön wären 100w inkl LTO4 im Idle. also minimum 15w weniger.
Zum Vergrößern anklicken....

Kannst du mal messen, wie viel dein LSI dir aus der Dose zieht?
Aber im Groben und Ganzen geht der Wert eigentlich noch. Schätze mal gut die Hälfte des Verbrauchs geht auf die Platten. Wie schauts mit deinem Netzteil aus, ist das halbwegs effizient? Ansonsten kannst du ja mal schauen, was die Config von josen so bringt...
 
Mach ich grade mal.

Ohne LTO4 habe ich zuletzt 101.8 abgelesen. Etwa eine Minute nachm Booten warens 105.
Jetzt läuft er seit 3min ohne SAS HBA und ich hab 96w. Ich lass ihn jetzt mal noch 5min so laufen, vllt tut sich ja noch was.
Danach werde ich den SCSI HBA testen.

Wenn man jetzt mit reinrechnet das ich einen HTPC komplett in rente schick liegen wir effektiv unter 50w fürn Filer. HTPC lief sonst auch fast immer durch. Der hat bei mir auch die Musik anlage ersetzt. Bekommt per uPNP (foobar2000 als client) seine Audio Quelle (XBMC als uPNP renderer)
 
Zuletzt bearbeitet:
Also am verbrauch ohne SAS HBA hat sich nimmer viel getan. pendelte zwischen 95.7 und 96.
Ohne SCSI HBA bin ich aber schon beim booten unter 95.5.
Pendelt sich grade richtung 95 ein.

Ich geh jetzt mal von 105w als richtigwert aus, da ich denke das einer controller in sleep modus oder irgendwas ähnliches verfallen ist. 105w also der realistischere idle wert ist.
SCSI HBA + LTO4 machen somit rund 20w aus.

@therealJMC
FRACTAL DESIGN Define XL "Titanium Grey"
130inkl von Notebooksbilliger.
Gedämmt, ordentlich schwer (eher en Vorteil), sehr gut durchdacht, Platten super gekühlt (140er) und entkoppelt.

EDIT:
Hier gibts nochn paar mehr bilder. http://debauer.net/?c=bilder&gal=HARD:FILER-HTPC-2012
 
Zuletzt bearbeitet:
Hmm, macht n guten Eindruck - weiß noch nicht ob ich mit meinem Elysium so zufrieden bin...
Wenn ich mal wieder mehr Zeit hab nochmal drüber gedanken machen :d
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh