ssd für ne datenbank?

[raxt]

Hello, zusammen hab nun a bissle hier im Forum gestöbert und bin eig schon zum entschluss gekommen das die Supertalent 128GB oder die 64 GB mir reichen sollte.
Nur les ich da in Benchmarks, das die in den 4er blöcken also bei kleinen dateien schwächelt. Zwar gehts bei mir drum das ich ne sql datenbank da drauf machen will die meist text dokumente einließt,
sprich sehr viele dateien die aber nur immer paar Kilobyte groß sind. Gibts da dann Probleme und wie sieht es mit der langlebigkeit aus?

Irgendwelche Tipps oder gibts da noch bessere ssds für

 

[Peng00]

Kommt halt darauf an, wieviel du ausgeben willst.
Schau dir mal die x25-m an oder die realssd, die duerften eher was fuer dich sein

 

[sanic]

Intel oder die C300 von Crucial. Eine Solidata K5 auch ne alternative als SLC

 

[raxt]

Joar die intel mit 80GB sieht nett aus. und ob die platte nun 30-40 euro mehr kostet oder net :/ is wayne.Aber kann es sein das die Intel dann doch "nur" 70mb schreiben hat alle anderen kanidaten im testfeld haben da ne ecke mehr? oder liegt das dadran das die intel besser für kleinere blöcke is?
zumindest die ersten beiden shops listen das gerät für 205-211 euro und dann fängts erst ab 300 wieder an

Bei der Crucial siehts anders aus die kostet ja gleichmal das doppelte :>, und somit ist die oob (outofbusiness) :>bei der k5 ähnliche preise 280 euro >;

limit hab ich mir eig bis zu 200 euro gesetzt und bis 100 gb mehr is besser alles von 60-100 is halt i.O

 

[sanic]

die Intel schreibt zwar nur um die 80MB/s seq, aber dafür sehr gut im kleineren Bereich wo alle anderen SSDs schlapp machen.

die K5 ist halt ne SLC SSD, die man nicht so oft Trimen muss, bei Intel kann die Leistung nach bestimmter Zeit nachlassen wenn diese nicht getrimmt wird.

 

[Morpog]

die Intel schreibt zwar nur um die 80MB/s seq, aber dafür sehr gut im kleineren Bereich wo alle anderen SSDs schlapp machen.

die K5 ist halt ne SLC SSD, die man nicht so oft Trimen muss, bei Intel kann die Leistung nach bestimmter Zeit nachlassen wenn diese nicht getrimmt wird.

Das halte ich für ein Gerücht. SLC muss man genauso oft trimmen wie MLC.

 

[schweiger]

raxt,
an deinen postings sieht man deutlich, dass wir uns hier nurn ich im Kreis drehen. Das Forum ist mittlerweile so unübersichtlich und zugemüllt, dass ein "Neuankömmling" keinen Durchblick mehr hat. Du schreibst du hast im Forum rumgestöbert, aber wohl keine Antwort gefunden. So gehts wohl den meisten. Die Intel die du beschreibst ist die G1 ( nach deiner Preisrecherche) di ekannst du gleich vergessen. Und den Unterschied von SLC zu MLC kannst du auch rausbekommen,wenn du dich noch ein bischen weiter umschaust.
Man kann die SSDs nicht einfach untereinander am Preis vergleichen, letztendlich gilt der alte Spruch: you get what you pay for, oder. was nix kostet taugt nix

 

[raxt]

SLC is schneller und MLC kann noch öfter wieder beschrieben werden so hab ich das zumindets verstanden wobei mlc etwas langsamer ist dafür günstiger ^^

Habe mich nahc langen Ringen nun für ein Macbook entschieden und 1 tag nach dem kauf muss ich sagen ich bereue nichts... nich nicht ^^. und der is deutlich schneller was den speed angeht als das nb mit win 7 :/ aber denke beide haben die 5400 s-ata platte drinnen

Mir gehts bei der SSD nicht darum die allerbeste der besten zu haben. Suche etwas im mittelfeld und nehme da auch mlc in kauf :=)
slc ist schnelelr aber auch teurer also no way

denke die intel mit 89gb ist dann recht gut
die günstigere wäre die corsair reactor r60 wobei die laut tets sehr langsam ist bei kleinen blöcken :/. Nur wie wirkt sich die langsamkeit aus sind das dann 5-10 sec oder eher im ms bereich?

 

[meister.]

für sowas gibts auch einen sammelfred, da wird einem schnell und kompetent geholfen. wenn man für alles einen eigenen beitrag auf macht wirds auch unübersichtlich.

 

[schweiger]

SLC is schneller und MLC kann noch öfter wieder beschrieben werden so hab ich das zumindets verstanden wobei mlc etwas langsamer ist dafür günstiger ^^

es ist doch etwas anders: die MLC kann 10.000 mal beschrieben werden, die SLC 100.000 mal. Ich habe sogar hier mal gelesen, dass die Intel durch die kleineren Chips ( 34nm) sogar nur 5000 mal beschrieben können werden soll.

 

[Sukrim]

"Nur" 5000 Mal 80 GB = "nur" 400 000GB. Und das ist auch rein das was garantiert wird, mehr ist natürlich auch möglich.

 

[schweiger]

moment.....garantiert wird garnichts.
letztendlich hat man nur die Gewährleistung des Händlers, die beträgt zwar 2 Jahre, aber nach 6 Monaten muss man beweisen, dass die SSD bereits von Anfang an kaputt war.

 

[Cippoli]

moment.....garantiert wird garnichts.
letztendlich hat man nur die Gewährleistung des Händlers, die beträgt zwar 2 Jahre, aber nach 6 Monaten muss man beweisen, dass die SSD bereits von Anfang an kaputt war.

Meine bisherige Erfahrung ist, dass Händler die Beweislastumkehr nicht allzu ernst auslegen und wenn man nett anfragt auch viel auf Kulanz regelt. Meist schickt man die SSD an den Händler zurück und dieser kümmert sich dann um die RMA beim Hersteller.

 

[meister.]

hier werden sachen verwechselt, ist wirklich unglaublich.

schweiger, du sprichst von der gesetzlichen gewährleistung, hersteller bieten dir zu 99% immer zwei jahre garantie, intel sogar drei.

garantie und gewährleistung sind zwei paar schuhe.

 

[Niranjana]

Für Datenbanken würde ich auch eine SSD benötigen.
Ob man ein 300kb Datei im SDD Bereich als klein ansieht weiß ich nicht. Vllt. kann mich da einer aufklären?
Momentan habe ich eine VelociRaptor 300GB, mit dieser läuft der Datenimport total langsam, für 75k Dateien, à 295kb, gesamt 20GB 3-5 Tage.
Ich habe gelesen, dass Platten bei so vielen kleinen Dateien zusammenbrechen, vorallem wenn die Platten gleichzeitig lesen und schreiben müssen wie es bei mir der Fall ist.

 

[nsa666]

Für Datenbanken würde ich auch eine SSD benötigen.
Ob man ein 300kb Datei im SDD Bereich als klein ansieht weiß ich nicht. Vllt. kann mich da einer aufklären?
Momentan habe ich eine VelociRaptor 300GB, mit dieser läuft der Datenimport total langsam, für 75k Dateien, à 295kb, gesamt 20GB 3-5 Tage.
Ich habe gelesen, dass Platten bei so vielen kleinen Dateien zusammenbrechen, vorallem wenn die Platten gleichzeitig lesen und schreiben müssen wie es bei mir der Fall ist.

Eine Intel X-25M sollte diese Datenmenge innerhalb von 17min vearbeiten können(wenn die verbaute CPU das auch schafft). Mit AHCI(NCQ) noch 5-7x schneller. Wenn die Schreiblast 20GB am Tag übersteigt wäre eine SLC-SSD angeraten wegen der Lebensdauer.

 

[schweiger]

hier werden sachen verwechselt, ist wirklich unglaublich.

schweiger, du sprichst von der gesetzlichen gewährleistung, hersteller bieten dir zu 99% immer zwei jahre garantie, intel sogar drei.

garantie und gewährleistung sind zwei paar schuhe.

das weiß ich auch, ich meinte nur, dass kein Hersteller 5000 oder 10.000 Schreibvorgänge garantiert, sondern nur die entsprechende Zeit. Wenn also nach zwei Jahren die SSD in die Knie geht und nur 4000 Schreibzyklen ausgehalten hat, ist das kein Garantiefall.

 

[meister.]

das weiß ich auch, ich meinte nur, dass kein Hersteller 5000 oder 10.000 Schreibvorgänge garantiert, sondern nur die entsprechende Zeit. Wenn also nach zwei Jahren die SSD in die Knie geht und nur 4000 Schreibzyklen ausgehalten hat, ist das kein Garantiefall.

bei intel schon, da hast du drei jahre

 

[nsa666]

10.000 schreibzyklen sind 73GB am tag bei 3 jahren(80GB plattengröße)... Das haben nur wenige Einzelserver, da die meisten DB Zugriffe meist Lesezugriffe sind, und sie interessieren bei Lebensdauer nicht. Wenn man 160GB SSD nimmt verdoppelt sich die mögliche Datenmenge.

P.S.: Wer Server mit solchen Schreibdatenmengen betreibt sollte das entsprechende Kleingeld haben um die SSD rechtzeitig zu wechseln. Und mindestens RAID1 sollte beim Server sowieso zum Pflichtprogramm gehören.

 

[hcb]

Für Datenbanken würde ich auch eine SSD benötigen.
Ob man ein 300kb Datei im SDD Bereich als klein ansieht weiß ich nicht. Vllt. kann mich da einer aufklären?
Momentan habe ich eine VelociRaptor 300GB, mit dieser läuft der Datenimport total langsam, für 75k Dateien, à 295kb, gesamt 20GB 3-5 Tage.
Ich habe gelesen, dass Platten bei so vielen kleinen Dateien zusammenbrechen, vorallem wenn die Platten gleichzeitig lesen und schreiben müssen wie es bei mir der Fall ist.

das klingt bei Dir aber nach einem anderen Problem... 75.000 Dateien (was jetzt zwar viel klingt, aber sooo viel nicht ist) mit den Dateigrößen sollte DEUTLICH schneller rennen...
mit der SSD würdest Du wohl nur die Symptome bekämpfen (= langsames Einlesen), Dein grundlegendes Problem liegt denke ich woanders.
Was ist das denn für eine Einlese-Routine?

 

[Niranjana]

Danke für Eure Beiträge.

das klingt bei Dir aber nach einem anderen Problem... 75.000 Dateien (was jetzt zwar viel klingt, aber sooo viel nicht ist) mit den Dateigrößen sollte DEUTLICH schneller rennen...
mit der SSD würdest Du wohl nur die Symptome bekämpfen (= langsames Einlesen), Dein grundlegendes Problem liegt denke ich woanders.
Was ist das denn für eine Einlese-Routine?

Das Programm, in das die Daten eingelesen wird heißt "Holdemmanager pro"(mysql Datenbank).

Irgendwas ist an meiner Kiste nicht in Ordnung, das habe ich nun auch erfahren. Mein "Hochleistungsrechner" Dualcore E8400, VelociRaptor, Vista(wo wohl auch das Problem liegt), mehr Daten siehe Signatur, sind langsamer als eine alter Rechner mit WinXP.

Die Daten werden von Laufwerk C: gelesen und geschrieben. Ein Forumdeluxx-User meinte, dass die Platte wegen der vielen kleinen Dateien und dem gleichzeitigen lesen und schreiben einbrechen würde.
Demzufolge wären wohl 2 SSD oder 2 VelociRaptor Platten ohne Raid-Verbund die Lößung. Nochmals eine kleine second hand VelociRaptor Platte würde ich mir der Leistungwillen noch zulege, jedoch wären mir 2 SSD Platten das ganze nicht Wert.
Laut des og. Forumdeluxx-Users wäre es mit einer SSD Platte auch nicht getan, da diese beim gleichzeitigen lesen und schreiben auch zusammenbrechen würde.
Ist da was dran? Was könnte das Problem lößen?
Ich habe auch schon versucht die Dateien vom DVD Laufwerk auszulesen, um die Festplatte zu entlasten doch da hat sich der Programm(holdemmanager) aufgehängt, vllt. war die DVD etwas zu verkratzt. Oder ist das auch keine Lößung?

Als vorübergehende Lößung werde ich mal die Daten auf meine alte Platte ziehen und diese in meinen Rechner einbauen. Mal sehen ob meine Raptor dann entlastet ist, wenn diese nur schreiben muss.

 

[nsa666]

Nicht dass CPU überhitzt und deswegen runtertaktet. Wie ist die CPU-Last und CPU-Temperatur? Hast du vielleicht ein DMA-Problem?

 

[Niranjana]

ne, daran dürfte es nicht liegen, der CPU wird nur bis zu 60% ausgelastet, meist weit darunter.

 

[hcb]

Momentan habe ich eine VelociRaptor 300GB, mit dieser läuft der Datenimport total langsam, für 75k Dateien, à 295kb, gesamt 20GB 3-5 Tage.

Ich gehe mal ganz grob davon aus, dass Deine Einlese-Routine eine Datei nimmt, parst und dann in die mySQL schreibt. Vereinfacht… copy & write.

Dafür habe ich spaßeshalber mal ein paar Dateien in ähnlicher Größe wie Deine Angaben angelegt und kopiert:
75.000 Dateien á 251kb = 17,9 GB
(75.000 x 257.106 x 19.282.950.000)

3 copy jobs getestet (mit Copy Handler kopiert und Zeit gemessen):

Von eSATA HDD Samsung HD103UJ (1TB, NCQ eingeschaltet) auf Solidata K6-64GB (vorher 32GB frei) kopiert in 16:13min = 18,90 MB/s

Von Solidata auf eSATA kopiert in 11:58 min = 25,61 MB/s

Von Solidata auf Solidata kopiert in 19:34 min = 17,45 MB/s (hochgerechnet auf 75.000 Dateien - aus Platzmangel hab´ ich nur 37.500 Dateien kopiert)

Das Ganze getestet auf einem Laptop HP Elitebook 8530p mit Windows 7 Ent 64bit
(Intel C2D T9400 2,53GHz, Intel ICH9M-E/M SATA AHCI Controller, Intel RST IASTOR 9.6.0.1014)



Ergebnis: Du hast da irgendwo wirklich einen Wurm drin

 

[Niranjana]

Danke für die Mühe. Das ging ja ganz flott bei Dir, doch das Copy write verfahren, dass kann man wohl nicht mit dem einpflegen einer Datenbank vergleichen.

In jedem Fall habe ich nun eine 2 Platte angesteckt und die Sache hat sich etwas verkürzt auf 2-3 Tage, jedoch immernoch lange genug gedauert, sodass ich mir eine SSD Disk kaufen möchte, bzw. das ganze noch etwas schneller ablaufen sollte.
Eigentlich habe ich an meinem System, siehe Signatur nie etwas verstellt und von der Leistung her ist es ja beachtlich, evtl. Festplatte ausgenommen, in diesem Fall.

Andere holdemmanager user kamen auf ähnliche Geschwindigkeiten, jedoch auch ohne SSD. Nun meine Frage kann sich das ganze mit einer SSD beschleunigen?

Der Holdemmanager erstellt eine oder vllt. auch ein paar mysql Datei(en). Die 75k Dateien werden dann in die Datenbank(en) eingepflegt. Jene Dateien enthalten viele verschiedene Variablen welche wohl erst mal in die Datenbank einsortiert werden müssen.
Vllt, liegt auch das Problem am Programm oder der Datenbank(en), dass die Dateien nicht schneller importiert werden können.

Ich gehe mal ganz grob davon aus, dass Deine Einlese-Routine eine Datei nimmt, parst und dann in die mySQL schreibt. Vereinfacht… copy & write.

Dafür habe ich spaßeshalber mal ein paar Dateien in ähnlicher Größe wie Deine Angaben angelegt und kopiert:
75.000 Dateien á 251kb = 17,9 GB
(75.000 x 257.106 x 19.282.950.000)

3 copy jobs getestet (mit Copy Handler kopiert und Zeit gemessen):

Von eSATA HDD Samsung HD103UJ (1TB, NCQ eingeschaltet) auf Solidata K6-64GB (vorher 32GB frei) kopiert in 16:13min = 18,90 MB/s

Von Solidata auf eSATA kopiert in 11:58 min = 25,61 MB/s

Von Solidata auf Solidata kopiert in 19:34 min = 17,45 MB/s (hochgerechnet auf 75.000 Dateien - aus Platzmangel hab´ ich nur 37.500 Dateien kopiert)

Das Ganze getestet auf einem Laptop HP Elitebook 8530p mit Windows 7 Ent 64bit
(Intel C2D T9400 2,53GHz, Intel ICH9M-E/M SATA AHCI Controller, Intel RST IASTOR 9.6.0.1014)



Ergebnis: Du hast da irgendwo wirklich einen Wurm drin

Vllt. kannste für mich mal den Import mit dem holdemmanager durchlaufen lassen. Hier könntest Du Dir die Trailversion ziehen und die Dateien würde ich Dir zukommen lassen, wenn Du dich dafür bereiterklären würdest.

 

[hcb]

Klar ist ein sequential write der Dateien (75.000 x eine "ganze" 252kb Datei) schneller als einzelne SQL writes für die in der Datei (txt?) beschriebenen Einzel-Positionen (=Felder und Einträge in der Datenbank). Alles eine Frage der IOPS
Könnte man also wirklich nur mit einer Installation Deines holdemmanager + ein paar Beispieldateien nachstellen und testen. You´ve got PM

 

[Niranjana]

also die crusial, die würde ich mir schon gerne kaufen, doch die PostgreSQL Dateien nehmen alleine schon über 53GB ein, und es wird noch mehr. kann man das irgendwie einrichten, dass man einen teil der daten auf eine andere platte verlagert, ohne geschwindigkeit einbussen zu müssen.

 

[nsa666]

kann man das irgendwie einrichten, dass man einen teil der daten auf eine andere platte verlagert, ohne geschwindigkeit einbussen zu müssen.

Nein.

 

[Niranjana]

was ist mit überschreiben?
neuen daten in eine leere datenbank einlesen, das genze auf einer SSD. und die große datenbank auf einer herkömmlichen festplatte mit den neuen daten ergänzen.
der ganze importvorgang ist ja nur so langsam, da es so viele kleine dateien sind. sind die vielen kleinen daten schon mal in der datenbank, dann kann man die kleinere datenbank dann evtl. einfach auf die große setzen. geht das ingendwie?

 

[nsa666]

Das würde gehen. Allerdings sind dann die (lesende)zugriffe auf die datenbank auch nur so schnell wie die Festplatte.