SSD im Raid oder M.2 SSD Modul

[XxGabbah@dxX]

Ich brauche für unseren Büroserver eine sehr schnelle Lese/Schreibgeschwindigkeit für unsere WaWi, da diese eine sehr große Datenbank mit ca. 32 Millionen Artikel und ca. 33GB Größe hat.
Meine Ausgangsüberlegung war die Nutzung von 2 Samsung 850Pro 250GB SSD Festplatten und diese ggf. im RAID 0.
Ist dies Sinnvoll, sollte man hier auf ein HardwareRAID mit einem RAID Controler setzen, welche unterstützen hier die TRIM Funktion ?
Oder reicht ein Software RAID mit Mainboard und aktuellen INTEL Chipsatz/Treiber, die diese Funktion unterstüzen.

Die zweite Überlegung war ein Mainboard mit M.2 Unterstüzung und hier SSD Module wie zb. Plextor PX-G512M6e oder Samsung XP941 zu nutzen.

Welche Variante ist die Sinnvollste, welches Mainboard könnt ihr dazu empfehlen und lassen sich die SSD Module inzwischen mit Windows booten ? Denn soweit war ich mit meiner Rechere leider noch nicht.
Da wir das ganze schon morgen benötigen, hab ich daher den Umweg über das Forum hier gewählt. Ich hoffe ihr könnt mir daher diesbezüglich ein paar Tips geben.

 

[XxGabbah@dxX]

Wäre hier ggf. die Plextor M6e Black Edition noch eine Alternative ? Sollte man die zwigend mit dem Boards nehmen, oder geht auch das ganze ohne wie hier ?

M6e M.2 2280 | M6e M.2 2280

Weil bei der Version stehen nochmal bessere Lese/Schreibgeschwindigkeiten, bzw. welche der SSD Module bringt denn in Verbindung mit welchem Board nun die annähernd 1000MB/sec. ?

EDIT: Oh ich sehe gerade das dies wohl die selbe zu sein scheint....^^ 770/625MB/sec.

 

[HisN]

Meine Samsung XP941 bringt ihre 1GB/Sec auf einem Rampage V Extreme in Verbindung mit einem 5960X.
Mit Speicher bist Du dann bei 2.5k
Viel Erfolg.



Du hast mal dann gedacht Dir einfach 64GB Speicher in den Rechner zu stecken? Dann kommen sowieso alle Daten irgendwann aus dem RAM anstatt vom Storage.

 

[Holt]

da diese eine sehr große Datenbank mit ca. 32 Millionen Artikel und ca. 33GB Größe hat.

Da würde ich lieber mehr Geld für RAM ausgeben, bei Produktionsbetrieb auf jeden Fall ECC-RAM und dann passt die süsse kleine DB ins RAM.

Meine Ausgangsüberlegung war die Nutzung von 2 Samsung 850Pro 250GB SSD Festplatten und diese ggf. im RAID 0.

Da DB gewöhnlich kaum längere Zugriffe machen, dürfte ein RAID 0 hier nicht viel bringen.

HardwareRAID mit einem RAID Controler setzen, welche unterstützen hier die TRIM Funktion ?

Der Marvell 9230 auf der Digitus DS-30104-1
unterstützt TRIM für SSDs im RAID 0, wenn man den Microsoft AHCI Treiber verwendet, wie man in diesem Thread bei planet3dnow nachlesen kann.

Oder reicht ein Software RAID mit Mainboard und aktuellen INTEL Chipsatz/Treiber, die diese Funktion unterstüzen.

Die SW-RAIDs unter Windows soll sehr langsam sein, die Fake- oder Chipsatz RAID von Intel unterstützen auf aktuellen Boards auch TRIM für SSDs im RAID 0 und haben eine bessere Performance als der Marvell 9230, aber die sind recht empfindlich und schon einmal booten mit dem BIOS im AHCI statt RAID Modus zerschiesst so ein Chipsatz RAID sehr leicht.

welches Mainboard könnt ihr dazu empfehlen und lassen sich die SSD Module inzwischen mit Windows booten ?

Von der M6e konnte man schon immer booten, von der XP941 dürfte inzwischen alle Board booten können, die einen passenden M.2 Slot mit PCIe 3.0 x4 Anbindung haben, wie diese Z97er Boards mit PCIe 3.0 x4 angebundenen M.2 Slot und beim X99 ist die Auswahl noch größer. Genereall würde ich aber eine Produktions-DB nicht auf einem Consumer-Board ohne ECC-RAM laufen lassen wollen, wenn da ein Bit im RAM kippt und Preise oder Lagerbestände verändert kann der Schaden groß sein.

Ehe Du aber über so eine PCIe M.2 SSD nachdenkst, kaufe Dir mal eine 850 Pro und probiere es aus. Bei 33GB Datenbestand muss es ja keine so große SSD sein und wenn es bisher auf einer HDD lief, dann kann es mit einer SSD sehr viel schneller werden und dann ist nicht mehr die HDD der Flaschenhals, sondern vermutlich das Netzwerk, schon eine 850 Pro kann weit mehr Daten liefern und schreiben als ein Gigabit Netzwerk übertragen kann, selbst bei mehreren zufälligen 4k Zugriffen. Da noch eine schnellere SSD zu wählen wäre vermutlich total unnötig und schon die 850 Pro dürfte sich die meisten Zeit nur langweilen.

 

[XxGabbah@dxX]

Erstmal danke für eure Antworten. Ist natürlich immer gut die Meinung anderer dazu zuholen.

@HisN
Dein Setting is natürlich echt Nice. Besonders die CPU. ^^ Aber ich glaub für einen reinen Test wird mein Chef für den Anfang nicht ganz so viel locker machen, zumal ich ihm erst eine ganze andere Preisspanne gesagt habe.
Ist denn überhaupt so ein schneller CPU nötig um auf diese Lese/Schreibgeschwindigkeiten zu kommen ? Tuts da nicht auch ne Nummer kleiner ?
Muss es denn unbedingt ein Rampage V Extreme sein, das AsRock Z97 Extreme6 sollte hier doch ausreichen....wobei ich früher von AsRock selber nicht viel gehalten habe. Gibt es denn inzwischen vergleichbare Boards in der selben Kategorie die ebenfalls die XP941 Bootfähig machen ?

Du hast mal dann gedacht Dir einfach 64GB Speicher in den Rechner zu stecken? Dann kommen sowieso alle Daten irgendwann aus dem RAM anstatt vom Storage.

Gedacht schon, allerdings unterstützt das AsRock Extreme6 was ich bisher im Auge hatte und in meiner Preiskategorie liegt nur 32GB.

Da würde ich lieber mehr Geld für RAM ausgeben, bei Produktionsbetrieb auf jeden Fall ECC-RAM und dann passt die süsse kleine DB ins RAM.

Hmm klingt natürlich auch interessant. Aber aktuell hab ich ja sogar beim Import der DB schon Probleme. Der Import in die Wawi läuft aktuell bei 2200 .csv Dateien nun schon ca. 1 1/2 Wochen. Und allein das wollte ich nun etwas beschleunigen, da ich noch ca. gut 1000 Dateien vor mir habe. ^^ Die ersten Tests mit der Wawi haben aber ergeben das die Suche nach einer EAN Nummer bei der Aktuellen Anzahl von 1,3 Millionen Artikel ca. 6min. dauert. Das ganze läuft zur Zeit noch auf MSSQL Express 2014. Hier wird der größte Flaschenhals wohl die fehlende Lizenz sein, da die Expressversion nur 1GB Ram und nur 10GB große DB´s verwalten kann. Hier werden ich erst mal die Developer Lizenz und später die Standard Lizenz nutzen. Aber ich versuche nun nach und nach alle Flaschenhälse auszuschließen. Darum nun auch der Weg über die sehr schnellen SDD Module. Auf der normalen HD sehe ich auf lange Sicht auf jeden Fall kein Land.

Da noch eine schnellere SSD zu wählen wäre vermutlich total unnötig und schon die 850 Pro dürfte sich die meisten Zeit nur langweilen.

Da wir das auch im Tresenbetrieb direkt im Verkauf nutzen, wird die Datenbank permanent abgefragt, langweilen dürfte sie sich also nicht. Der Server/Rechner muss permanent die 33GB und 32 Millionen Artikel große MSSQL Datenbank durchsuchen und das dauert halt aktuell bei dem derzeitigen Setting einfach viel zu lange.

 

[Reaver1988]

Doch wird sie, du brauchst keine schnelle SSD, du brauchst eine zuverlässige SSD. Das sind doch viele sehr kleine Anfragen. Bei Hisn auf dem Screen siehst du ganz schön, was bei vielen Anfragen mit kleinen Dateien passiert..... Ein Raid würde dennoch Sinn machen, aber nicht wegen der Geschwindigkeit, sondern der Verfügbarkeit bei defekt einer der SSDs. Aber da es sich hier um ein produktives System handelt, ist weitere Beratung in meinen Augen sowieso grob fahrlässig. Wende dich an euren Systemhersteller des Vertrauens, er soll euch eine Lösung mit entsprechenden Wartungs und Serviceverträgen anbieten. Einfach mal selbst 2 SSDs da reinbauen (gerade wenn ihr Tagesgeschäft mit der Hardware/Datenbank macht) ist Wahnsinn.

Noch einen Tipp zum Schluß:

"Da wir das ganze schon morgen benötigen,"

Ihr habt jetzt sicherlich etwas Zeit gebraucht, um die 33gb Datenbank zusammenzubekommen, wieso muss das jetzt so dringend sein? Nehmt euch bei solchen Änderungen Zeit, überlegt euch mit Profis(!) gut, was so ein Wechsel für Auswirkungen hat und wie man das Umsetzen kann. Dieses "schnell, schnell" ist hochgradig unprofesionell und lässt dich im worst case wie ein Esel vor deinem Chef dastehen, wenn du ihm erklären musst, wieso alle Mitarbeiter den ganzen Tag nicht Arbeiten konnte mit einem x€ Wirtschaftlichem Schaden.

 

[TCS]

Da wir das auch im Tresenbetrieb direkt im Verkauf nutzen, wird die Datenbank permanent abgefragt, langweilen dürfte sie sich also nicht. Der Server/Rechner muss permanent die 33GB und 32 Millionen Artikel große MSSQL Datenbank durchsuchen und das dauert halt aktuell bei dem derzeitigen Setting einfach viel zu lange.

Dafür gibts Indexes!
Stell dir eine Telefonbuch vor, suche mir die Nummer von Nils -> Kein Problem, N wird aufgeschlagen und sehr schnell hast du Nils gefunden und seine Nr auch.
Nun frag ich dich aber wem die Nr 123456 gehört -> du wirst wie verrückt das Telefonbuch von vorne bis hinten durchstöbern, und Ewigkeiten lang nix finden.
Auch wenn ich dich mit jemanden ersetzte der 200x so schnell liest wird das immer noch Ewigkeiten dauern.
Nun geb ich dir aber ein anders Telefonbuch (das Index heißt) hier sind alle Einträge aufsteigend nach Telefonnummer sortiert -> und siehe da du hast im Handumdrehen den Namen zur nr 123456 gefunden. Natürlich braucht das 2. Telefonbuch Platz im Bücherregal (DB) aber so erkaufst du dir Performance durch Speicherplatz.


Ansonsten halt dich an Reavers Rat, -> Produktivsystem, Vorsicht!
Bitte keine Eigenbaulösungen. Mit dem Gerät wird Geld verdient. Ein kleiner Server mit Support von einem der Großen Hersteller ist immer vorzuziehen.
Sogar lieben einen Secondhand IBM/HP/DELL als einen Halbgaren Eigenbau.


Raid? Ja! das Teil muss verfügbar sein - was nutzt dir die schnellste Datenbank wenn sie mal abschmiert?
Raid 1/5/10 kann man diskutieren -> Raid 0 hat in einem produktiven System nur in ganz speziellen Fällen was verloren und eine DB gehört da nicht dazu

Der Unterschied zwischen Express und Standard ist in Sachen Performance gewaltig.


Du versuchst gerade durch das Auffahren von großen Geschützen (Hardware) schwächen der Software/DB Administration auszubügeln.


Bei meinem vorherigen Arbeitgeber hatten wir eine ~400GB Navision Datenbank auf so süßen Netburst Servern mit 8x10K Scasi Platten und man hat für eine Varianten Auswertung (Artikel in gewisser Farbe und Größe und Saison -> ) nie mehr als 3 Sekunden gewartet (bei über 100Mios davon in der DB)

Noch ein Kleiner Tipp aus persönlicher Erfahrung:
Das beste DB Tuning ist eine Schulung für den Zuständigen ITler.
Damit ist schon wer vor Ort wenns zu einem Problem kommt und er kann Performance Analysen und Verbesserungen selbst durchführen

 

[XxGabbah@dxX]

Erstmal vielen Dank für eure Warnungen und Hinweise.
Ich hab mich hier wahrscheinlich etwas missverständlich ausgedrückt.
Die Hardware benötige ICH für meinen Arbeits PC.
Das ganze läuft natürlich noch nicht produktiv und befindet sich noch in der Entwicklung. Ich selber bin Programmierer und habe knap 5 Jahre bei einem Internet Service Provider gearbeitet und war dort für die Server, den Kundensupport und die Webseiten zuständig.

Für die Aufbereitung der Datenbank haben wir mit etwas unterbrechung fast ein Jahr gebraucht. Diese kommt später innerhalb der Wawi Datenbank auf unseren Localen Server. Dieser läuft natürlich Redundant, dh. natürlich in einem entsprechenden RAID System, doppeltes Netzteil etc. und tägliche Vollbackupspiegellung auf einem Localen CDP-Backupserver und einmal online in zwei Rechenzentren. Die Daten sind später also auf jeden Fall Safe....

Mir geht es hier einzig und allein um die Aufbereitung der Daten und der Intigration in die Wawi, also auch um den Import in den Online-Shop. Die Daten werden von der Wawi in den Online Shop importiert, erst dann kann ich auch an diesen weiterarbeiten. Es liegt also noch eine Menge Arbeit vor mir. Aber wie gesagt, schon jetzt stosse ich wegen der großen Datenbank an die Grenzen meiner aktuellen Hardware. Darum wollte ich mich hier über den aktuellsten Stand der Technik informieren, da man damit ja auch nicht täglich zu tun hat, wenn ein System einmal läuft. Ich hab nun über Nacht MSSQL SERVER 2014 mit Standart Lizenz aufgesetzt, damit der Rechner überhaupt erstmal den vollen zur Verfügung stehenden Arbeitsspeicher ausnutzen kann. Auch die Größte der Datenbank war für die Express Version schon zu viel. Das wusste ich vorher nicht, da ich sonst nur mit MySQL gearbeitet hatte und die Grenzen von MSSQL bzw. das Lizenzsystem nicht kannte.

Dafür gibts Indexes!

Das allseitsbeliebte Zauberwort ich weiß. Allerdings ist auch das nicht immer das allheilmittel, gerade dann wenn der Index natürlich gesetzt ist. ^^
Hier ist wiegesagt wirklich das aktuelle Nadelör die Hardware, die gefehlte MSSQL Lizenz und die etwas schlecht programmierte Suche der WaWi, die sich gerade wieder in einer Betaphase befindet. Zumindest wurde hier gestern Abend nun eine neue Version rausgeschoben, denn bisher hatte die nur eine Volltextsuche. Ihnen waren auch keine Kunden mit solchen Daten bzw. Artikelmengen bekannt und haben nun endlich eine EAN und HAN Suche eingebaut. Das beschleunigt zum Glück die Suche schon etwas. Nun geht es also an die Hardware und darum wollte ich von euch die entsprechenden Tips haben.

 

[awehring]

Das IST ein Softwareproblem.

JEDE Datenbank-Anwendung lässt sich auf ordentliches Tempo bringen - man muss nur von Datenbanken etwas verstehen.

32 Mio Datensätze auf einem gehobenen PC mit 8 GB RAM und einer HD reichen locker, um nach einer EAN in unter einer Sekunde zu suchen. Auch csv's lassen sich schnell einlesen, wenn man das richtig programmiert.

Kannst Du mir glauben, ich entwickle seit Jahren Datenbankanwendungen. Performance Tuning bei Kunden mache ich am liebsten, da kann man sich wirklich beliebt machen. Ein paar Analysen, ein paar Handgriffe und das Ding läuft 100 mal so schnell.

Ehrlichgesagt zweifle ich ein wenig an der Datenbank-Kompetenz der WaWi Entwickler.

 

[XxGabbah@dxX]

Na dann wende dich mal an JTL, denn die stellen die aktuell von uns eingesetzte WaWi zur Verfügung.
Ich habe die Suche schon bemängelt, die soll im Laufe diesen Jahres noch optimiert werden.
Die WaWi ist nämlich aktuell eigentlich nur auf eine Größe von max. 500.000 Artikel ausgelegt. ^^

Leider hatten wir das erst zu spät erfahren und haben inzwischen schon zu viel Zeit und Geld investiert um da nun wieder zu wechseln.
Dafür bietet sie außerdem viele Dinge die uns andere WaWis nicht bieten.

Aber selbst MySQL hat Probleme mit diesen großen Datenmengen wenn es ums durchsuchen geht, solche Datenbankformate sind einfach nicht für sowas ausgelegt.
Da müssten man Dinge wie zb. Sphinx oä. nutzen.

Ehrlichgesagt zweifle ich ein wenig an der Datenbank-Kompetenz der WaWi Entwickler.

Na ja die WaWi ist schon etwas älter. Aktuell läuft die Beta 0.99941 für die Final 1. Die Struktur ist einfach schon zu alt und sie müssten das ganze eigentlich komplett neu Programmierern.
Ich glaube JTL gibt es inzwischen zwischen 8-10 Jahren, will mich aber darauf nicht so genau festlegen. Bis gestern gab es auch nur eine Volltextsuche. Erst als ich dort mit meinem Problem aufgetaucht bin, wurde gestern die 41er hinterhergeschoben die nun auch direkt nach EAN, Liferanten und Artikelnummer sucht. Das hat das ganze schon mal etwas beschleunigt. Für unsere Zwecke auch beim Tresenverkauf immer noch zu langsam. Wenn der Kunde kommt, kann man ihm natürlich nicht sagen, warten sie mal bitte 1-2 Minuten, dann kann ich ihnen sagen ob wir den gewünschten Artikel haben.

- - - Updated - - -

Und nein, .csv Dateien lassen sich nicht wirklich sehr viel schneller einlesen. Ich hatte davor ne MySQL DB gehabt. Da waren es ca. 500 a 300mb große SQL Dateien, der Server hatte 50GB Arbeitsspeicher und hatte auch ne ordentliche CPU. Das ganze hat trotzdem über ne Woche gedauert, obwohl sich daran ne menge Profis die Zähne ausgebissen haben. Die DB nervt mich einfach schon seit Monaten. ^^ Und sie wird mich auch noch ne ganze weile weiter nerven. Allein wenn ich daran denke das die WaWi pro Sekunde nur 5 Artikel in den Shop importiert, ergibt das nur 18k pro Stunde. Das wird dann auch nochmal ätzend lange dauern.

- - - Updated - - -

Aktuell waren es ca. 2300 .csv Dateien a 15.000 Zeilen gewesen. Das läuft schon über ne Woche. Hab nun erstmal pause gemacht um die Hardware und MSSQL aufzurüsten. Sonst dauert das auch noch mal ne Woche. Darum meinte ich ja am Anfang des Threads, das ich es am besten heute bräuchte. ^^

Hab nun 32GB Arbeitsspeicher bestellt, dazu das Z97AsRock Extrem6 nen i7 4790K und die besagte Samsung XP941. Chef zahlt ja.
Und angemerkt, es ist nicht die Hardware für den Produktiven Einsatz....

 

[Reaver1988]

beta versionen im produktiven Einsatz, einfach mal irgendwas bestellt, importe mit einer Dauer von über einer Woche? Ich bin mir nicht sicher, was ich davon halten soll...

 

[awehring]

Na dann wende dich mal an JTL, denn die stellen die aktuell von uns eingesetzte WaWi zur Verfügung.

Ich war mal auf deren Homepage. Ist die WaWi wirklich kostenlos?
Naja, was kann man dann erwarten.

Die WaWi ist nämlich aktuell eigentlich nur auf eine Größe von max. 500.000 Artikel ausgelegt. ^^

Leider hatten wir das erst zu spät erfahren und haben inzwischen schon zu viel Zeit und Geld investiert um da nun wieder zu wechseln.

Sparen wollen ist teuer.

Aber selbst MySQL hat Probleme mit diesen großen Datenmengen wenn es ums durchsuchen geht, solche Datenbankformate sind einfach nicht für sowas ausgelegt.
Da müssten man Dinge wie zb. Sphinx oä. nutzen.

Ich habe vor allem mit Oracle gearbeitet, darunter auch spezialisierte WaWi-Systeme für Grossunternehmen entwickelt, aber auch MSSQL ist sehr gut brauchbar.
Mit MySQL habe ich nur etwas kleinere Applikationen entwickelt, aber Performanceprobleme gabs nie.

Grundlage ist halt immer ein sauber ausgearbeitetes Datenmodell.

Erst als ich dort mit meinem Problem aufgetaucht bin, wurde gestern die 41er hinterhergeschoben die nun auch direkt nach EAN, Liferanten und Artikelnummer sucht. Das hat das ganze schon mal etwas beschleunigt. Für unsere Zwecke auch beim Tresenverkauf immer noch zu langsam. Wenn der Kunde kommt, kann man ihm natürlich nicht sagen, warten sie mal bitte 1-2 Minuten, dann kann ich ihnen sagen ob wir den gewünschten Artikel haben.

1 - 2 Minuten für die Suche nach einer EAN
Da weiss man nicht ob man lachen oder weinen soll.

ist das auch mit der Vollversion von MSSQL noch so?

Und nein, .csv Dateien lassen sich nicht wirklich sehr viel schneller einlesen. Ich hatte davor ne MySQL DB gehabt. Da waren es ca. 500 a 300mb große SQL Dateien, der Server hatte 50GB Arbeitsspeicher und hatte auch ne ordentliche CPU. Das ganze hat trotzdem über ne Woche gedauert, obwohl sich daran ne menge Profis die Zähne ausgebissen haben.

War das die gleiche vermurkste WaWi mit MySQL statt MSSQL?

Dann wundert mich das nicht.
Wenn ein ein ordentliches DB Design vorliegt schon SEHR.

Zum Einlesen von vielen Daten schaltet man am besten die Indizes in den einzulesenden Tabellen ab, liest alle Daten ein und baut nachher die Indizes auf.

 

[XxGabbah@dxX]

beta versionen im produktiven Einsatz, einfach mal irgendwas bestellt, importe mit einer Dauer von über einer Woche? Ich bin mir nicht sicher, was ich davon halten soll...

Ähm wer hat denn hier von einem Produktiven Einsatz gesprochen ? *grübel* Die Beta enthält eine neue Funktion die ich für den Aufbau der Webseite benötige. "Kategorieatribute". Ohne die Kann ich die KBA-Suche der Webseite nicht bauen. Die Final wird ca. im Sommer fertig sein, bzw. wir arbeiten auch mit den Servicepartnern zusammen und bekommen trotz Beta Status immer die aktuellste Stable Version zur Verfügung gestellt. Also nicht immer nur mit dem Kopf schütteln wenn man mal das Wort Beta liest.

Ich war mal auf deren Homepage. Ist die WaWi wirklich kostenlos?
Naja, was kann man dann erwarten.

Sehr viel, oder hast du die Erfahrung gemacht das kostenlos immer gleich schlecht ist ?
Ich glaube ich brauche hier nicht unbedingt jede Software die Kostenlos ist aufzählen, die trotzdem mit zu den besten gehört die es aufm Markt gibt.

Sparen wollen ist teuer.

Von sparen hat niemand was gesagt, aber von Geld zum Fenster rauswerfen oder einem unendlichen Budget davon hat auch niemand gesprochen.

1 - 2 Minuten für die Suche nach einer EAN
Da weiss man nicht ob man lachen oder weinen soll.

ist das auch mit der Vollversion von MSSQL noch so?

Da sind wir uns einig. Und ja leider auch mit der Vollversion so. Ohne die neuste Beta und ohne Vollversion hat es gestern sogar bis zu 6min. gedauert. ^^
Wie gesagt, die WaWi ist für 500.000 Artikel ausgelegt. Wir sprengen hier einfach den Rahmen. Aber die Entwickler arbeiten an dem Problem, hat halt bisher niemand mehr benötigt.

Softwarebeschränkungen und Grenzen


Aber nichts desto trotz arbeitet da wirklich ein sehr gutes Team dran, die einen tollen Support bieten und das obwohl die Version kostenlos ist. Da scheut sich auch niemand bei Probleme mal den Teamviewer anzuwerfen und sich dem Problem persönlich anzunehmen. Sowas bekommt man bei manchen noch nicht mal mit nem guten SLA. ^^

War das die gleiche vermurkste WaWi mit MySQL statt MSSQL?

Dann wundert mich das nicht.
Wenn ein ein ordentliches DB Design vorliegt schon SEHR.

Zum einlesen von vielen Daten schaltet man am besten die Indizes in den einzulesenden Tabellen ab, liest alle Daten ein und baut nachher die Indizes auf.

Frag lieber nicht...^^ Ich hab das ganze Thema hier auch schon bei php.net durch. Da ging es um die MySQL DB. War froh das mir da ein netter User am Ende unter die Arme gegriffen hat, sonst würde der Import wohl immer noch laufen. Und auch da hat jeder sämliche Tips gehabt um das zu beschleunigen, aber wirklich geholfen hat nichts davon. Der DB Server war dahingehend schon soweit optimiert und der Indizes deaktiviert.

Wer langeweile hat, kann ja mal rein schauen.
Schleife in MySQL Abfrage - php.de

 

[awehring]

Danke für den Link, ich habe ihn einmal quergelesen. Es hat meine Befürchtungen eher bestätigt, dass es an einer ordentlichen Datenmodellierung (Redundanzfreiheit, Normalisierung, saubere Fremdschlüsselbeziehungen, etc.) mangelt. Leider sieht man dazu in dem Link wenig.
Naja, erstmal wurde Dir dort von einem netten Mitmenschen geholfen.

Berichte bitte, ob die neue Hardware den gewünschten Erfolg bringt. Es ist selten, dass man Softwareprobleme mit Hardware erschlagen kann.

Falls nicht, habt ihr auf eurem Produktivsystem ein ernstes Problem.

- - - Updated - - -

Interessehalber noch eine Frage: 32 Mio Artikel, welche Branche ist das? Bücher? Autoersatzteile?

 

[XxGabbah@dxX]

Ich halte euch natürlich gerne auf dem laufenden. Zu deine Frage, letzteres.