[Kaufberatung] Große Datenbanken werden zäh

[rekem]

Guten Tag.
Meine Arbeit : Arbeit mit sql-Filtern in sehr großen Datenbanken
meine Konfiguration Stand 2015:
- Windows 10 Pro 64-bit Desktop
- Intel Core i7 6700K Skylake [ 2015 ? ]
- ASUSTeK Z170-A (LGA1151) Rev 1.xx [ 2015 ? ]
- Speicherbänke 4, genutzt 2, 16384 MB, Dual DRAM 1203.0 MHz
- Samsung SSD 860 QVO 1TB (SSD), SATA-III 6.0Gb/s, Firmware Version RVQ01B6Q, 931 GB

Nachdem die Antwortzeiten länger werden denke ich an Modernisierung.
Spielen kommt bei mir nicht vor.

Was wird empfohlen ?

Gruß
Rekem

 

[Syrokx]

SQL Datein liegen lokal?
Was sagt der Taskmanager zum Ram und CPU Auslastung?
Was heißt "sehr groß" ?
Womit wird gearbeitet ?

Bissl mehr Angaben wären schon toll...

 

[rekem]

Vielen Dank für die Nachfragen.
Hier meine Antworten eingefügt.

SQL Datein liegen lokal?

ja,
WDC WD1003FZEX-00K3CA0, Kapazität 931 GB
Reale Größe 1.000.204.886.016 Bytes

Was sagt der Taskmanager zum Ram und CPU Auslastung?

s.Anl.

Was heißt "sehr groß" ?

mehrere Datenbanken zB mit 1.000.000 und 500.000 Datensätzen, die mit 500.000 hat eine Größe von 2,5 GB und die von 1.000.000 0,5 GB und beide müssen gleichzeitg benutzt werden.

Womit wird gearbeitet ?

VFoxPro9 dbaseIII Tabellen

 

[2k5lexi]

Schieb die Datenbanken auf ne SSD.
Ist das dein Board?

ASUS Z170-A | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Z170-A ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: Intel 1151 • Chipsatz: Intel Z170 • CPU-Kompatibilität: Core i-7000 , Core i-60… ✔ Intel Sockel 1151 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Wenn ja:
https://geizhals.de/adata-xpg-sx8200-pro-1tb-asx8200pnp-1tt-c-a1927167.html
kaufen.

Und schau mal ob du ein Ram-Upgrade gebraucht bekommst. Und übertakte deine CPU so gut es geht, ggf. neuer CPU Kühler.

 

[rekem]

Das wäre dann die selbe Platte wie das System C:
Auf Ihr liegen C: und R: je 500.000.
Auf C: liegt - wie üblich - das Programm, R: ist im Moment leer,
Die Datenbanken liegen im Moment auf W:
Soll ich somit wirklich auf R: verschieben ?

 

[2k5lexi]

Schieb die Datenbanken auf ne SSD und vermeide Mehrfachzugriffe.
Wenn du 2 Gruppen Datenbanken hast wo du immer nur einen Typ jeweils brauchst trenn die und pack die auf getrennte SSDs.

Ich hab keine Idee wo welche Partition bei dir liegt, aber wenn die Datenbanken auf der oben verlinkten HDD von Western Digital liegen ist dies das Problem, wenn dann noch Mehrfachzugriffe auf die HDD gehen hast du die Katastrophe perfekt.

 

[rekem]

[QUTE]
Ist das dein Board?

ASUS Z170-A | Preisvergleich Geizhals Deutschland
✔ Preisvergleich für ASUS Z170-A ✔ Bewertungen ✔ Produktinfo ⇒ Formfaktor: ATX • Chipsatz: Intel Z170 • RAM: 4x DDR4 DIMM, dual PC4-27200U/DDR4-3400 (OC), max. 64GB (UD… ✔ Intel Sockel 1151 ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Wenn ja:
https://geizhals.de/adata-xpg-sx8200-pro-1tb-asx8200pnp-1tt-c-a1927167.html
kaufen.
[/QUTE]


ja gem. SPECCY ist es das. Dann kann mein Enkel demnächst die beiden RAM-Bänke durch den ADAT ersetzen ?

 

[2k5lexi]

Die ADATA SSD kommt hier hin:
Aber bevor du die SSD bestellst schau doch lieber noch mal nach ob dies wirklich das Mainboard ist. Wäre sonst sehr schade, falls wir hier einen Fehler machen.

 

[rekem]

Ich kann es leider - unter dem Schreibtisch - nicht richtig sehen : kann das eingebaut im PC ein Schrauber wie mein Enkel einfach auswechseln , oder muß das die Werkstatt machen.
Hier ein Auszug aus der damaligen Rechnung

 

[2k5lexi]

Das wird das oben bebilderte Board sein.
Die SSD ist ne kleine Steckkarte. Die steckst du mit 30° Neigung in den Sockel (direkt rechts neben dem roten Rechteck) und drückst die dann flach auf das Mainboard.
Dann kommt noch eine Schraube am Ende der SSD in das darunterliegende Gewinde, diese Schraube verhindert dass sich die SSD wieder aufrichten bzw. aus dem Sockel rausrutschen kann. Ist kein Hexenwerk.
Dann wird die normal im Bios erkannt als Festplatte - kannst du dann formattieren und deine Datenbanken auf diese neue Festlplatte kopieren.

 

[rekem]

Vielen Dank schon mal.


Hier möchte ich einmal meine Situation beschreiben.

Ich bin kein Schrauber und werde es auch im 88. Lebensjahr nicht mehr werden.

Außerdem bin ich kein Hardwarekenner und kenne die vielen Ausdrücke nicht - aber seit den frühen 1970ern Datenbankbetreiber - früher dienstlich, später privat.

Ich möchte - wohl zum 7 (?) und letzten Male - meinen PC durch eine Werkstatt auf den gegenwärtigen Stand der lieferbaren und zuverlässigen Technik bringen lassen:

also Mainboard, CPU, RAM und Datenplatte oder diese gerade besprochene Steck SSD ; und es darf - im vernünftigen Rahmen - auch etwas kosten.
Was ich gerne hätte, wäre ein "Auftrag an die Werkstatt" damit die mir einen Kostenvoranschlag machen können.

 

[Dummbatz]

Mal abgesehen von der Hardware gibt es noch ein paar Sachen.

Ist zwar schon ein paar Tage hier wo ich mit SQL gearbeitet habe aber ein paar Sachen weiß ich da noch.

Welche SQL Version wird genutzt ??

Wurde die Installation schon mal richtig an die Hardware angepasst ??

Und als Hinweis, eine SQL DB kann man nicht mal eben so um kopieren

LG

 

[rekem]

Vielen Dank für den Hinweis.
Es handelt sich jedoch bei mir nicht um eine echte SQL-Datenbank sondern um eine Visual FoxPro 9 Dantenbank, welche die sql-Befehle eingebaut und damit verwendbar gemacht hat. Die Visual-Möglichkeiten in einer von mir geschriebenen Anwendung benutze ich aber gar nicht mehr, weil man dort nicht so viele Abfragemöglichkeiten unterbringen kann und vor allem wegen der unerträglichen Wartezeiten. Ich arbeite nur noch mit winzigen Abfrageprogrämmchen, vor alle aber die Kommandozeile von VFP9, die - im Prinzip - schön schnell Antworten bringt.

 

[Syrokx]

Wenn du eh möchtest das es dir jemand Zusammenbaut etc,
Warum gehst du denn nicht ins nächste systemhaus bei dir und lässt dich dort vor ort beraten und dir alles zusammenstellen?
Auch können die dir dort einfach dein vorhandenes system umbauen.
Das kann hier keiner.

 

[rekem]

da habe ich mich in Berlin mal eben per Internet umgesehen und gewinne den Eindruck, die arbeieten für Firmen und liefern IT-Schränke. ?

 

[rekem]

Vielen Dank allen Antwortern !
Bleibt meine Frage:
Wird ein Umbau auf eine neuere Version von Mainboard und CPU empfohlen oder davon abgeraten ?
Und wenn ja : welche

 

[2k5lexi]

Ich vermute nach wie vor dass das "Problem" vom Speicherort der Datenbanken kommt und nicht vom System ansich.
Ich sehe daher einen Plattformwechsel als nicht zielführend.

Wenn du allerdings einfach "Lust auf was neues" hast ist das ein anderes Thema, dann muss was neues her

Dein PC ist nicht schlecht, du könntest auch was komplett neues kaufen und den "alten" PC noch für ein paar huntert Euro als Spiele-PC verkaufen.
(Der Käufer müsste ggf. eine neue Grafikkarte einbauen, aber grundsätzlich ist der PC voll OK)

 

[amdfreund]

Bei der M2 Empfehlung sollte aber wohl nochmal auf die komplette Systembestückung geschaut werden, hier wurden in 2 Post schon 2 verbaute Platten erwähnt. In dem Taskmanagerbild sehe ich mindestens 5 Laufwerke, bei denen auchnoch einige Buchstaben frei sind. Auch dieses Board läuft bestimmt mit irgend einer Form von Portsharing im SATA-Bereich.

 

[rekem]

Verstanden.
Zusatzfrage : seit dem Umbau auf die SSD Platte für das Sytem im Januar habe ich Probleme mit Filtern in den Datenbänken : d.h. wenn ich den Filter ändere kommt die Antwort trotzdem für den bisherigen Filter, der Filter wird also im RAM nicht überschrieben. Ich muß also die Datenbank schließen und wieder öfnnen, manchmal ist der Filter so fest, daß ich aus FoxPro aussteigen und wieder einsteigen muß, um den neuen Filter setzen zu können. Das war 20 Jahre nicht so. Alle Speicher- und CPU Testprogramme zeigen keinerlei Fehler - nächtelang !
Wird - wenn Win10 und Foxpro auf einer SSD Platte liegen anders gearbeitet ?

 

[2k5lexi]

Ich vermute dass das grade dargestellte Fehlerbild ein Softwarethema ist, vermutlich sogar spezifisch für Foxpro. Es ist gut möglich dass das mit dem Speicherort zusammenhängt.
(Ist ja nicht mehr ganz frisch die Software, was ich grade mal schnell über google herausgefunden habe).

Wenn wir hier ein Softwareproblem haben, wird es aus der Ferne sehr schwierig bis unmöglich das Problem herauszufinden. Zumal von uns die wenigsten deine Software kennen.

PS: ich finde es fazinierend wie du dich mit der Materie auseinandersetzt - mein Papa (70 Jahre) hätte mir den PC vorbeigebracht und gesagt "Mach mal dass der wieder geht wie früher"

 

[rekem]

Zusatzanwort zu AMDFreund: diese weiteren Platten sind Speicher für viele benötigte Daten für meine Arbeit, dort liegen aber keine der Datenbanken. Die Lw-Buchstaben habe ich so vergeben, daß sie für mich Sinn ergeben. Das ganze ist seit vielen Jahren so und hat keinerlei Probleme erzeugt.

Beitrag automatisch zusammengeführt: 13.06.2020

Ich vermute dass das grade dargestellte Fehlerbild ein Softwarethema ist, vermutlich sogar spezifisch für Foxpro. Es ist gut möglich dass das mit dem Speicherort zusammenhängt.
(Ist ja nicht mehr ganz frisch die Software, was ich grade mal schnell über google herausgefunden habe).

Das kann ich ausschließen weil es bis Januar 100% enwandfrei lief, auf meinem anderen Rechner und wahrscheinlich Hunderten wenn nicht Tausenden läuft es einwandfrei. MS hat den Verakuf und Supprt eingestellt. Viele Programmierer leben davon Anwendungen zu schreiben und zu verkaufen - es gibt ein lebhaftes Forum mit schnellem gegenseitigem Support - dort ist dieser Filter-Fahler unbekannt.

 

[rekem]

1994 habe ich ein umfangreiches Testprogramm für FoxPro geschrieben, welches ich unverändert in den vverschiedenen WINDOWS und FoxPros laufen lasse und eine Tabelle erstelle.
Unter anderem wird die Gesamzzeit gemessen.

Ich habe es jetzt auf meiner WDC und dann - verlegt auf die SSD Platte laufen lassen : die Gesamteit ist identisch 16 sec !

Die beste Zeit war im Jahr 2000 mit NT.4.0 und FoxPro 2.6. 6,5 sec.

Mit jeder neuen Windows- und FoxPro-Version wurde es schlechter !!!

 

[Mo3Jo3]

Würde die Datenbanken auch auf jedenfall auf eine NVMe verschieben.

Schieb die Datenbanken auf ne SSD und vermeide Mehrfachzugriffe.

Das NVMe Protokoll ist gegenüber SATA auch besonders für parallele Datenzugriffe optimiert!

 

[amdfreund]

Zusatzanwort zu AMDFreund: diese weiteren Platten sind Speicher für viele benötigte Daten für meine Arbeit, dort liegen aber keine der Datenbanken.

Es sollte nur der Hinweiß sein, dass dieses Board theoretisch 6 Platten ansteuern kann, aber beim Einbau der M2-Platte 2 dieser Anschlüsse unbrauchbar werden. Daher wäre es für die Platten-Aufrüstempfehlung ein nicht unwichtiger Punkt unabhängig zur Verwendung derselben.

 

[rekem]

Würde die Datenbanken auch auf jedenfall auf eine NVMe verschieben.

Das NVMe Protokoll ist gegenüber SATA auch besonders für parallele Datenzugriffe optimiert!

Sehr interessant !
Was beduetet das in meinem Falle :
1 oder 2 SSD Paltten (Arbeitsplatten) und 2 Sata-Platten (Bibliotheken+Datensicherung) ?
Geht das ?
Wohin wird was eingesteckt ?

 

[Fliwatut]

Du solltest das DBMS so einstellen, dass die DBs komplett im RAM liegen, die 16GB reichen.

 

[rekem]

Du solltest das DBMS so einstellen, dass die DBs komplett im RAM liegen, die 16GB reichen.

Vielen Dank,
wo stelle ich das ein ?
Es handlet sich jeweils um 3 zusammengehörige Teildateien

 

[2k5lexi]

Schieb die Datenbanken auf ne SSD und vermeide Mehrfachzugriffe.
Wenn du 2 Gruppen Datenbanken hast wo du immer nur einen Typ jeweils brauchst trenn die und pack die auf getrennte SSDs.

Ich hab keine Idee wo welche Partition bei dir liegt, aber wenn die Datenbanken auf der oben verlinkten HDD von Western Digital liegen ist dies das Problem, wenn dann noch Mehrfachzugriffe auf die HDD gehen hast du die Katastrophe perfekt.

Bei dem was ich hier so lese und lerne ist meine Eingangsvermutung wohl komplett falsch. Das Thema muss wo anders liegen.

1994 habe ich ein umfangreiches Testprogramm für FoxPro geschrieben, welches ich unverändert in den vverschiedenen WINDOWS und FoxPros laufen lasse und eine Tabelle erstelle.
Unter anderem wird die Gesamzzeit gemessen.

Ich habe es jetzt auf meiner WDC und dann - verlegt auf die SSD Platte laufen lassen : die Gesamteit ist identisch 16 sec !

Die beste Zeit war im Jahr 2000 mit NT.4.0 und FoxPro 2.6. 6,5 sec.

Mit jeder neuen Windows- und FoxPro-Version wurde es schlechter !!!

Aufgrund dieses Beitrags vermute ich, dass es eher was mit Software und Konfiguration zu tun hat. Kein Plan ob zwischenzeitlich ein Meltdown/Spectre Patch eingespielt wurde und ob sowas die Ursache sein könnte... Ich bin ziemlich ratlos. Sorry.

Wobei, eine Sache könntest du für uns noch bitte testen:
Hier ist ein Screenshot von meinem Windows Taskmanager. Den öffnest du mit *rechtsklick* auf die Taskleise > Taskmanager.
Die Kurven zeigen an was im System passiert, ob der RAM überläuft, ob die Festplatten stark arbeiten, ob die CPU arbeitet usw.
Bei mir sieht man in der roten Kurve Ethernet dass ich das Forum geöffnet habe und in der blauen dass die CPU die Internetdaten verarbeiten musste.

Wie sieht das bei dir aus, wenn du eine Suchanfrage in deiner Datenbank startest und laufen lässt?

 

[Fliwatut]

wo stelle ich das ein ?

Das weiß ich leider nicht, weil ich Visual FoxPro nicht kenne. Ich glaube aber nicht, dass sich das Problem durch neue Hardware lösen lässt, weil die Auslastung deines System ziemlich gering ist. Foxpro ist halt auch schon ziemlich alt und es kann durchaus sein, dass es mittlerweile Software-Inkompatibilitäten gibt, die das System ausbremsen. Könntest du die DBs nicht auf ein modernes DBMS migrieren?

 

[rekem]

Ich fasse nochmal zusammen:
1. Bis Weihnachten war das System auf einer WDC und der Filterfehler in VFP9 war unbekannt.
2. Im Januar wurde diese durch eine Werkstatt geklont, eine grössere SSD Platte als Ersatz eingebaut, der KLON aufgespielt, das Sytem startete wie gewohnt, alle Platten und Programme wurden erkannt und alles schien ok.
Sehr bald stellte ich dann aber den Filterfehler fest, der seitdem besteht.
An der VFP9 Installation wurde nichts geändert - kann man auch gar nicht mehr, es gibt da keinen Support mehr.
3. Auf dem Laptop läuft VFP9 anstandslos - damit gehe ich in die Bibliotheken und vor- und hinterher wird per LAN Gleichstand der DB hergestellt.