Was ist schneller: 1M 1.4 Mod oder 1M 1.5 Mod XS?

[stummerwinter]

Aktuell ein heiß diskutiertes Thema der SuperPi-Bencher: welche Version ist schneller?

Ich habe mir mal beide Programme angeschaut, und eine statistische Auswertung gemacht...

System:
CPU: Opteron 144 @ 333 x 9
MoBo: DFI NF4 Ultra-D with 702-1
RAM: OCZ VX @ 250 MHz @ 1.5-2-2-4
OS: WXP SP2

Testdurchführung:
- Rechner starten
- 1M einmal laufen lassen
- dann 1M 10 x hintereinander benchen
- Analyse der Daten

Analyse-Software:
- Minitab 14

Als erstes muß man einen Normalverteilungstest durchführen, um die geeignete Vergleichsmethode zu finden:

1.4 Mod:

P-value > 0,05 => Normalverteilung
Mittelwert: 27,602 s
Standardabweichung: 0,026

1.5 Mod:

P-value > 0,05 => Normalverteilung
Mittelwert: 27,605 s
Standardabweichung: 0,018

Das heißt, man kann einen sogenannten 2-sample-t-Test durchführen, da beide Datensätze normalverteilt sind, als Sicherheitsinterval würde 99 % gewählt:

Als erstes ein Plot der reinen Ergebnisse, zweitens ein sogenannter Box-Plot:

And hier die Auswertung, die Hypothese wurde wie folgt angesetzt, daß die Datensätze nicht gleich sind:

Zusammenfassung:

Mit dem vorliegenden hohen p-Wert (0,783 - muß kleiner sein als 0,05 um die Hypothese aufrecht zu halten) können wir mit einer 99 %igen Sicherheit die Hypothese verwerfen, statistisch gesehen kein Unterschied zwischen 1.4 und 1.5.

1.4 ist manchmal schneller als die 1.5er Version, streut aber stärker...

 

[kaiser]

n1 work

aber wen interesieren die paar millisekunden "Fehler"

 

[a!i3n]

Super Stuwi

Jetzt wissen wir es endlich mal!

Aber sowas kann wirklich nur einer Testen,
der das letzte 0,000sekündchen rausholen will
nä Stwui (<- Spaß )

Aber wie ich sehe hast du dich weiter gebildet,
von deinen damaligen super Excel Tabellen,
heute hin zu so Diagrammen

Gruß
Max

 

[Otterauge]

Ist doch mal wieder sehr intressant, und was du das aufzeigst sollte dan klarheit bringen in die Disskusionen die es da gibt.
Könnte jetzt noch ein Test zwischen DualCore und Single ein Unterschied bringen, der CoreDuo wartet doch noch auf sein Bord der Vergleich hat was.

Feine Arbeit

 

[Gelöschtes Mitglied 21733]

also...erstmal zum unterschied von version 1.4 und 1.5
er liegt rein in dem namen des programms. also wurde GARNIX an dem programm selbst verändert.

zum spi allgemein.
schon alleine das öffnen eines programms (clockgen, cpu-z, tempprogramm, selbst welche im autostart) ändert den Spi wert schon extrem. wenn man es richtig vergleichen will muss man ein komplett neues windows haben (nix drauf, keine treiber etc) voll getweaked und nach jedem run neu starten.

ansonsten kann man schon große abweichungen haben.

dazu darf man keine 2 1m runs hintereinander machen, da je öfter man es laufen lässt die zeit schlechter (schwankt auch sehr extrem)wird. ich hab mein windows voll getweaked und so sehen zb die runs aus wenn sie hintereinander sind ohne neustart.

1.run = 26.640
2.run = 27,1xx
3.run = 27,6xx

dazu sollte man vor jedem 1m run 2x 16k laufen lassen da dies die werte einheitlicher und schneller macht.

hast es zwar gut gemacht. aber in meinen augen sind die ergebnisse zu ungenau

 

[Bogi]

@ stummerwinter

dachte du wärst so beschäftigt auf der arbeit und jetzt dies?

 

[stummerwinter]

1.run = 26.640
2.run = 27,1xx
3.run = 27,6xx

Genau das kommt aber bei meinen Ergebnissen nicht raus.

Ich habe folgende Standardabweichungen:

1.4: 0,026 s

1.5: 0,018 s

Daraus ergbit sich, daß die Ergebnisse mit 99%er Wahrscheinlichkeit wie folgt liegen:

27,575 s bis 27,628 s für 1.4

und

27,586 s bis 27,623 s für 1.5



Und da mein System nicht getweakt war, dürften die Schwankungen sogar größer ausfallen.

Und mit meinen Ergebnissen wird deine Aussage:

also...erstmal zum unterschied von version 1.4 und 1.5
er liegt rein in dem namen des programms. also wurde GARNIX an dem programm selbst verändert.

eigentlich nur untermauert...

 

[KaiserFranz]

habs zwar schonmal in irgend nem thread gepostet, aber dann mach ichs nochmal an richtiger stelle:

wenn ich mir die superpi-liste so anschaue, dann findet man nur die mobilen intels sowie die opterons ganz vorne. die normalen intel-cpu´s müssen sich ganz schön einen abstrampeln um unter 28sec zu kommen. ein 8xx mit 4ghz hampelt gar bei 32sec rum.
auch mein 950er war mit 4.7ghz bei 27.8sec wirklich nicht so der bringer.

liegt aber alles nur am 1.4er oder 1.5er mod.

nimmt man die superpi version die sse2 bzw sse3 unterstützt dann siehts alles mal ganz anders aus. dann lande ich mit 4.7ghz nämlich mit 24sec da, wo meine cpu m.e. auch hingehört. komischerweise fällt der unterschied für die amd´s nicht so günstig aus.
wers mal testen will (leider ohne millisekunden-angabe)
link

 

[stummerwinter]

dazu darf man keine 2 1m runs hintereinander machen, da je öfter man es laufen lässt die zeit schlechter (schwankt auch sehr extrem)wird. i

Ich habe deine Methode noch mal getestet. Mir ist durchaus aufgefallen, daß der erste 1M-Lauf idR langsamer ist, da wohl ein Festplattenzugriff erfolgt.

Zunächst habe ich wie von Dir beschrieben, Neustart, dann erst 2 x 16k laufen lassen, dann 1M, das ergibt:

Mittelwert: 27,652 s

Standardabweichung: 0,069 s

Danach habe ich mal mal 10 Werte nach meiner Methode ermittelt, erst 1 x 1M, dann 10 x hintereinander:


Mittelwert: 27,586 s

Standardabweichung: 0,020 s

Hier noch mal eine direkte Gegenüberstellung der Werte:

Wäre interesant zu sehen, woran es liegt, weshalb bei dir dir Werte weglaufen...