Codec Blindtest (AAC, MP3, Opus, Ogg Vorbis)

[Namenlos]

Das ganze hab ich schon im Laberthread (und auf PCGHW) geschrieben, ich hoffe mal, dass ich hier noch ein paar Interessierte erreiche.

Falls wer Interesse hat blind ein paar Codecs auf 96kbit zu testen und zu bewerten: Public Multiformat Listening Test @ 96 kbps (July 2014). Eigentlich ist alles auf der Seite beschrieben, wenn ihr die Ergebnisse bewerten und einsenden wollt (mich würde es freuen) einfach der Anleitung folgen. Wenn ihr keine Lust auf das Programm habt sind im "sound" Ordner auch die wav Dateien. Auch wenn ihr nur die beiden Ankerpunkte in schlechter Qualität und ein anderes Beispiel raushört hilft das bei der Bewertung.

Am 1. September sollen die Ergebnisse öffentlich ausgewertet werden.

Die Codecs sind:
AAC iTunes 11.2.2 with CoreAudioToolbox 7.9.8.5 via qaac 2.41 --cvbr 96 (Equivalent to "VBR enabled" in iTunes)
Opus 1.1 with opus-tools-0.1.9-win32 --bitrate 96
Ogg Vorbis aoTuV Beta6.03 -q2.2
MP3 LAME 3.99.5 *bitrate is around 136 kbps. -V 5
AAC FAAC v1.28 (Mid-low Anchor) -b 96
AAC FAAC v1.28 (Low Anchor) *bitrate is around 52 kbps. -q 30

Das ganze gab es schonmal vor 3 Jahren mit uninteressanteren Codecs: Results of the public AAC listening test @ 96 kbps (July 2011)

Zum Thema das sind ja nur 96kbps und lossless >> alles, warum sollte ich sowas testen wollen:

Bei Archivierung würde auch nur lossless einsetzen, hauptsächlich wegen der digitalen Fingerabdrücke, aber auch um doppelte Komprimierung zu vermeiden. Aber für Smartpone, Laptop mit SSD und je nach Internetqualität auch versenden macht es einen riesen Unterschied. Hier kommt FLAC (alac/wav) für mich (und ich denk auch für viele andere) nicht in Frage.

Manche wollen vielleicht auch wissen, welchen Codec sie für TS/Mumble nutzen sollten, da gibt so ein Test Anhaltspunkte.

Der Test hat mehrere Zwecke. Einmal kann jeder für sich selber sehen, wie gut er Kompressionsartefakte in modernen Codecs unvoreingenommen und blind heraushören kann. Zweitens werden dank solchen Blindtests auch Schwächen in Encodern und Codecs aufgedeckt. Falls es interessiert, etwas zum nachlesen: Opus update 20130712: 1.1 Beta Release Tonality Estimation geht auf das schlechte Abschneiden des Cembalos in Hydrogen audio 2011 multiformat listening test unofficial results page zurück.

Genaueres kann ich erst nach der Auswertung sagen, aber ich glaube, dass der Codec den ich (die Anker ausgenommen) mit ein wenig Abstand am besten raushöre MP3 136 kbps ist (vllt auch ogg). Sprich MP3 136kbps vbr ist schlechter als AAC/Opus 96kbps. Deswegen nicht auf die 96kbps fest beißen.

 

[Namenlos]

Ergebnisse sind schon länger raus, zusammenfassendes Bild. Vollständige Ergebnisse.

Zusammenfassendes Fazit aus den HA Thread:

General quality of the best encoders at 96 kbps

• Opus 1.1 is the clear winner on average: opusenc --bitrate 96
• Apple AAC (iTunes 11.2.2) is clear in second place: qaac --cvbr 96 (or 96 kbps, VBR enabled in iTunes)
• Ogg Vorbis (aoTuV Beta6.03) is third of the 96kbps contenders: vorbisenc -q2.2
• The higher bitrate LAME MP3 (about 128-140 kbps) is tied with Ogg Vorbis for joint third place. lame -V 5
• The best mature 128-140kbps MP3 encoder (significantly better than early 128kbps MP3) was used as a well-known quality reference. The three more modern contenders matched or beat it with around 25% lower bitrate. While LAME MP3 itself has come a long way since early MP3 encoders and is very mature within the limitations of the format, newer technology has come a long way indeed by 2014. LAME degrades noticeably before it averages as low as 96 kbps as noted in previous tests.
• These formats are not reliably transparent at 96 kbps when subjected to close critical listening on headphones in ideal conditions.
• All of these formats can reach transparency at higher bitrate settings. However, getting statistically significant listening test results becomes extremely difficult as we approach transparent settings. Any such test is likely to be a statistical tie. The results of this test are not necessarily applicable to different bitrates, however.
• Broadly speaking, Perceptible but not annoying (4.0 or better) indicates that music should remain enjoyable, and for listeners being less critical (e.g. listening on speakers, at low volumes or in noisy environments, or untrained in codec artifact spotting) differences compared to the original may go unnoticed. Many testers said this test was difficult, because most differences were subtle (with the exception of the low anchors).
• The difficulty of detecting differences at such modest bitrates demonstrates the maturity of the best encoders of today (2014) and the advances made over the last decade or so.
• All contenders except the FAAC anchors are well-tuned Variable Bitrate (Constant Quality) encoders. Do not worry about unusually low bitrates or unusually high bitrates within your music collection. In such mature encoders these are the result of smart decision-making, not errors. The bitrate versus quality scatter-plots show no appreciable bias to support the idea that low-bitrate is chosen in error. On average over a large collection, the target bitrate will still be close to the target.
• The results are specific to the encoder and settings used, not the format in general. This is very clear from FAAC performing much worse than Apple AAC. Ogg Vorbis has less variation among encoders and Opus has only two versions to date: Opus 1.0 was well tuned at launch, and Opus 1.1 is largely an incremental improvement.
• There is no significant evidence in this test of any encoder being more suitable for a certain genre of music.
• Other considerations may be important such as compatibility with many devices (MP3 is near-universal, AAC is very widely supported too) or patent-free status (Vorbis and Opus are widely considered patent-free and thus suitable for projects like Wikimedia or for use in games). The balance may shift over time, e.g. as new standards like WebRTC become adopted, Opus, being Mandatory to Implement may become more readily playable on more devices.
• Note that LC-AAC is capable of transparency. Apple HE-AAC may well not be capable of transparency, and in any case is worse than Apple LC-AAC above about 64 kbps, so you should not force HE mode assuming that if it has higher efficiency it must have higher quality. The default behaviour is usually well-chosen and HE-AAC's extra features are used to simulate high-frequency content when bitrate is very limited.
• Opus won with the encoder from the standard's developers. There are no poor-quality Opus encoders at present. Poor AAC encoders do exist, and in certain areas such as some video transcoders and video-streaming sites, are used more widely than is desirable for music encoding.
  This whole test was done using double-blind testing rather than sighted testing, so that deliberate or unintended bias cannot influence results. The results surprised a number of the listeners who took part, in fact, when un-blinded after the conclusion of the test.

TL;DR: Verlinkes Bild angucken. ~100kbit/s Opus signifikant besser als ~130kbit/s MP3, AAC recht genau dazwischen.