Test Audio à 128 Kbps : résultats !!! [& imminence d'un test à 64kb ]

Test Audio à 128 Kbps : résultats !!! [& imminence d'un test à 64kb ] - Traitement Audio - Video & Son

Marsh Posté le 24-07-2003 à 18:31:03    

Après l'épreuve préliminaire qui devait déterminer le meilleur des encodeur AAC/MP4 à 128 kbps (CBR), et qui s'était conclu sur la victoire de QuickTime CBR, voici la phase suivante, et certainement la plus appétissante. Celle-ci a pour but d'opposer directement les formats entre eux, à un débit "portable" : environ 128 kbps. A ce débit, deux heures de musiques peuvent être contenues sur un espace de 128 MB, à une qualité que la complexité des nouveaux formats d'encodages laisse présager très bonne - en tout cas, supérieure à celle du MP3 à ce même débit.
 
De nombreux formats peuvent prendre part à cette compétition. Néanmoins, tester simultanément 8 à 10 codecs, est une chose extrêmement pénible. En effet, il ne suffit pas de trouver les différences, il faut aussi les évaluer, et déterminer avec le plus de justesse possible une notation permettant de hiérarchiser les encodages rivaux. Cet effort étant demandé pour 12 échantillons différents, il a été décidé de restreindre le nombre de formats mis en compétition. En conséquence, il a été décidé de limiter ce nombre à CINQ, choisis pour leur qualité potentielle. Aux côtés du mp3 (le format le plus populaire), qui a été blindé à LAME (3.90.3) et armé des --alt-presets (ABR 128), s'affronteront donc :
 

  • Ogg Vorbis, version Post-CVS du 8 mars 2003, en VBR, indice -q 4,25
  • MPC, version 1.14 beta, au profil VBR --radio (ou --quality 4) --xlevel
  • MP4, codec QuickTime PRO 6.3, en CBR 128 qualité élevée (ou BEST)
  • WMA9Pro, codec officiel, en mode VBR 2 passes, à débit ciblé de 128 kbps (ABR)


Un sixième challenger figure en test ; il s'agit d'une référence négative, au son très appauvri, qui aura pour but de relativiser la notation de l'ensemble. En l'absence d'une telle référence, il est très fréquent de dramatiser le résultat des participants, et d'accorder au plus médiocre une notation trop basse et imméritée. Bref, mieux vaut avoir un vrai cancre sous la main (Blade mp3) pour ne pas risquer d'en nommer un injustement.
 
 
 
Le test est public. Chacun peut y participer. Il sera demandé de télécharger 12 archives, contenant chacun un échantillon et ses encodages. Le téléchargement de l'intégrale n'est pas obligatoire : vous pouvez toujours vous limiter au test d'un ou plusieurs passages. Vos résultats seront les bienvenus... Toutefois, ne commencez pas nécessairement par l'archive No.1, afi d'éviter d'avoir au final 100 résultats pour elle et 15 pour la dernière.
Les résultats seront acceptés jusqu'au 3 août. Passé cette date, vos score n'entreront plus dans la moyenne, mais vous pourrez toujours les comparer avec les résultats qui seront alors rendus publics.
 
La procédure n'a pas changé depuis : le soft reste ABC/HR, qui se charge de randomiser les encodages, et qui générera les feuilles de notes.
 
Le logiciel et les instructions pour l'obtention des fichiers sont téléchargeables sur ce lien :  
http://www.audiocoding.com/test/abc-hr_bin.zip
ou
http://audio.ciara.us/rarewares/abc-hr_bin.zip
 
Les instructions (en anglais) sont accessibles ici :  
http://rarewares.hydrogenaudio.org [...] ation.html
 
 
Si vous souhaitez participer au test, mais qu'une question ou un problème vous en empêche ou vous font hésiter, n'hésitez pas à tout formuler à la suite de ce topic : moi-même - et d'autres sans doute - sauront prêts à vous répondre.
 
N'oubliez pas non plus que ce test oppose les formats audios entre eux, et pas les oreilles des participants. Si vos résultats laissent apparaître que 3/4 des encodages sont parfaits, il n'y aura aucune honte à en tirer, mais que du plaisir ! Les oreilles les plus habituées aux défauts sont les seules à plaindre ;)
 
 
P.S. Soyez aimable de ne pas rendre publics vos résultats avant la clôture du test. Certaines personnes peu confiantes qui auraient obtenus des résultats différents des vôtres seraient tentées de croire que leurs réponses seraient "fausses". Or, il n'y a ni vérité ni fausseté dans un test comme celui-ci : seule importe votre subjectivité, lorsque les critères de scientificité sont remplis.


Message édité par gURuBoOleZZ le 02-09-2003 à 15:37:25
Reply

Marsh Posté le 24-07-2003 à 18:31:03   

Reply

Marsh Posté le 24-07-2003 à 19:09:21    

- provisoirement réservé -

Reply

Marsh Posté le 24-07-2003 à 19:14:11    

Semble bien sympatique tt ça... je ferais le test quand j'aurai un peu de tps :)

Reply

Marsh Posté le 24-07-2003 à 19:17:35    

ok, je ferais ca ce soir

Reply

Marsh Posté le 24-07-2003 à 19:18:53    

Je vais tenter le coups mais ça m'étonnerait que je trouve beaucoup de différences vu ma config actuelle :
cs sb pci128 et enceintes aux basses gonflées prêtes à exploser :whistle:  Mais c'est parti quand même...

Reply

Marsh Posté le 24-07-2003 à 19:26:47    

C´est parti pour le test , j´ai bien cru que mon 56K allait prendre feu  :D

Reply

Marsh Posté le 24-07-2003 à 19:30:18    

La carte son aura un impact mineur dans l'appréciation des défauts. Les enceintes - ou, mieux, le casque - ont à l'inverse une importance assez grande.
 
J'ai commencé le test sur mon PC portable, équipé d'un chip son assez médiocre (genre AC97), mais épaulé de mon gros Philips : aucun passage ne m'a semblé transparents. Pour certains en revanche, il me fallait chercher la petite bête.
 
N'hésitez pas à sélectionner une partie très courte, et à insister dessus, pour dégager toutes les subtilités existant entre l'original et son encodage. Cela aide !

Reply

Marsh Posté le 24-07-2003 à 19:35:05    

Il y a un petit bug dans oggenc.exe ; songez à vérifiez que les encodages OGG  VORBIS se font à -q 4,25 et non -q 4. Les plus débrouillards sauront éditer le fichier .bat, et remplacer le " . " par une " , ".

Reply

Marsh Posté le 24-07-2003 à 19:49:47    

Ce test est une véritable torture, encore pire que les précédents. Ce que je veux dire, c'est que c'est vraiment trop difficile de classer le différents échantillons.
Précision: il y a en tout environ 55Mb à télécharger pour faire ce test.


Message édité par hpl-nyarlathotep le 24-07-2003 à 19:50:15
Reply

Marsh Posté le 24-07-2003 à 19:51:06    

Dans le programme de test, pourquoi y a-t-il deux boutons "play" pour chaque sample ? (en plus de la ref)


Message édité par kant23 le 24-07-2003 à 20:06:21
Reply

Marsh Posté le 24-07-2003 à 19:51:06   

Reply

Marsh Posté le 24-07-2003 à 21:04:21    

kant23 a écrit :

Dans le programme de test, pourquoi y a-t-il deux boutons "play" pour chaque sample ? (en plus de la ref)


 
Tu as la référence, désignée comme telle.
Au dessus, tu as la référence et l'encodé, mais rien pour t'indiquer lequel correspond à quoi. Cela t'oblige à distinguer l'original (ou la référence) du fichier dégradé, en t'aidant de la référence, accessible par le bouton PLAY du bas.
 
Il n'est pas rare de donner une mauvaise note au fichier de référence ! Parfois même de commenter cette note, en y trouvant quantité de défauts bien entendu inexistants. Je me rapelle qu'il n'y a pas si longtemps, j'avais rédigé tout un paragraphe sur les dafauts supposés d'un fichier. J'ai réécouté une dizaine de fois le morceau 'dégradé' pour détailler ma prose, dont j'étais très fier. Une fois le verdict sous les yeux, j'ai vite déchanté... Une fois que l'on a des soupçons sur un encodage (ou un fichier brut), il est difficile de s'en défaire, et l'on finit par entendre réellement des défauts qu'on avait vaguement cru entendre au départ.
 
 
hpl-nyarlathotep > tu peux prendre ton temps. Il n'est pas nécessaire de boucler le test en une session ; c'est même assez éprouvant, et peut même nuire quant à sa pertinence.
Une fois que tu as distingué les encodages de chacune des paires, rien ne t'empêche de laisser ABC/HR en arrière plan quelque temps, et de revenir plus tard sur la notation.
Parfois aussi, les tests ABX - qui sont intensifs - permettent de mieux saisir les défauts, et donc d'ajuster la notation. Très souvent je me vois obligé de modifier mes notes suite au test ABX : certains défauts qui m'avaient semblés subtils à l'entame du test finissent par me paraitre grossiers.

Reply

Marsh Posté le 24-07-2003 à 23:03:59    

gURuBoOleZZ a écrit :

tu peux prendre ton temps. Il n'est pas nécessaire de boucler le test en une session ; c'est même assez éprouvant, et peut même nuire quant à sa pertinence.


C'est vrai. J'ai été quelque peu emporté par un enthousiasme débordant. Ce Roberto n'a vraiment pas son pareil pour motiver les foules ;)


Message édité par hpl-nyarlathotep le 24-07-2003 à 23:04:38
Reply

Marsh Posté le 25-07-2003 à 10:03:31    

Citation :

Précision: il y a en tout environ 55Mb à télécharger pour faire ce test.

 
Précisons à nouveau qu'il n'est pas obligatoire de faire le test en entier.

Reply

Marsh Posté le 25-07-2003 à 10:32:07    

drapal

Reply

Marsh Posté le 25-07-2003 à 10:49:54    

http://forum.hardware.fr/icones/flag1.gif aussi


---------------
カエル
Reply

Marsh Posté le 25-07-2003 à 17:38:36    

Je trouve vraiment dommage que certains testeurs aient rendu publics leurs résultats (pas ici). Cela enlève toute pertinence au test en influençant, peut-être inconsciemment, les autres testeurs.

Reply

Marsh Posté le 26-07-2003 à 12:00:36    

Comme pour la première partie du test, je vais essayer de participer !!!
 
Je download tout ça ce soir :)
 
Bon test à tous...

Reply

Marsh Posté le 26-07-2003 à 16:26:30    

kobaia a écrit :


sinon , sans que cela soit HS, l'aspect qualité n'est pas, n'est (presque)plus l'aspect le + déterminant , s'agissant de débits "distribuables" (vendables!) ;
(...)
bref si les differences qualitatives sont tenues ( tres probablement) , c'est à coup sur le DRM qui fera la différence ; je parle pas pour l'usage perso bien sur  


Fin du test : 3 août. Les résultats tomberont peu après cette date.
 
Sinon, tu as raison. Le vainqueur de ce test ne sera pas nécessairement le format qui s'imposera à l'avenir. Ce test n'a pas d'autres buts que de tester les challengers les plus solides (sauf LAME) à un débit donné, et appréciés pour leur seul rendu sonore. EMI, Sony, Warner, Microsoft... n'ont cure d'une telle épreuve, dont ils ignoreront sans doute l'existence.
 
Aux côtés de M$, tu as Sony également, dont le schème de protection est lui aussi très solide. D'ailleurs, Sony vient de s'appuyer sur elle pour lancer sa nouvelle plate-forme de vente en ligne. L'ATRAC3 utilisé par l'éditeur/fabricant n'a pas été inclut dans le test, essentiellement en raison de l'absence de codeur/decodeur en version CLI, et de la non-représentativité des codecs Real et ACM.

Reply

Marsh Posté le 26-07-2003 à 23:48:43    

http://forum.hardware.fr/icones/flag1.gif

Reply

Marsh Posté le 27-07-2003 à 02:17:04    

hpl-nyarlathotep a écrit :

Je trouve vraiment dommage que certains testeurs aient rendu publics leurs résultats (pas ici). Cela enlève toute pertinence au test en influençant, peut-être inconsciemment, les autres testeurs.


 
Peux-tu me communiquer un ou deux liens pointant vers ces résultats ? Je n'en ai trouvé aucun sur HA. Merci :)

Reply

Marsh Posté le 27-07-2003 à 02:56:25    

en tous cas, pour moi, un truc aussi important que l'encodeur pour le son, c'est le logiciel d'écoute :
je ne connais que winamp (il parait qu'il y en a des mieux mais je ne les connais pas trop) mais certaines versions ont un son pourri (2.91) chez moi alors que d'autres donnent un son nettement meilleur (vesrions 2.7X je crois)

Reply

Marsh Posté le 27-07-2003 à 10:21:45    

zzzzz -> Utilise Foobar
http://forum.hardware.fr/forum2.ph [...] h=&subcat=
 
Je pense aussi qu'il faut se méfier des filtres (resampler SSRC, 2 to 4 channels par ex) qui pourraient modifier le classement.

Reply

Marsh Posté le 27-07-2003 à 16:17:55    

gURuBoOleZZ a écrit :

Peux-tu me communiquer un ou deux liens pointant vers ces résultats ? Je n'en ai trouvé aucun sur HA. Merci :)


En fait, je ne pensais pas aux gens de HA, mais plutôt à des personnes de mon entourage que j'ai "forcés" à faire ce test et qui finalement sont venus me voir pour savoir s'ils avaient les "bons" résultats. Preuve que je n'avais pas été très clair en leur expliquant tout l'intérêt de ce test. C'est plus une histoire "privée" que "publique".

Reply

Marsh Posté le 29-07-2003 à 12:56:07    

Il reste un peu moins d'une semaine pour participer. Up !

Reply

Marsh Posté le 29-07-2003 à 14:30:17    

je ne pourrais hélas pas participer. je n'ai plus le net chez moi et au boulot, c'est le rush :(  
j'ai juste testé le 1er sample pour quand même me faire une idée. impossible pour moi de dire qui sera devant :sweat:  
 
pour me rassurer, je me persuade que ça vient de mon casque :whistle:

Reply

Marsh Posté le 29-07-2003 à 14:37:13    

c'est dans la continuité du test des != codec mp4 : outre le temps et la motivation, faut avoir de bonnes oreilles et du bon voir très bon matos (casque à plusieurs centaines d'? ?)

Reply

Marsh Posté le 29-07-2003 à 14:57:49    

Eric B a écrit :

c'est dans la continuité du test des != codec mp4 : outre le temps et la motivation, faut avoir de bonnes oreilles et du bon voir très bon matos (casque à plusieurs centaines d'? ?)


 
Je pense qu'il faut surtout avoir un peu d'exercice en la matière. Ce n'est pas avec de la motivation et des baskets à 200 ? que l'on sera performant en course à pied ; si l'entraînement fait défaut, les alliés matériels ne seront que très peu utiles. Par contre, une fois accoutumé aux défauts, l'aspect matériel est appréciable.
Sur le site de www.ff123.net on trouve une page d'entrainement aux artefacts, histoire de se familiariser avec ce type de défauts, pour mieux les reconnaître ensuite.
 
Un casque est le bienvenue, dès lors qu'il s'agit de saisir certaines altérations ponctuelles du signal. Inutile d'y mettre plusieurs centaines d'euros : un modèle qui voisine les 100 ? suffit très largement. Reste la carte son... A ce titre, je double chacun des tests :  

  • l'un est fait sur un portable, équipé d'un chip audio bas de gamme, mais épaulé d'un bon petit casque
  • l'autre est réalisé en m'aidant de ma carte son Terratec, d'un petit ampli et d'un casque un peu meilleur.


Sur les deux systèmes, il ne reste que rarement des fichiers que je ne parviens à détecter. La hierarchie peut se faire, et les résultats obtenus avec les deux environnements matériels se recoupe globalement assez bien. Preuve aussi que le classement établi repose sur des bases solides, et non sur un pur caprice.
 
Jusqu'à présent (je n'ai pas tout testé), les samples #05, #3 et #1 m'ont semblé être les plus faciles. Surtout le #5, réalisé de façon quasi expéditive.

Reply

Marsh Posté le 29-07-2003 à 15:49:41    

c'est clair qu'outre les oreilles, faut savoir quoi chercher je pense.
j'ai pas l'impression d'avoir de mauvaises oreilles, mais sur les extraits 1, j'ai pas vraiment fait de différence..
j'espère qu'avec ton lien, je vais commencer à apprendre à voir (enfin entendre) la diff, merci en tout cas :)

Reply

Marsh Posté le 31-07-2003 à 16:56:02    

Question : des personnes ont-elles achevée le test, histoire de discuter en privé des résultats, assez étonnants de mon côté ?

Reply

Marsh Posté le 31-07-2003 à 17:52:30    

gURuBoOleZZ a écrit :

Question : des personnes ont-elles achevée le test, histoire de discuter en privé des résultats, assez étonnants de mon côté ?


je n'ai fini que le sample 5
désolé :(

Reply

Marsh Posté le 31-07-2003 à 20:28:13    

Bon, je me lance dans le test (mais avec ma petite connexion, ça va être long...  :sarcastic: )

Reply

Marsh Posté le 31-07-2003 à 20:34:20    

Euh coment on met un drapal? pasque la j'ai pas le temps mais je veux retrouver ce topic...
Salut

gURuBoOleZZ a écrit :

Question : des personnes ont-elles achevée le test, histoire de discuter en privé des résultats, assez étonnants de mon côté ?


---------------
• • • "La démocratie c'est bien mais il faudrait que les gens soient pas cons..." © Alpacou aux Nouilles • • •
Reply

Marsh Posté le 31-07-2003 à 20:39:22    

Tang a écrit :

Euh coment on met un drapal? pasque la j'ai pas le temps mais je veux retrouver ce topic...
Salut


 
En postant dans ce topic tu vien d'en mettre un ;)

Reply

Marsh Posté le 31-07-2003 à 21:01:17    

Euh comment ca? C'ets au nombre de rponses?
Deja que le bourgeois hentilhomme fait de la prose sans le savoir alors si je mets des drapal sans le savoir rine ne va plus!
:lol:

dlb a écrit :


 
En postant dans ce topic tu vien d'en mettre un ;)


---------------
• • • "La démocratie c'est bien mais il faudrait que les gens soient pas cons..." © Alpacou aux Nouilles • • •
Reply

Marsh Posté le 31-07-2003 à 21:22:50    

dlb a écrit :

Bon, je me lance dans le test (mais avec ma petite connexion, ça va être long...  :sarcastic: )


 
c'est bien, t'es motivé.
Moi, j'ai tout téléchargé comme un bourrain, pour tester un peu, mais meme sur un cas "simple" (le #5 d'après Guru), j'entends pas de différences. Mais sans casque, c'est pas évident (surtout avec mes HP 4.1 à 60?...). Certes, il faudrait que je prenne le temps de m'entrainer. Dans qques mois peut etre. Je gardes les sample bien au chaud pour le jour ou j'aurais du meilleur matos/oreilles/entrainement.


Message édité par Eric B le 31-07-2003 à 21:23:09
Reply

Marsh Posté le 31-07-2003 à 21:39:47    

en effet, je vien de faire le 5, et il est très facile de faire la différence entre l'originale et les fichiers encodés

Reply

Marsh Posté le 31-07-2003 à 21:42:58    

dlb a écrit :

en effet, je vien de faire le 5, et il est très facile de faire la différence entre l'originale et les fichiers encodés


 
Par contre, les classer entre eux est une toute autre paire de manche. Là, il s'agit d'être plus attentif, mais aussi, il devient nécessaire de ne pas se limiter à une portion réduite du sample, et donc de juger en plusieurs endroits, à pondérer au besoin.

Reply

Marsh Posté le 31-07-2003 à 23:43:44    

Test finit :)

Reply

Marsh Posté le 01-08-2003 à 01:06:32    

Ppfffiiiooouu, pas la force de faire ce test... Trop mal à la tête, oreille bousillé... Cause : paléo, pour ceux qui connaissent !!!
 
 
Je vais garder les samples au chaud pour une autre fois, mais une fois les résultats connu, ce sera plus pareil :(
 
Bon test à tous...
 
RDV le 3 aout !

Reply

Marsh Posté le 01-08-2003 à 13:08:28    

Je remonte, et profite au passage pour renouveller ma question. Qui, ici, a envoyé ou compte encore envoyer des résultats, partiels ou complets, à l'organisateur de ce test ?
 
Je vois que HAL, dlb ont répondu positivement. Gabriel y participera certainement. Moi. Ce qui fait quatre.
Personne d'autre pour se frotter à du 128 kbps ?

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed