Aller au contenu | Aller au menu | Aller à la recherche

Relativisons les resultats du test acid3

Frédéric Bezies a fait remarquer que Netscape 7.0.1 (vieux de 6 ans) a un meilleur score au test acid3 par rapport à IE8 RC1.

On peut trouver ça dommage et se moquer de IE8, mais il faut quand même relativiser.

Alors, premièrement, une chose à savoir et à retenir par coeur :

Les tests acid ne prouvent absolument rien quant aux qualités techniques d'un moteur de rendu.

Le test acid3 en particulier effectue 100 tests sur le navigateur. C'est tout à fait ridicule d'en tirer une quelconque conclusion car avoir un avis objectif sur la qualité d'un moteur de rendu, consisterait à réaliser des centaines de milliers de tests, afin de vérifier la correcte implémentation des spécifications de CSS, HTML, SVG, XML, DOM, Javascript etc... Allez lire ces spécifications, et vous vous rendrez bien compte que 100 tests, c'est laaaaargement insuffisant..

Deuxièmement, parmi les tests qui ont échoués dans l'un ou l'autre des navigateurs, il faudrait voir quels sont exactement ces tests. Certains tests sont plus important que d'autres. Exemple, d'après vous : une bonne implémentation du DOM est-elle moins importante qu'une bonne implémentation des animations SVG ? Personnellement, je préfère une bonne implémentation du DOM plutôt que SVG, parce qu'on se sert du DOM bien plus souvent.

Et je doute que le résultat de Netscape 7 soit finalement meilleur que celui de IE8, quand on voit la "tête" du resultat. Celui de Netscape est horrible visuellement, et ne laisse donc présagé rien de bon. D'autant plus quand on sait que parmis les bugs corrigés dans Firefox 2 et 3 (présent donc dans Netscape) pour passer une bonne partie du test acid3, il y a des bugs sur des trucs triviaux, ou plutôt des trucs qui auraient dû être corrigé/implémenté il y a des années, des vrais bugs à la con sur le DOM, javascript et cie !

Il faudrait donc comparer la liste des tests échoués, en allant cliquer sur le A du mot "Acid" sur la page du test acid3

Alors taper sur IE8, c'est rigolo, mais il est bien de temps en temps de faire des analyses un peu plus poussées (malheureusement, je n'ai pas IE8 sous la main)

Au sujet de Firefox 3.1, celui-ci n'a pas un résultat 100/100 au test acid3. Les tests qui ne passent pas concernent en majorité les animations SVG. Cela en fait-il un moteur de rendu moins bon que celui d'Opera qui a un score de 100/100 ? Pour moi non, car on ne peut pas dire que les animations SVG soient cruciales pour le développement de la majorité des applications web. Déjà que l'utilisation de SVG est très anecdotique sur le web, alors les animations... (les animations de SVG sont prévus dans la version qui suivra Firefox 3.1, et elles sont déjà en partie présentes dans les nightlies).

Commentaires

1. Le dimanche, février 1 2009, 13:04 par peter

c'est marrant, mais lire des articles de cet acabit avec le nouvel habillage ... je sais pas ... ça me dérange. j'avais vraiment associé l'ancien thème-œuvre-d'art à la notion de technicité :)

sinon, j'ai presque fini de cruder mes bases, il ne me reste plus qu'à comprendre la très limpide explication de jAuth ;)

oui, ça n'intéresse personne mais je suis sur internet DONC j'ai le droit de dire ce que je veux où je veux :P

2. Le dimanche, février 1 2009, 13:10 par Philip_Marlowe

Complètement hors-sujet. Le nouveau thème de ton blog est vraiment très bon. Clair, lisible, élégant, il est particulièrement réussi. Comme je te lis normalement via akregator, qui zappe la feuille de style, peut-être est-il là depuis un certain temps ?

3. Le dimanche, février 1 2009, 13:58 par Laurentj

@peter : pour les nostalgiques, je vais essayer de mettre l'ancienne feuille de style en alternatif... dés que j'aurais le temps..

@Philip: non, ça fait quelques jours seulement

4. Le dimanche, février 1 2009, 15:00 par Rik

Ah cool, ça fait du bien de lire ce genre de commentaires. Je suis relativement d'accord avec toi même si je trouve que tu fais un peu trop bien l'avocat du diable ;)

Oui, IE8 n'est pas si nul que ça. Oui, ils ont fait de gros efforts, mais ça reste quand même très en arrière par rapport aux autres. Justement tu dis qu'un bon support DOM est plus intéressant qu'un support SVG (et je te rejoins). Pour autant, le support DOM de IE8 va encore être un gros casse-tête pour les développeurs, rien que par la mauvaise gestion de DOM Events.

Là où je ne te suis pas du tout par contre, c'est sur SVG et les animations SVG. Oui, ces technos ne sont pas primordiales aujourd'hui. Mais on revient au problème de l'œuf et de la poule. Pour utiliser ces technos, il faut que les navigateurs les implémentent. Pour que les navigateurs les implémentent, il faut qu'il y ait une demande, une utilisation. Les tests Acid permettent cela en mettant en avant un chiffre, une image, simple à lire pour les journalistes, les visiteurs en tout genre. Cela pèse dans les décisions des sociétés. On l'a vu clairement sur la petite course entre Opera et WebKit. Je pense qu'on le voit aussi aujourd'hui sur la réussite de IE8 sur Acid2. Les choix du management sont influencés par la réputation des test Acid.

Bien entendu, ces tests ne sont pas parfaits, complets, etc. Mais ils ont le grand avantage (comme un SunSpider) de faire pression sur le marketing des entreprises pour un résultat qui nous est favorable. Et donc, SVG et animations dans Acid3, ce n'est pas représentatif du web aujourd'hui mais c'est important que ce soit dans ce test. Je pense (ou du moins j'espère) que Microsoft orientera ses futurs développements pour passer Acid3 à cause de la "pression médiatique" que cela représente.

PS : Je ne parle pas de Firefox pour Acid3, on le savait la priorité était de sortir Firefox3 et c'est normal.

5. Le dimanche, février 1 2009, 18:20 par Laurentj

Oui tu as raison, SVG et les animations SVG sont importantes, car cela permettra de faire des choses bien plus sympa (et on aura moins avoir à faire du flash pour des animations simples). Cependant, avoir un bon support DOM, JS et HTML, c'est plus important car c'est la base dans une page web.

Et si j'ai bien compris, Microsoft a préféré se concentrer sur l'amélioration du support de cette base. Et c'est une bonne chose, plutôt que de vouloir implémenter tout incomplètement. Mais ils sont tellement en retard qu'ils ont encore énormément de chemin à parcourir, c'est sûr. Après il y a peut etre aussi une histoire politique derrière ça (puisque ça concurrence leur propre techno silverlight), qui fait que tout ne va pas aussi vite que l'on voudrait. (il suffirait d'un rien pour certaines choses, comme les animations SVG, puisque IE implémente SMIL depuis des années).

6. Le lundi, février 2 2009, 10:13 par Soso

Hello, j'aurais voulu savoir ce que signifiait exactement pour toi "il y a des bugs sur des trucs triviaux, ou plutôt des trucs qui auraient dû être corrigé/implémenté il y a des années, des vrais bugs à la con sur le DOM, javascript et cie !".
T'as des exemples ?

7. Le lundi, février 2 2009, 10:33 par Laurentj

@soso : si j'ai mis un lien sur la liste des bugs, c'est pas pour rien ;-)

8. Le lundi, février 2 2009, 13:26 par g0d0t

"Cependant, avoir un bon support DOM, JS et HTML, c'est plus important car c'est la base dans une page web."
"Microsoft a préféré se concentrer sur l'amélioration du support de cette base"

Porter plus de soin à la base peut être bien, dans la mesure où celà ne signifie pas négliger le reste.
On ne peut pas dire que MS néglige le reste, il y a même des innovations intéressantes dans IE, mais 'certaines' parties sont négligées dans le support de standards ou recommandations.

Se moquer de MS est probablement inadapté car ils vont plutôt dans le bon sens sur ce coup là.
Mais faut-il en vouloir aux acteurs Web d'avoir une rancoeur face aux années de stagnation de IE?
C'est entre autres ce long arrêt dans l'amélioration de IE qui à la fois oblige MS à négliger certaines parties (car impossible de combler le retard sur tous les points en même temps), et à la fois génère de la rancoeur et de la moquerie.
Difficile de condamner ces réactions alors que tout le monde pâtit de ça depuis des années.

9. Le mardi, février 3 2009, 12:54 par Florent V.

Merci pour la dose de bon sens. :)

10. Le mardi, février 3 2009, 14:45 par Christophe

Heu... Bien entendu, Acid 3 ne prend pas en compte toutes les spécifications W3C. Qu'Acid 3 ne ne soit pas test total...tout le monde le sait. Tu enfonces une porte ouverte.

As-tu autre chose à proposer comme outil de mesure ?

Si la situation était inverse, si IE8 le passait sans encombres (si qui est loin d'être le cas) et non les autres... j'en vois d'ici qui frotteraient la gigue !

Comme il n'existe aucun autre outil de mesure... faute de mieux, on fait avec.

Comme le dit David Baron (gourou CSS de chez Mozilla), c'est déjà ça :

Je pense que certaines personnes considèrent ces tests Acid comme étant une façon équitable de mesurer le respect des standards par des navigateurs. Je ne pense pas que cela soit le cas. A dire vrai, je ne pense pas qu'il soit même possible de construire un tel test qui soit équitable. Cela supposerait qu'on ait quelqu'un qui décide quels sont les standards qui comptent (pour les inclure dans le test), et lesquels sont plus importants que les autres (pour décider de leurs poids relatifs dans le test). Comme Mike Shaver le faisait remarquer (parmi bien des choses avec lesquelles je suis le plus souvent d'accord), les tests dans Acid3 ne devaient pas passer dans Firefox et Safari, ce qui ne facilite pas l'aspect équitable de ce tests envers ces deux navigateurs. Mais partons de l'hypothèse que ces tests Acid sont une bonne façon de mesurer le respect des standards par les navigateurs. Après tout, ils sont mieux que rien.

http://standblog.org/blog/post/2008...

11. Le mercredi, février 4 2009, 10:24 par Laurentj

>tout le monde le sait. Tu enfonces une porte ouverte.

non, absolument non. Quand je vois les nombreux commentaires un peu partout. Non. Définitivement non.

>As-tu autre chose à proposer comme outil de mesure ?

voilà, tu vois, même toi tu fais l'erreur. Acid3 n'est pas un outils de mesure. C'est un test, c'est tout.

Les outils de mesure ? oui, les milliers de tests unitaires déjà existant (pour CSS par exemple), les dizaines de milliers de tests que Mozilla s'est fait par exemple (et executés à chaque modifications dans les sources, et sur de multiples plateformes) etc..

Mais évidement ce n'est pas pour le "grand public", parce que ça prend beaucoup de temps de les exécuter.

12. Le mercredi, février 4 2009, 11:51 par g0d0t

Le but premier des tests Acid est d'attirer l'attention sur le respect des standards, et le moins qu'on puisse dire c'est que c'est réussi.
A partir de là pointer du doigt le fait que IE (même 8) est lanterne rouge ne peut pas faire grand mal, même si le score qu'il obtient ne rime pas à grand chose.
Pour le grand public c'est des tests visuels assez accessibles. Pour les professionnels du web, la pertinance des tests Acid a déjà été maintes fois discutée et ils devraient savoir à quoi s'en tenir.

L'article de Frédéric manquait probablement d'un avertissement de rappel sur ces tests, c'est tout.

D'ailleurs sur le site éditeur des tests, l'esprit et les limitations des tests sont plutôt bien résumés :
http://www.webstandards.org/action/...
Notamment le dernier article en date : http://www.webstandards.org/2008/10...

13. Le mercredi, février 4 2009, 17:14 par Christophe

En quoi ce test n'est-il pas une façon de mesurer ? Je ne te comprends décidément pas. Que cette mesure soit ou non fiable pour ce qui est d'une "full" compatibility, ça c'est une autre affaire, c'est là qu'est ton/votre erreur.

Que tu le veuilles ou non, l'ami, c'est une manière de confronter un navigateur à certaines technologiques ! Et le plus beau dans cette affaire, c'est que même les développeurs desdits logiciels s'en servent (cf. David Baron). Et toi tu viens nous dire que ça vaut rien... soit.

Tiens, cet argument des tests unitaires je l'ai déjà lu ailleurs... Mais donne-nous des références ! De quels tests parles-tu exactement ? Un lien ? Un source ? On attend de voir...

14. Le mercredi, février 4 2009, 22:38 par Laurentj

>En quoi ce test n'est-il pas une façon de mesurer ?

"mesurer" pour moi veut dire que l'on a un résultat chiffré *significatif* à la fin. Ce n'est pas en une centaine de tests que l'on peut avoir un resultat *significatif* de la bonne implementation des standards.

les tests acid donnent juste une *indication*.

>Que cette mesure soit ou non fiable pour ce qui est d'une "full" compatibility, ça c'est une autre affaire, c'est là qu'est ton/votre erreur.

Erreur de quoi ? En quoi c'est une autre affaire ? C'est justement l'objet du débat.

> c'est une manière de confronter un navigateur à certaines technologiques !

Je n'ai pas dit le contraire

>Et le plus beau dans cette affaire, c'est que même les développeurs desdits logiciels s'en servent

Oui, ce n'est pas pour rien d'ailleurs que j'ai indiqué le lien vers le ticket en question chez Mozilla. Et merci de la précision, mais je suis un peu au courant : je suis moi même contributeur au code de Firefox, et je rencontre de temps en temps des personnes comme David Baron, à différents meeting des développeurs de Mozilla. Bref, je sais moi aussi de quoi je parle.

>Et toi tu viens nous dire que ça vaut rien

Je n'ai absolument pas dit que ça ne valait rien. J'ai juste dit que beaucoup trop de monde lui prêtait une mauvaise signification.

> Mais donne-nous des références !

Tu ne sais pas utiliser un moteur de recherche ?

Premier site où regarder : w3.org. Regarde pour chaque spécification. Il y a très souvent de series de tests qui les accompagnent. Je vais pas t'en faire la liste des liens, je pense que tu es assez grand pour naviguer. Mais voici ceux de css : http://www.w3.org/Style/CSS/Test

Sinon, tu peux toujours aller demander à google "microsoft css tests" : cela a fait quand meme grand bruit quand ils ont annoncés qu'ils allaient livrer au W3C des milliers de tests supplementaires pour CSS. http://samples.msdn.microsoft.com/i...

En ce qui concerne Mozilla, je vais quand même pas te faire des liens vers les dizaines de repertoires "tests". Cherche toi même dans les sources : http://mxr.mozilla.org/mozilla-cent... Le mode d'emploi des tests : https://developer.mozilla.org/En/Mo...

Ça va aller ? Je t'ai donné assez de liens ?

15. Le jeudi, février 5 2009, 20:59 par Christophe

Oui oui tu m'as donné assez de liens pour me convaincre que tu connais le sujet.

Reste que tu chipotes entre "mesure" et "indication". Les quelques 100 tests d'Acid 3 ne sont pas vains...

Quand tu dis : "Les tests acid ne prouvent absolument rien quant aux qualités techniques d'un moteur de rendu."

Tu vas bien trop loin... Je les crois même significatifs. Sinon à quoi bon maintenir de tels tests ?

À moins de laisser croire que ces gens qui le fabriquent ce test sont de complets idiots et de parfaits incompétents.

Ce qui est testé n'est pas complètement inutile quand même, reconnais-le ! Enfin ça donne une mesure/indication sur certaines qualités de ce machin !

Certainement insuffisant pour avoir une vision complète, on est d'accord.

Au fond, c'est à croire que ce qui te chiffonnes, c'est que ce test puisse être suffisant à beaucoup pour descendre un navigateur qui emmerde le monde depuis des années et qui ne tient son maintien que par une intégration forcée sur la majorité des machines grand public...