| Revue des outils de recueil et des métriques d'utilisabilité |
|
|
| Écrit par JB Hau� | |
| 13-03-2008 | |
|
Article 2 de la série L’automatisation dans les analyses ergonomiques
Les progrès réalisés dans les outils de tracking ont permis d’accroître les informations collectées au cours du parcours web des utilisateurs, en se libérant de la charge de travail requise par les techniques ergonomiques traditionnelles. Une fois cette somme de donnée rendue disponible, des métriques ont été proposées afin de les analyser, dont certaines visant à évaluer la qualité ergonomique de l’interface considérée. Cet article passe en revue les outils de collecte existant et les métriques développées pour exploiter leurs données. Techniques de recueil de donnéesAvant de traiter des métriques, il est indispensable de préciser les données sur lesquelles elles s’appuient. Ces données sont caractérisées ci-dessous selon deux axes. Le premier concerne les solutions techniques développées par les outils de Web Analytics. Le second traite ensuite les techniques ergonomiques potentiellement visées par l’automatisation. Le principe de base des outils de Web Analytics est de recueillir des traces de la navigation des utilisateurs sur le site web. Plusieurs techniques sont utilisées, avec chacune ses forces et faiblesses, parfois de manière complémentaire :
Certaines techniques ergonomiques « traditionnelles », supposant l’accompagnement d’utilisateurs par un ergonome, ont également été transposées dans des modalités de recueil automatique. Cela permet leur déploiement à plus grande échelle, ce qui est nécessaire pour obtenir des données quantitatives fiables. Le lecteur pourra se référer à une revue systématique de l’automatisation des techniques d’évaluation de l’utilisabilité (Ivory and Hearst 2001). Ce passage de l’homme à la machine amène cependant des discussions sur la qualité des données recueillies. S’il existe de nombreuses techniques et variantes, il est possible de citer :
Au-delà de la définition « technique » des données
recueillies, les conditions de leur capture prend également une importance
considérable. D’un coté, les techniques de Web
Analytics s’intéressent généralement au trafic réel, ce qui permet d’éviter d’éventuel biais dû à un
protocole ou à des conditions d’observation. Cependant, elles ne permettent pas
d’obtenir plus d’information sur l’origine, les habitudes ou l’état d’esprit de
l’utilisateur que ce qu’il est possible d’inférer du croisement de son adresse
IP, de la présence de cookies, des pages visitées, etc. (en n’oubliant pas que
le croisement de données amène des contraintes légales, encadrées en France par
Métriques existantesChaque métrique d’utilisabilité recensée ci-dessous est caractérisée par rapport aux données utilisées, parmi celles détaillées plus haut, mais aussi par rapport à leur objectif principal. Leur principales forces et faiblesses sont également présentées.
Métrique globale
d’utilisabilité : le taux de conversion Dans le standard proposé récemment par la Web Analytics Association (WAA) qui définie 26 métriques web, le taux de conversion est celui qui peut être appliqué le plus immédiatement à une problématique d’utilisabilité. Un taux de conversion se définit comme la proportion d’utilisateurs réalisant un objectif donné, comme par exemple arriver à la page de validation d’un achat. Cette métrique, proposée en standard par les outils de Web Analytics est facile à utiliser. Il suffit de définir comme critère de réussite la détection de la visite de la page donnée, information fournie par les différentes techniques de tracking. En raison de sa nature synthétique, le taux de conversion peut également être très facilement intégré dans des processus décisionnels de l’entreprise. Sa principale limitation est bien sur que si un utilisateur n’accomplit pas l’objectif, ce n’est pas forcement parce qu’il en a été empêché mais peut être tout simplement parce que cela ne l’intéressait pas. Au final, les taux de conversion doivent être utilisés avec grandes précautions. L’hypothèse que la quantification des pertes constitue une mesure de l’utilisabilité ne semble réaliste que dans les cas bien précis où le taux est mesuré par rapport à une population entamant une procédure nécessitant une motivation certaine. Par exemple, des pertes excessives dans le « tunnel d’achat », la série de questionnaire à remplir pour valider un achat en ligne, peut effectivement indiquer des problèmes d’utilisabilité.
Les métriques de
performance L’utilisation de données recueillies lors de la réalisation de tâches dotées d’objectifs précis permet de mesurer la performance des utilisateurs et donc de la performance du site, dans la limite de la significativité de l’échantillon. L’intérêt est tout d’abord que l’orientation de l’activité donnée par la consigne, pour peu que le protocole ait été préparé et validé avec soin, permet d’inférer raisonnablement que les échecs à la tâche sont bien dus à des difficultés d’utilisation du site web. De plus, ces métriques permettent de localiser les problèmes d’utilisabilité. Il est en effet possible de différentier et de comparer le niveau de réussite selon les tâches et les groupes d’utilisateurs recrutés. La mise en place du protocole permet donc d’adapter la métrique pour couvrir les objectifs principaux et la population cible du site web. Une métrique de performance couramment utilisée (West et Lehman, op.cit. ; Tullis et al., op. cit. ; jeng 2005) s’inspire de la définition de l’utilisabilité par la norme ISO 9241 (1998). Elle intègre différentes composantes, basées sur les types de données qu’il est possible de recueillir lors des tests :
Des propositions ont également été faites pour agréger ces indicateurs, ainsi que d’autre dans une métrique unique (Sauro et Kindlund, 2005). Cela permet de définir un indicateur synthétique destiné par exemple à comparer des solutions au cours d’un benchmark, mais qui repose sur le choix des métriques retenues et des poids relatifs qui leurs sont associés.
Les « micro-métriques » Pour aller plus loin dans l’identification des problèmes d’utilisabilité il est nécessaire d’obtenir des informations plus riches que les mesures de performances, qui ne qualifient que le parcours d’une tâche dans sa globalité. Une première possibilité est d’utiliser les verbalisations des utilisateurs à propos des difficultés rencontrées (questionnaire en ligne). Cette solution présente néanmoins deux inconvénients. Tout d’abord il est nécessaire d’analyser les données à la main ce qui représente un effort important et limite les possibilités et l’exhaustivité d’une quantification. Mais le problème principal est que la verbalisation libre des utilisateurs est souvent en décalage important avec leurs actions, même réalisée quelques minutes auparavant. Une seconde possibilité est d’utiliser des données fines sur le comportement des utilisateurs, telles que celles fournies par les techniques de Web Analytics, dans le but d’inférer la présence de problème d’utilisabilité. Par contre, les données recueillies de manière automatique ne constituent pas immédiatement une mesure révélatrice du comportement. Il est alors nécessaire d’effectuer un travail d’analyse et de recouper ces données avec des connaissances du site évalué ou liées au cadre de test. Les patterns suivant sont citées comme permettant d’identifier des difficultés d’utilisation :
Conclusion Il existe effectivement une variété d’outils et de techniques permettant de définir des métriques touchant à l’utilisabilité. Les données très riches que peuvent fournir les techniques de Web Analytiques ne doivent pas masquer la nécessité d’effectuer un travail de paramétrage et d’analyse avant de pouvoir inférer des conclusions en termes d’utilisabilité. L’automatisation des techniques de passation de test fournie des mesures de performance également intéressantes. A nouveau, leur pertinence repose sur le travail de préparation du protocole, notamment en ce qui concerne le recrutement et la définition des tâches. Finalement, la combinaison des techniques de recueil de données fines, de type Web Analytics, et l’utilisation d’un cadre de passation de test fournit la solution la plus complète pour mettre en place une métrique de performance de l’utilisabilité d’un site web [1]. A partir de cet état des lieux, le prochain article s’attachera à préciser la définition d’une métrique dédiée spécifiquement à mesurer l’utilisabilité d’un site web. Il creusera également les prérequis et les limites d’une telle métrique.
Bibliographie Atterer, R., Wnuk, M., and Schmidt, A. (2006). Knowing the user's every move: user activity tracking for website usability evaluation and implicit interaction. In Proceedings of the 15th International Conference on World Wide Web (Edinburgh, Scotland, May 23 - 26, 2006). WWW '06. ACM Press, New York, NY, 203-212. Hong, J. I. and Landay, J. A. (2001). "WebQuilt: A Framework for Capturing and Visualizing the Web Experience." In Proceedings of The Tenth International World Wide Web Conference (WWW10), Hong Kong, May 2001, pp. 717-724 ISO 9241-11:1998, Exigences ergonomiques pour travail de bureau avec terminaux à écrans de visualisation (TEV) – Partie 11: lignes directrices relatives à l’utilisabilité. Ivory, M. Y. and Hearst, M. A . (2001). "The State of the Art in Automated Usability Evaluation of User Interfaces." In ACM Computing Surveys, 33(4), December 2001, pp. 1-47
Jeng,
J (2005). “Usability Assessment of Academic Digital Libraries: Effectiveness, Sauro, J. and Kindlund, E. (2005). A method to standardize usability metrics into a single score. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Portland, Oregon, USA, April 02 - 07, 2005). CHI '05. ACM, New York, NY, 401-409
Tullis, T. S., Fleischman, S., McNulty, M., Cianchette, C.,
and Bergel, M. (2002) An Empirical Comparison of Lab and Remote Usability
Testing of Web Sites. Usability Professionals Association Conference, July
2002, Orlando, FL.
Tullis,
Thomas S., and Stetson, Jacqueline N. (2004). “A Comparison of Questionnaires
for Assessing Website Usability,” Juin 7, 2004.
West, R. and Lehman, K. 2006. Automated summative
usability studies: an empirical evaluation. In Proceedings of the SIGCHI
Conference on Human Factors in Computing Systems (Montréal, Québec, Canada,
April 22 - 27, 2006). R. Grinter, T. Rodden, P. Aoki, E. Cutrell, R. Jeffries,
and G. Olson, Eds. CHI '06. ACM, New York, NY
[1] La combinaison d'un cadre de test avec tâches, pour définir des taux de performance, et d'outils de type Web Analytics, pour établir finement les problèmes rencontrés, est l'approche qui a été choisie à Yuseo pour développer son outil d'étude quantitative.
|