L’Observatoire de la qualité des démarches en ligne : les objectifs d’accessibilité des sites web publics revus à la baisse

D’après un rapport du Sénat de 2020, « 14 millions de Français ne maîtrisent pas le numérique et près d’un Français sur deux n’est pas à l’aise » avec le numérique. Pourtant, la numérisation des démarches administratives est en bonne voie. En effet, le Président de la République s’est engagé à rendre disponible en ligne l’intégralité des services publics du quotidien d’ici 2022.

Ainsi, le ministère de la Transformation et de la Fonction publiques a créé l’Observatoire de la qualité des démarches en ligne pour permettre de « suivre la qualité de la numérisation des 250 démarches les plus utilisées ». Sur le site de l’Observatoire, on peut lire que c’est « un service proposé par l’équipe design des services numériques de la direction interministérielle du numérique (DINUM). » Cet Observatoire contient une colonne « Prise en compte handicaps » qui doit indiquer le niveau d’accessibilité de ces démarches pour les personnes handicapées.

Le gouvernement se félicite des avancées en matière d’accessibilité numérique, mais que montrent les résultats de l’analyse des données affichées par cet Observatoire ?

Comment mesure-t-on l’accessibilité d’un site web ?

Avant toute chose, revenons d’abord sur les bases pour bien comprendre.

L’accessibilité web est un droit fondamental pour les personnes handicapées d’accéder à tous les contenus et services des sites web sans barrière. Les handicaps sont nombreux et variés et impliquent des besoins d’accessibilité tout aussi variés. Par exemple, une personne sourde a besoin que les vidéos soient sous-titrées, une personne aveugle a besoin que les champs de formulaire soient libellés correctement, une personne qui a un trouble de l’attention a besoin que les images animées (aussi appelées GIF) puissent être mises en pause, etc.

Ainsi, des règles d’accessibilité internationales (devenues une norme) ont été rédigées dès 1999 afin de prendre en compte les différents besoins d’accessibilité. Elles sont régulièrement mises à jour et s’appellent les WCAG (Web Content Accessibility Guidelines, les règles d’accessibilité pour les contenus web). En France, via l’article 47 de la loi n°2005-102, ces règles internationales ont été retranscrites à partir de 2009 dans un référentiel officiel en français : le RGAA (Référentiel Général d’Amélioration de l’Accessibilité).

L’accessibilité d’un site web se mesure donc grâce à des audits réalisés par des personnes expertes vérifiant la conformité du site à ce référentiel (ou à la norme).

En effet, l’obligation de conformité aux règles d’accessibilité web est inscrite dans la loi depuis 2005. Elle concernait alors uniquement les organismes publics. Depuis 2019, suite à la parution du décret d’application de la loi modifiée en 2016 puis 2018, celle-ci concerne désormais aussi les organismes privés avec un chiffre d’affaires supérieur à 250 millions d’euros ou ceux qui remplissent une mission d’intérêt général. En même temps, la loi a introduit une régression : si l’obligation de se conformer au RGAA demeure, la sanction en cas de non-conformité, elle, n’existe plus. Il s’agit désormais de publier des documents prouvant les actions que l’organisme met en place. Et, c’est la non-publication de ces documents qui est sanctionnable (jusqu’à 20 000€ par site et par an), mais pas l’absence de conformité aux règles d’accessibilité.

Parmi ces documents obligatoires, il y a la déclaration d’accessibilité. Celle-ci indique, entre autres, le niveau de conformité d’un site avec le RGAA, si un audit a été réalisé. Pour connaître ce niveau, un audit est réalisé à partir d’un échantillon représentatif de pages pour vérifier les 106 critères du RGAA sur chacune de ces pages.

Avec la dernière mise à jour de la loi, le RGAA a également été mis à jour dans une version 4. Auparavant, le niveau de conformité d’un site était donné par un taux de conformité aux critères du RGAA que nous appellerons « global ». Désormais, il y a un deuxième taux, celui-ci facultatif comme en témoigne le modèle de déclaration d’accessibilité officiel, appelé « taux moyen ».

Avec le taux global, si un critère est invalidé sur une page de l’échantillon, il est considéré comme invalide à l’échelle de tout l’échantillon. Avec le taux moyen, au contraire, on fait une moyenne du score pour chaque page. Ainsi, le taux moyen est plus élevé et permet donc d’afficher un résultat plus « présentable ». De plus, une moyenne est malléable. En effet, il suffit d’ajouter une page avec un bon niveau pour avoir un taux plus élevé ; ce qui n’est pas possible avec le calcul du taux global.

La loi et le RGAA précisent également que la page d’accueil d’un site web concerné par la loi doit afficher l’une des mentions suivantes :

• « Accessibilité : totalement conforme » si tous les critères de contrôle du RGAA sont respectés ;
• « Accessibilité : partiellement conforme » si au moins 50 % des critères de contrôle du RGAA sont respectés ;
• « Accessibilité : non conforme » s’il n’existe aucun résultat d’audit en cours de validité permettant de mesurer le respect des critères ou si moins de 50 % des critères de contrôle du RGAA sont respectés.

Ainsi, seul le taux de conformité global permet de savoir le pourcentage de critères de contrôles du RGAA respectés à l’échelle d’un échantillon global et non le taux moyen.

Revenons-en maintenant à l’Observatoire.

L’Observatoire de la qualité des démarches en ligne et l’accessibilité des démarches

L’Observatoire de la qualité des démarches en ligne possède un relevé sur l’accessibilité des 250 démarches publiques les plus utilisées.

La colonne « Prise en compte handicaps »

Ce relevé se fait via la colonne « Prise en compte handicaps ». Dans la page, bien cachée, « En savoir plus sur nos critères d’évaluation », on apprend ceci :

L’indicateur proposé permet de mesurer la conformité des démarches au regard des obligations d’accessibilité. Il se mesure à l’aide de deux sous critères :

• Sous-critère 1 : Présence d’une déclaration d’accessibilité valide de moins de 3 ans
• Sous-critère 2 : Taux de conformité supérieur à 75% atteint dans la déclaration d’accessibilité

La démarche est au vert (« oui ») si les deux critères sont respectés, à orange (« partiel ») si seul le premier critère est respecté et à rouge (« non ») si aucun des deux critères n’est respecté.

Afin de bien comprendre, il faut savoir que, la publication de la déclaration d’accessibilité étant obligatoire sous peine d’amende, de nombreux sites en ont une qui dit simplement qu’aucun audit n’a été réalisé.

Dans l’Observatoire, ces démarches auront donc un statut de « Prise en compte handicaps » avec la valeur « Partiel » même si elles n’ont pas été auditées. De plus, si une démarche a un taux de conformité de 75% dans sa déclaration, elle obtient donc un fier « oui » alors même que, parmi les 25% de conformité manquants peuvent se trouver des problèmes bloquants comme, par exemple, un piège au clavier : un problème dans le site qui fait que la navigation au clavier est impossible et qui bloque les personnes aveugles ou les personnes qui ont un handicap moteur ne permettant pas l’utilisation d’une souris.

Par ailleurs, il n’est question ici que des démarches. Ainsi, si une démarche est 100% conforme mais que le site sur lequel elle se trouve ne l’est pas, il pourrait être totalement impossible d’accéder à la démarche pour certaines personnes handicapées.

De plus, comme nous l’avons vu, selon la loi et le RGAA, les sites web doivent afficher un statut sur leur page d’accueil qui correspond à une échelle de valeurs précise. Malheureusement, pour l’Observatoire, il a été décidé un choix d’affichage qui contredit la loi. En effet, pourquoi une démarche avec entre 75% et 99% de conformité au RGAA aurait-elle un « oui » dans l’Observatoire alors qu’elle est « partiellement conforme » selon la loi ? Et, pourquoi une démarche qui n’a pas été auditée ou qui a un score inférieur à 50% aurait-elle un « Partiel » dans l’Observatoire alors qu’elle est « non conforme » selon la loi ?

Les engagements du gouvernement avec cet Observatoire

Alors que, selon l’historique de la loi, la totalité des sites web d’organismes publics devraient être accessibles depuis 2011-2012, cet Observatoire a permis de revoir les objectifs d’accessibilité (non atteints) de ces sites à la baisse.

En effet, le 21 septembre 2020, le Secrétariat d’État chargé des personnes handicapées publiait sur son site que « les ministres ont confirmé l’engagement pris lors de la Conférence Nationale du Handicap, du 11 février, de rendre accessibles au moins 80% des démarches en ligne les plus utilisées par les Français d’ici la fin du mandat », soit 2022.

Rappelons qu’il n’est question ici que des démarches et non pas des sites web entiers. De plus, « accessibles » signifie-t-il 75% de conformité au RGAA, comme le laisse croire l’Observatoire ? Dans ce cas, on ne peut pas considérer qu’elles seront effectivement accessibles. Ces engagements sont bien en deçà de ce qui est prévu par la loi.

Analyse des données de l’Observatoire : des résultats pas à la hauteur des enjeux

Ces engagements sont-ils, malgré tout, sur la bonne voie pour être tenus ? À ce jour, quels sont les résultats réels des démarches présentes dans l’Observatoire ?

Les résultats officiels

L’Observatoire affiche, à ce jour, des données datées du mois d’octobre 2021 et, pour sa colonne « Prise en compte handicaps », nous trouvons :

• 48 démarches avec un « non » ;
• 113 avec un « partiel » ;
• 40 avec un « oui ».

Avec ces chiffres, nous avons donc 20% de démarches dites « accessibles » (avec un « oui »).

L’analyse des données

Cependant, grâce à une analyse détaillée des données consistant à comparer celles qui sont affichées dans l’Observatoire par rapport à celles affichées sur le site web de la démarche, de nombreux problèmes ont été mis en lumière. À titre d’information, les données ont été contrôlées le 28 novembre 2021 (tableau d’analyse disponible en téléchargement en fin d’article).

L’analyse a été faite en relevant différents points parmi les 201 démarches dont la colonne « Prise en compte handicaps » possède une valeur.

Parmi ces démarches, on peut déjà en ressortir qu’une démarche affichant un « oui » n’a pas été auditée et 47 autres affichant un « partiel » ne l’ont pas été non plus.

En faisant un premier re-calcul, nous obtenons déjà un résultat sensiblement différent :

• 96 démarches devraient afficher « non » ;
• 66 « partiel » ;
• 39 « oui ».

Parmi les démarches affichant « non », 39 n’ont pas d’audit réalisé. Cela porte donc à 87 le nombre de démarches n’ayant pas été auditées. Deux autres démarches sont sur des sites web qui n’étaient pas consultables au moment de l’analyse. Ainsi, ce sont plutôt 112 démarches, et non 201, qui ont de vraies données analysables.

Quel est le type de taux de conformité affiché dans l’Observatoire (taux global, taux moyen, autre) ?

Un peu plus tôt dans cet article, nous avons vu que le taux global est le taux de conformité historiquement affiché dans les déclarations d’accessibilité et que le taux moyen a été ajouté depuis la version 4 du référentiel d’accessibilité RGAA. Celui-ci permet d’afficher un taux plus présentable car plus élevé. Il est donc intéressant de voir quel taux est affiché dans l’Observatoire.

Parmi les 112 démarches, la majorité (66) affichent le taux global et une minorité (22) affichent le taux moyen de façon certaine. Pour 17 autres démarches, on ne sait pas de quel taux il s’agit.

Il est curieux de constater qu’une des démarches affiche un taux moyen de 80,80% tout en indiquant « Accessibilité : non conforme » sur sa page d’accueil ; ce qui implique un taux global (non affiché) inférieur à 50%. Ainsi, cela laisse penser que la raison pour laquelle le taux moyen est utilisé serait l’affichage de meilleurs résultats dans l’Observatoire.

Par ailleurs, parmi les 22 démarches affichant le taux moyen, 9 d’entre elles n’affichent même pas, en complément, le taux global dans leur déclaration d’accessibilité alors qu’il est obligatoire. Ainsi, pour 9 démarches, il semble y avoir une vraie volonté de cacher la réalité. On peut déplorer ce manque de transparence.

Enfin, 6 démarches sont sur un site qui a fait l’objet d’un audit sur 25 critères (au lieu de 106). Selon les déclarations d’accessibilité, ces audits ont été commandités par la DINUM elle-même. Ce type d’audit semble correspondre à l’audit rapide proposé sur son site qui dit pourtant en introduction « le résultat de cet audit rapide n’est pas représentatif du niveau de conformité ». Pourquoi en faire des déclarations d’accessibilité officielle dans ce cas ?

Y a-t-il une différence entre le taux de conformité affiché dans l’Observatoire et celui affiché dans la déclaration d’accessibilité ?

Parmi les 201 démarches, 76 démarches ont un taux affiché dans l’Observatoire qui ne correspond pas à celui relevé, et ce pour différentes raisons. Les principales raisons sont un arrondi (9 démarches), une mise à jour postérieure pas encore relevée (28) ou, un taux moyen affiché au lieu du taux global (13).

Cependant, certaines différences posent question :

• 3 démarches affichent le taux d’un autre site web sur lequel ne se trouve pas la démarche ;
• 16 démarches affichent un taux qui est introuvable sur le site web ;
• 2 démarches affichent le taux du site web alors que la déclaration pour la démarche existe.

On imagine donc que les données ne sont pas à jour alors qu’elles sont datées d’octobre 2021 ; ce qui est pourtant récent.

Quelle est la version du RGAA utilisée pour l’audit ?

Si une déclaration d’accessibilité affiche, à ce jour, un résultat d’audit qui n’est pas réalisé avec le RGAA 4.0 ou 4.1, celle-ci est obsolète. En effet, selon le RGAA lui-même, la déclaration doit être mise à jour « 18 mois après la date de publication d’une nouvelle version du référentiel » or le RGAA 4.0 est sorti le 16 septembre 2019. Ainsi, tout audit basé sur une version plus ancienne n’est plus valide et la déclaration associée non plus.

On constate que les audits avec le RGAA 4 sont majoritaires (89 démarches). Cependant, 17 démarches ont été auditées avec le RGAA 3 et ont donc une déclaration d’accessibilité obsolète. Pour 6 autres démarches, on ignore la version du RGAA utilisée.

Si on croise les données, on se rend compte que l’Observatoire affiche que 15 démarches prennent en compte les handicaps alors que l’audit a été fait avec le RGAA 3 obsolète (11 avec la valeur « oui » affichée et 4 avec la valeur « partiel »).

Pire, 5 démarches dont l’audit est réalisé avec le RGAA 3 ont une déclaration d’accessibilité datée de 2020 ou 2021 alors que le RGAA 4 date du 16 septembre 2019. Ainsi, il apparaît ici clairement que la date de la déclaration est largement postérieure à la date de l’audit. Ces démarches apparaissent avec un « oui » ou « partiel » alors que cela ne répond pas aux obligations de la loi. S’agirait-il, là aussi, d’une volonté d’afficher un bon résultat malgré l’obsolescence ?

Les démarches ont-elles vraiment été auditées ?

L’analyse montre que seules 24 démarches sur 201 ont, de façon certaine, été auditées via un audit dédié à ces démarches. La plupart (84) affichent en fait le résultat d’un audit du site web sur lequel elles se trouvent, à priori.

Mais si on se réfère aux échantillons de pages auditées, on constate que 45 démarches n’en font même pas partie et n’ont donc pas été auditées. Un doute existe pour 28 démarches.

Par ailleurs, certaines déclarations d’accessibilité (16) n’affichent pas, ou que partiellement, l’échantillon ; ce qui rend impossible l’analyse complète à cause d’un manque de transparence, là encore.

Les résultats après analyse

Ainsi, si on prend en considération les points suivants, conformément à ce qu’attendent le RGAA et la loi, les résultats obtenus sont bien différents :

• Sont non conformes les démarches qui sont dans l’un des cas suivants :
  • Déclaration d’accessibilité présentant un audit où « moins de 50% des critères de contrôle du RGAA sont respectés » (taux global) ;
  • Déclaration d’accessibilité où le taux de conformité est introuvable ;
  • Déclaration où la démarche n’est pas incluse dans l’échantillon de pages audité ;
  • Absence de déclaration ou déclaration sans audit réalisé ;
  • Audit réalisé avec une version obsolète du RGAA (version 3).
• Sont partiellement conformes les démarches qui respectent tous les points suivants :
  • Déclaration d’accessibilité présentant un audit où « au moins 50 % des critères de contrôle du RGAA sont respectés » (taux global) ;
  • Démarche incluse dans l’échantillon ;
  • Audit réalisé avec le RGAA 4.
• Sont totalement conformes les démarches qui respectent tous les points suivants :
  • Déclaration d’accessibilité présentant un audit où « tous les critères de contrôles du RGAA sont respectés » (taux global à 100%) ;
  • Démarche incluse dans l’échantillon ;
  • Audit réalisé avec le RGAA 4.

Après analyse, on obtient alors les résultats suivants (deux démarches sont sur des sites qui sont totalement indisponibles au moment de l’analyse) :

• 170 démarches non-conformes (48 sont marquées « non » dans l’Observatoire) ;
• 27 démarches partiellement conformes (113 sont marquées « partiel ») ;
• 2 démarches totalement conformes (40 sont marquées « oui »).

En pourcentage, cela donne 1% de démarches totalement conformes au RGAA parmi les 201 démarches que considère l’Observatoire à l’origine (et 0,8% parmi les 250 démarches).

Conclusion : un outil de communication qui gonfle les résultats ?

En résumé, cette analyse montre que de nombreuses démarches sont affichées avec un bon score dans l’Observatoire alors que :

• Le taux moyen est parfois utilisé pour gonfler les taux affichés en effaçant complètement le taux global des déclarations d’accessibilité concernées ;
• Certains taux affichés sont complètement faux (souvent pas à jour) ;
• Certaines déclarations d’accessibilité portent sur des audits obsolètes ou incomplets ;
• De nombreuses démarches n’ont pas été réellement auditées.

L’Observatoire de la qualité des démarches en ligne ne serait-il donc qu’un outil de communication ?

Ce qui est sûr, c’est qu’on y décèle un manque de transparence sûrement lié à l’envie d’afficher de bons résultats alors que l’accessibilité des services publics se fait attendre depuis longtemps. Il semble, également, que certains organismes publics ayant des démarches dans l’Observatoire se mettent pour objectif d’atteindre 75% de conformité au RGAA au lieu des 100% requis. Ainsi, les objectifs d’accessibilité numérique sont revus à la baisse dans le plus grand calme.

Par conséquent, les critères de l’Observatoire doivent être modifiés pour se conformer à ceux de la loi. De plus, l’accessibilité des sites web sur lesquels se trouvent les démarches doit également faire partie de l’analyse.

En définitive, alors que la fin du mandat approche, seules 0,8% des 250 démarches les plus utilisées peuvent se targuer d’être accessibles aux personnes handicapées. On est bien loin des 80% visés pour 2022 et loin des 20% affichés officiellement à ce jour.

Plutôt qu’un Observatoire de quelques démarches avec des chiffres erronés, c’est un véritable observatoire de contrôle de l’accessibilité des sites web dans le champ d’application de la loi permettant d’établir des rapports périodiques objectifs qui doit être mis en place. C’est ce qu’attend aussi la Commission européenne dans sa décision d’exécution 2018/1524 de la directive européenne 2016/2102 ainsi que le font déjà la Belgique, le Royaume-Uni, le Luxembourg et d’autres pays européens.

Bref, il est encore attendu que la France et les organismes concernés respectent la loi pour l’accessibilité numérique.

Ressources complémentaires

• Télécharger le document d’analyse (tableur XLSX, 145 Ko) ;
• Observatoire de la qualité des démarches en ligne et accessibilité numérique : où en est-on ?, 17 juin 2020, par Luce Carević, sur le blog d’Access42 ;
• Réflexions sur les taux de conformité :
  • RGAA : quelle différence entre taux de conformité global sur l’échantillon et taux moyen ?, 1er octobre 2021, par Jean-Pierre Villain, sur le blog d’Access42 ;
  • Accessibilité : conformité vs. Réalité, 22 décembre 2021, par Sébastien Delorme et Johan Ramon, sur « 24 jours de web ».
• Les rapports d’accessibilité nationaux attendus par la Commission européenne :
  • WAI-Tools : faciliter l’implémentation de la directive relative à l’accessibilité numérique, 6 juin 2019, par Audrey Maniez, sur le blog d’Access42 ;
  • Liste des rapports d’accessibilité par pays européen, liste collaborative sur Framapad.

Mise à jour le 05/01/2022