Par Ibrahim Moukouop Nguena
J’avais énoncé « le paradoxe de Moukouop » en disant que vous pouvez avoir à classer deux personnes A et B ; A est meilleur que B sur tous les critères utilisés pour le classement, et pourtant dans le classement final, B est meilleur que A. Ce paradoxe est probablement équivalent au paradoxe de Simpson, présenté dans la littérature. Le récent classement des universités (au Cameroun, ndlr) donne une bonne occasion d’analyser ce problème.
A titre d’exemple, vous pourriez avoir deux agents qui traitent des dossiers. On se rend compte que le délai moyen de traitement des dossiers est de 10 jours pour l’agent A, et 5 jours pour l’agent B. Sur le délai moyen de traitement, B sera primé. Pourtant, dans les faits, il existe des cas où avec les moyennes ci-dessus, quel que soit votre dossier, vous avez intérêt à aller vers A plutôt que vers B, car A traite toujours plus vite les dossiers que B, même si son temps moyen est pire que celui de B.
Il ne s’agit pas ici d’une curiosité scientifique pour savants, mais d’un phénomène bien réel, dont les implications doivent être prises en compte pour réaliser ou interpréter tout classement. J’en profite pour faire ressortir un concept que j’appelle « la punition de la témérité ».
Mais avant cela, il convient de rappeler une fois de plus qu’il y a une très mauvaise interprétation du classement des universités qui est faite. Comme je le montrerai après avoir démêlé le paradoxe, quelle que soit l’amélioration que polytech (Ecole nationale supérieure polytechnique de Yaoundé, une institution publique, ndlr) peut apporter à la qualité de sa formation, le classement fait selon les critères actuels mettra toujours polytech après l’IAI (Institut africain d’informatique, ndlr) et Siantou (Institut supérieur Siantou, ndlr), en informatique.
Commençons par exhiber le paradoxe à travers un exemple clair et concret.
Je vais utiliser mon exemple préféré, tiré de mes analyses des délais de passage au port, dans le cadre d’une mission de consultant, chargé de l’analyse des données portuaires.
Vous avez deux opérateurs portuaires, A et B. On a observé que le délai moyen de sortie des marchandises confiées à A est de 10 jours, tandis que celui de sortie des marchandises confiées à B est de 5 jours. Le critère global de classement des opérateurs est le délai moyen de sortie des marchandises, et plus il est faible, plus l’opérateur est considéré bon. A priori, on pourrait à partir de ceci penser que si vous avez une marchandise, il vaut mieux la confier à B plutôt qu’à A. Il existe pourtant des configurations pour lesquelles avec ces moyennes, quelle que soit votre marchandise, vous la ferez sortir plus rapidement en la confiant à A plutôt qu’à B.
Pour illustrer cela, on va supposer qu’il y a principalement deux circuits de sortie des marchandises (c1 et c2), et que chaque circuit impacte sur les délais. On note les performances suivantes supposées constantes, de A et B sur chacun des circuits (hypothèse H1):
Opérateur A: Circuit c1=11 jours, circuit C2=2 jours
Opérateur B: Circuit c1=13 jours, circuit C2=4 jours.
A ce niveau, il est clair que quel que soit votre circuit, vous perdrez deux jours de plus en allant chez l’opérateur B plutôt que chez l’opérateur A.
Il se trouve que pour la période de calcul, A avait traité 1000 dossiers du circuit c1 et 125 dossiers du circuit c2. Un calcul rapide montre que son temps moyen de traitement est de 10 jours. Dans la même période, B avait traité 16 dossiers de c1 et 125 dossiers de c2, d’où une moyenne de 5,02 jours par dossier.
Il est évident maintenant que dans un calcul naturel de moyenne, B est meilleur que A, pourtant dans les faits A est meilleur que B quel que soit votre circuit.
Quelles leçons en tirer?
L1) Le classement moyen de A est pire que celui de B simplement parce que A a beaucoup plus que B affronté le circuit difficile (1000 fois contre 16 fois). Bien qu’il l’ait fait avec plus de succès que B, cela a détérioré son score global. Malheureusement, très souvent c’est ce qui se passe dans la vie. On a très souvent tendance à récompenser des gens qui ont bien traité des problèmes simples plutôt que ceux qui ont moyennement traité des problèmes complexes, même si leur moyenne est très au dessus de ce que tous les adeptes de problèmes simples auraient fait dans le même cas. Si dans votre carrière vous avez eu à travailler sur des problèmes complexes, vous avez sûrement été victime de ce phénomène, que je vais appeler « la punition de la témérité ».
L2) En restant sur l’hypothèse H1 ou sur des hypothèses similaires, il n’y a à priori aucun classement permettant de comparer A et B sur une échelle globale en conservant l’ordre donné par les critères pris individuellement. On aurait pu avoir l’opérateur B qui ne travaille que sur le circuit C2, avec une moyenne de 5 jours. Cela l’aurait rendu encore pire qu’avant sur ce circuit, à trois jours de plus que A, mais sa moyenne générale resterait préférable à celle de A, tant que A resterait très présent sur C1. Sauf à définir une fonction précise à optimiser et à fournir la formule permettant de combiner les résultats des circuits pour l’optimiser (le bénéfice total par exemple), le seul classement qui aurait du sens est celui qui se ferait par circuit. Plutôt que de classer globalement, on devrait donner un classement par circuit.
L3) Le paradoxe apparaît parce que nous avons pris le soin de diviser par circuits. Si on avait pris les données brutes sans division par circuit, on n’aurait pas soupçonné que le résultat final traduisait le contraire de la réalité. Le paramètre circuit, qui est déterminant ici, mais qui peut être ignoré à priori est appelé une variable de confusion. Malheureusement, dans presque tous les cas réels, on ne donne pas l’énoncé en listant les variables de confusion. Il appartient à l’analyste de données de rechercher les éventuelles variables de confusion et de les prendre en compte. La recherche peut être très poussée, car même dans l’exemple traité ici, il pourrait y avoir une autre variable de confusion dans les statistiques par circuit: la nature de la marchandise, la richesse de l’importateur… Sans analyse poussée de confusion, beaucoup de classements réels n’ont pas de fiabilité. Même après l’identification des potentielles variables de confusion, il faudra bâtir regroupements de leurs valeurs, encore appelés clusters, pour réaliser les analyses.
L4) Tout classement où les classés n’ont pas strictement eu à faire aux mêmes objets, pour être validable sur le plan scientifique, doit fournir la liste de tous les paramètres identifiés comme pouvant l’impacter, le rapport d’analyse de confusion (calculs de odd-ratio ajustés ou de risk ratio ajustés.), les critères retenus pour la notation, la formule d’agrégation pour la note finale, comment sont gérées les valeurs nulles ou manquantes (opérateur présent sur un seul circuit par exemple), comment sont identifiées les valeurs aberrantes (à sortir de l’échantillon analysé), la taille de l’échantillon, la technique d’échantillonnage, et la preuve que le classement global devrait garder un sens logique et rester consistant par rapport aux classements locaux.
Même si ces éléments ne sont pas publiés sur la page du classement, ils doivent être disponibles pour toute personne qui souhaite vérifier la validité scientifique du classement. Mieux encore, pour des classements importants, je pense que la validité de ces analyses devrait être vérifiée par un organisme autre que celui qui s’est chargé du classement, avant la publication du résultat dudit classement. En confiant à une organisation la mission de classer, on devrait confier à une autre la mission de valider scientifiquement le classement produit. Le lecteur pourrait lire avec profit une autre analyse sur les classements, publiée à l’adresse suivante: https://regulation.revues.org/9016#tocto1n4.
Quelle conséquence pour l’analyse du classement des universités?
Commençons par rappeler que les critères retenus sont la notoriété et la compétence perçue.
Comment combiner ces deux critères pour un seul critère final de classement? Je doute fort qu’il y ait une règle qui ne viole en aucun cas la consistance avec les classements par critère. Maintenir deux classements selon chacun des critères aurait semblé plus judicieux, car plus scientifiquement interprétable.
Prenons le cas de l’informatique.
S’agissant de la notoriété, il est indiscutable que l’IAI a la plus grande notoriété dans le domaine (opération 100 000 femmes, opération 1M de jeunes…). Sa présence médiatique régulière fait que peu de Camerounais pourraient dire ne pas savoir que l’IAI fait l’informatique. Par contre, à ce jour, beaucoup de personnes ignorent qu’on fait l’informatique à Polytech, tant dans les entreprises que les administrations.
En dehors de la publicité, il y a une autre raison à cela, qui justifie que même Siantou soit devant Polytech dans ce classement. Polytech forme en moyenne à peu près 40 informaticiens par an, dont plusieurs poursuivent à l’étranger. Siantou et l’IAI de Yaoundé en forment beaucoup plus. La conséquence est que peu de polytechniciens sont disponibles pour les PME.
On va donc se retrouver avec beaucoup d’entreprises dont les seuls informaticiens sont issus de Siantou ou de IAI. Cela vient d’une part de l’effectif plus élevé de ces autres, et d’autre part de ce que les PME et TPE représentent au moins 80% de nos entreprises, et que peu de polytechniciens y postulent. Côté notoriété informatique, Polytech est d’office perdant, du fait même de la taille de ses effectifs et de la concentration de ses diplômés dans les grands comptes sur place et à l’étranger.
Côté compétence perçue, quelle que soit la valeur calculée, on reviendra à la question « comment combiner les critères pour un classement final interprétable et consistant »? De plus, les polytechniciens ne sont pas censés s’attaquer aux mêmes problèmes que les diplômés de Siantou ou de l’IAI de Yaoundé, car il ne s’agit pas du même niveau de formation. Ils pourraient dès lors souffrir de la « pénalité de la témérité ».
Celui qui a appris sa bureautique ou sa maintenance à l’IAI et qui est perçu comme la faisant très bien, sera mieux classé que celui qui a appris à développer des logiciels et qui n’arrive pas à fournir tout de suite une solution sans bugs (même s’il est presque impossible de fournir dès le départ une telle solution, c’est ce qu’on attend).
Parler même de classer les trois établissements en informatique alors qu’il s’agit de formations pour des compétences différentes pose problème : On compare des ingénieurs de conception à des BTS ou à des ingénieurs de travaux.
Pour un classement fait sur le critère de compétence perçue uniquement, l’interprétation correcte serait que le premier du classement soit perçu comme fournissant mieux les compétences qu’il est censé fournir que le second ne le fait pour les compétences que le second est censé fournir (un peu comme si on comparait un maçon et un menuisier sur leurs compétences. Un maçon jugé très compétent est peu susceptible de remplacer un menuisier jugé peu compétent).
Il est clair qu’il ne s’agirait pas de comparer les deux sur un travail de même nature, mais simplement d’évaluer chacun par rapport à la nature du travail qui est la sienne. Seules les formations visant des compétences identiques pourraient se comparer l’une à l’autre via un tel classement.
De tels classements sans validation de la démarche d’agrégation et sans analyses de confusion peuvent s’avérer dangereux, et produire un effet pervers. Les structures s’adaptent alors pour être bien classées, en s’éloignant des objectifs réels qu’elles devraient viser, qui sont mal mesurés par les classements utilisés.
Voila, j’espère avoir assez éclairé les opinions des décideurs que vous êtes pour que vous ne vous laissiez pas tromper à l’avenir par des classements ou des études de cause à effet sans analyse de confusion. Nous menons régulièrement des analyses de confusion sur des problèmes sociaux. De telles analyses évitent de se tromper de voie d’action, suite à une interprétation incorrecte d’une information juste.
