Pas de modèle propriétaire, pas de boîte noire. La méthode tient en six étapes, et chacune est conçue pour pouvoir être prise en défaut.
Positions soldées, reconstruites depuis les enregistrements publics. Aucune donnée fournie par un tiers, aucune déclaration d'utilisateur.
Un minimum de positions soldées est exigé avant tout classement. Un opérateur à trois coups n'est pas comparable à un opérateur à trois mille.
Le point de comparaison d'un opérateur est calculé en l'excluant du calcul. Sans cette précaution, tout le monde bat sa propre moyenne.
Le rang est établi sur une période, puis vérifié sur les suivantes. Un avantage qui ne survit pas au changement de période n'en est pas un.
Si la méthode produit le même résultat sur des données mélangées, elle ne mesure rien. Ce contrôle tourne à chaque reconstruction.
Jamais de mise à jour par ajouts. La base repart de zéro et rebalaye l'historique complet, y compris antérieur à la création de l'outil.
Si l'un d'eux échoue, la base de la nuit n'est pas publiée et l'ancienne reste en service. Un site qui affiche un chiffre faux est pire qu'un site qui n'affiche rien.
| Contrôle | Ce qu'il empêche |
|---|---|
| Volume d'opérateurs | Une base tronquée par un incident de lecture |
| Nombre de tranches | Un découpage cassé qui rendrait les rangs incomparables |
| Aucun opérateur sans position | Des lignes vides comptées comme des opérateurs |
| Présence des pertes totales | Le défaut exact qui avait faussé notre première mesure |
| Progression du taux de réussite | Un classement inversé ou aléatoire |
| Décroissance des pertes totales | La même vérification, prise par l'autre bout |
| Taille de la grille de repères | Des repères calculés sur trop peu de cas |
Sur l'indicateur pondéré par les montants, les deuxième et troisième tranches s'inversent. L'inversion vient de quelques opérateurs à très gros volumes qui pèsent lourd dans une moyenne pondérée. Nous aurions pu retirer l'indicateur ou lisser les extrêmes. Nous avons préféré le laisser visible et l'expliquer : les deux indicateurs non pondérés, eux, progressent régulièrement sans exception.