Bez własnościowego modelu, bez czarnej skrzynki. Metoda mieści się w sześciu krokach, a każdy został zaprojektowany tak, by dało się go obalić.
Zamknięte pozycje odtworzone z publicznych zapisów. Żadnych danych od osób trzecich, żadnych deklaracji użytkowników.
Przed klasyfikacją wymagane jest minimum zamkniętych pozycji. Trader z trzema transakcjami nie jest porównywalny z kimś, kto ma ich trzy tysiące.
Punkt odniesienia tradera liczony jest z jego wyłączeniem. Bez tej ostrożności każdy pobiłby własną średnią.
Miejsce ustala się w jednym okresie, a potem sprawdza w kolejnych. Przewaga, która nie przetrwa zmiany okresu, nie jest przewagą.
Jeśli metoda daje ten sam wynik na przetasowanych danych, niczego nie mierzy. Ta kontrola działa przy każdej przebudowie.
Nigdy nie aktualizujemy przez dopisywanie. Baza startuje od zera i przegląda całą historię, także sprzed powstania narzędzia.
Jeśli którakolwiek zawiedzie, nocna baza nie jest publikowana, a poprzednia pozostaje w użyciu. Strona pokazująca błędną liczbę jest gorsza niż strona, która nie pokazuje nic.
| Kontrola | Czemu zapobiega |
|---|---|
| Liczba traderów | Bazie uciętej przez błąd odczytu |
| Liczba przedziałów | Zepsutemu podziałowi, przez który miejsc nie da się porównać |
| Brak traderów bez pozycji | Pustym wierszom liczonym jako traderzy |
| Obecność całkowitych strat | Dokładnie tej wadzie, która zafałszowała nasz pierwszy pomiar |
| Wzrost odsetka sukcesów | Odwróconej lub losowej klasyfikacji |
| Spadek całkowitych strat | Tej samej weryfikacji, z drugiej strony |
| Wielkość siatki odniesień | Odniesieniom liczonym na zbyt małej liczbie przypadków |
We wskaźniku ważonym kwotami druga i trzecia grupa zamieniają się miejscami. Odpowiada za to kilku traderów o bardzo dużych wolumenach, którzy mocno ważą w średniej ważonej. Mogliśmy usunąć wskaźnik albo wygładzić skrajności. Woleliśmy zostawić go na widoku i wyjaśnić: dwa wskaźniki nieważone rosną regularnie, bez wyjątków.