Никакой проприетарной модели, никакого чёрного ящика. Методика укладывается в шесть шагов, и каждый построен так, чтобы его можно было опровергнуть.
Закрытые позиции, восстановленные по публичным записям. Никаких данных от третьих лиц, никаких заявлений пользователей.
До любой классификации требуется минимум закрытых позиций. Оператор с тремя сделками несравним с оператором с тремя тысячами.
Точка сравнения для оператора рассчитывается без него самого. Без этой предосторожности каждый превосходит своё среднее.
Ранг устанавливается на одном периоде и проверяется на следующих. Преимущество, которое не переживает смену периода, преимуществом не является.
Если методика даёт тот же результат на перемешанных данных, она ничего не измеряет. Эта проверка выполняется при каждой пересборке.
Никаких обновлений добавлениями. База начинается с нуля и проходит всю историю, включая период до создания инструмента.
Если хотя бы одна не проходит, ночная база не публикуется и в работе остаётся прежняя. Сайт, показывающий неверную цифру, хуже сайта, который не показывает ничего.
| Проверка | Что она предотвращает |
|---|---|
| Число операторов | Базу, обрезанную из-за сбоя чтения |
| Число групп | Сломанное разбиение, при котором ранги несравнимы |
| Нет операторов без позиций | Пустые строки, учтённые как операторы |
| Наличие полных потерь | Ровно тот дефект, который исказил наше первое измерение |
| Рост доли успешных позиций | Перевёрнутую или случайную классификацию |
| Снижение полных потерь | Ту же проверку, с другой стороны |
| Размер сетки ориентиров | Ориентиры, рассчитанные на слишком малом числе случаев |
В показателе, взвешенном по суммам, вторая и третья группы меняются местами. Инверсию дают несколько операторов с очень крупными объёмами, которые сильно влияют на взвешенное среднее. Мы могли убрать показатель или сгладить крайние значения. Мы предпочли оставить его на виду и объяснить: два невзвешенных показателя растут ровно, без исключений.