обеспечивает меру эффективности торговой модели, скорректированную на исключительную выигрышную серию, которая могла быть вызвана необычайно благоприятными торговыми условиями. В поиске наиболее устойчивой и стабильной торговой модели всегда лучше готовиться к худшему и надеяться на лучшее. Модель, обеспечивающая лучшую годовую доходность, и при пессимистической корректировке, и без своих лучших результатов, с большой вероятностью будет устойчивой в реальном времени.

Комплексная оценка

Комбинация различных критериев оценки предпочтительней, чем отдельный показатель. При этом конкретные пороговые ограничения эффективности, вносящие вклад в устойчивость модели, устанавливать легче. Например, ранжируйте топ-модели с помощью PROM и устанавливайте следующие критерии:

чистая доходность больше $5,000

максимальное проседание меньше $5,000

минимум сделок за год - 10.

Ранжирование топ-моделей с помощью достоверного показателя, такой как PROM, устранит возможные проблемы. Исключение моделей, приносящих менее $5,000 или имеющих проигрышную серию более $5,000, устанавливает определенный минимальный критерий эффективности. Исключение моделей, торгующих менее 10 раз в год, должно обеспечить адекватный размер выборки. Ранжирование с помощью PROM моделей, удовлетворяющих этим минимальным критериям, будет давать наиболее устойчивые результаты.

Оценка использующая группу моделей

Всплески эффективности, или изолированные прибыли, являются проклятием оптимизации. Всплеск (выброс) эффективности представляет собой статистическую аномалию. Рассмотрим крайний случай на примере торговой модели, основанной на двух скользящих средних. Оптимизация одной скользящей средней дает следующие результаты:

Топ-модель в этом примере - это модель, использующая 6-дневную скользящую среднюю и приносящая прибыль $12,500. В изолированном виде модель выглядит неплохо. Но при рассмотрении в контексте все выглядит иначе. Один шаг в сторону любого из соседних тестов, 5-дневной или 7-дневной скользящей средней, показывает резкое падение эффективности до убытка ($500) и небольшой прибыли ($3,000), соответственно. При двух шагах в любую сторону эффективность катастрофически падает до убытков ($8,000) и ($13,000).

Есть и другой пик эффективности - при 13-дневной скользя-шей средней, дающей прибыль $7,000. Это намного меньше предьщущего пика $12,500. Однако с учетом окружающих тестовых результатов этот пик выглядит более привлекательно. Один шаг в любую сторону приводит к прибылям $6,500 и $5,500, соответственно. Два шага дают прибыли $6,000 и $4,500, соответственно. Этот пик с каждой стороны окружен прибылями, сопоставимыми с пиковой эффективностью. Следовательно, этот второй пик скорее всего будет более устойчивой моделью, чем первый пик.

Здесь важно отметить, что 1-дневный шаг для скользящей средней с небольшим периодом не равнозначен 1-дневному шагу при большом периоде. Например, период 5-дневной скользящей средней примерно на 17% меньше периода 6-дневной средней. Период 7-дневной скользящей средней примерно на 17% больше периода 6-дневной средней. Однако в случае 13-дневной средней первый 17-процентный шаг вниз приводит к 11-дневной средней, а 17-процентный шаг вверх - к 15-дневной средней. Важно понимать это различие между шагами, выраженными в процентах и в абсолютных числовых значениях, особенно, когда предстоит сканировать диапазоны, представленные большими числами.

Некоторые методы оценки будут выбирать модель, приносящую $12,500, вместо приносящей $7,000 (при условии, что оценивание происходит по прибыли). Однако существует метод, уменьшающий эффект изолированных пиков эффективности, посредством усреднения модели по двум ее ближайшим соседям. Затем усредненная модель оценивается заново. Такое сглаживание обычно сокращает влияние изолированных, а следовательно - неустойчивых, моделей.

Рассмотрим усреднение двух обсуждаемых пиков эффективности. Первый пик $12,500 имеет ближайших соседей -$500 и $3,000. После усреднения получаем нового кандидата, $5,000, вычисляемого следующим образом:

($12,500-$500+$3,000)/3=$5,000

Второй пик $7,000 имеет ближайших соседей $6,500 и $5,000. Усредняя, получаем нового кандидата, $6,167:

($7,000+$6,500+$5,000)/3=$6,167

Этот сглаженный кандидат предпочтительнее первого сглаженного кандидата.

Оценка тестового прогона

Высокоэффективная модель, окруженная плохими моделями, вряд ли будет устойчивой, способной приносить прибыль в реальном времени. Такая модель скорее всего будет соблазнительным статистическим нонсенсом. Мы показали, что модель, окруженная схожими соседями, оказалась лучше пика прибыли. Общую эффективность всех моделей тестовой связки следует оценивать аналогичным образом. Ниже представлены некоторые руководства.

Правила статистического тестирования свидетельствуют, что лучший 1 процент всех тестовых результатов является значимым. Далее, данный принцип свидетельствует, что 5% всех тестовых результатов будут предельно значимыми. Другими словами, если при игре в дартс в мишень бросить достаточное число дротиков, возникнет группа, имеющая высокое число очков. Оптимизация лишь с небольшим числом хороших тестов будет рассматривать эти прибыли как статистически значимые , хотя трейдера ждет

разочарование, поскольку стратегия в целом не будет прибыльной. Пример 1 показывает результаты тестового прогона с числом прибыльных результатов менее 5%:

Пример 1: Неудачный тестовый прогон

Общее число тестов 1000 100.0%

Прибьшьные тесты 37 3.7

Убыточные тесты 963 96.7

$2,458 7,598 (2,457)

Согласно данному принципу, если было выполнено 1000 тестов торговой системы, то по определению 10 лучших тестов являются значимыми , а следующие 40 - предельно значимыми . Устойчивая торговая стратегия должна показывать много прибыльных результатов после устранения 50 лучших тестов из 1000.

Чтобы иметь какие-то основания говорить о валидности системы, как минимум 20% тестов должны быть на уровне прибыльности, считающемся значимым для данного рынка и системы. Такой результат показан в Примере 2:

Пример 2: Успешный тестовый прогон

Общее число тестов 1000 100.0%

Прибьшьные тесты 224 22.4

Убыточные тесты 776 77.6

$5,447 9,767 (1,983)

Конечно, чем больше процент высокоприбыльных результатов, тем вероятнее, что данная торговая модель будет устойчивой. Пример 3 демонстрирует устойчивый тестовый результат:

Пример 3: Устойчивый тестовый результат

Общее число тестов 1000 100.0%

Прибыльные тесты 671 67.1

Убыточные тесты 329 32.9

$ 9,671 12,671 (1,324)

Распределение эффективности

Как только тестовый прогон прошел тест на значимость, описанный в предьщущем разделе, полезно пересмотреть распределение обшей тестовой эффективности. Это достигается путем вычисления средней, максимума, минимума и стандартного отклонения всех тестов. Самым желательным результатом будет боль-

шая средняя прибыль с минимальным разбросом (variation). Связка гестов с наименьшей разницей между максимумом и минимумом, а следовательно - с наименьшим стандартным отклонением, будет лучшей. Пример 4 показывает результаты простой торговой модели:

Пример 4: Успешный тестовый прогон

Общее число тестов 1000 100.0% $4,523

Прибыльные тесты 301 30.1 7,345

Убыточные тесты 699 69.9 (2,993)

При сравнении одной оптимизации с другой, лучшей будет имеющая более высокую среднюю и меньшее стандартное отклонение. Совершенствуя торговую модель или внося в нее no-j вые правила, а затем повторно тестируя, важно, чтобы число! прибыльных тестов увеличивалось, средняя всей связки возрас-J тала, а стандартное отклонение при этом не росло.

Пример 5 показывает результаты добавления в торговую модель, описанную в Примере 4, нового правила, которое снизило эффективность по каждой категории: проценту прибыльных моделей, средним результатам, средней прибыльной и средней убыточной модели. Основываясь на этих результатах, данное правило следует исключить.

Пример 5: Неудачное добавление правила

Общее число тестов 1000 100.0% $4,123

Прибыльные тесты 221 22.1 6,256

Убыточные тесты 699 69.9 (3,457)(

Пример 6 демонстрирует результаты добавления в торговую модель правила, которое повысило эффективность по каждой категории: проценту прибыльных моделей, средним результатам, средней прибыльной и средней убыточной модели. На основе этих результатов данное правило следует включить в торговую модель.

Пример 6: Успешное добавление правила

Общее число тестов 1000 100.0% $5,798

Прибыльные тесты 457 45.7 8,981

Убыточные тесты 543 54.3 (1,876)

На Рисунке 5-6 линией А представлены результаты первой оптимизации. Линии В, С и D представляют различные исходы второго теста с одним усовершенствованием, внесенным в модель. Линия В отражает худший исход, потому что показывает более высокую среднюю, но гораздо большее стандартное отклонение. Линии С и D отличаются и обе лучше А, поскольку обе имеют более высокие средние и немного меньшие стандартные отклонения.

Форма тестового пространства

Несмотря на то, что форма тестового пространства кажется несколько замысловатым понятием, оно очень полезно. Тестовое пространство - это визуализация результатов тестовой связки в виде трехмерного графика. Худший из случаев, которые можно себе представить, будет напоминать горную гряду очень узких и высоких пиков прибьши. Почему это плохо? Такой модели будет не хватать устойчивости. Любой небольшой сдвиг параметра модели может изменить результаты модели с крупной прибыли на такой же крупный убыток. Такова природа неустойчивого модельного пространства. (См. Рис. 5-7)

Рис. 5-6. Результаты оптиг4Изацинного теста.