Бэктест - это способ проверить эффективность стратегии в прошлом. Этот инструмент действительно работает?
Когда вы начинаете заниматься трейдингом, первое, что вы изучаете, - это концепция тестирования на истории. То есть перед использованием стратегии рекомендуется, если не обязательно, проверить результаты некоторых правил за предыдущие периоды. Мы называем эти правила торговой системой или просто системой. Сама концепция или, по крайней мере, идея очень хороша. Хотя сейчас это кажется нам очевидным, так было не всегда. Более того, даже сегодня есть трейдеры или инвесторы, которые по ошибке или упущению предпочитают доверить свой капитал будущему судьбы.
Очевидно, каждый спекулирует своим капиталом по своему усмотрению. Конечно, имея средства хотя бы на расстоянии одного щелчка мыши, чтобы попытаться проверить, и с относительной легкостью, отдачу, которую стратегия давала в прошлом, кажется по крайней мере абсурдным не делать этого.
Примечание. Мы опускаем те части анализа, которые не поддаются количественной оценке. То, что происходит во всех типах анализа. Всегда есть что-то, чего нам не хватает.
Прошлые возвраты не гарантируют возврата в будущем.
Некоторые из тех, кто не хочет давать количественную оценку своей стратегии, могут заявить - и очень хорошо аргументированно - что прошлые доходы не гарантируют будущих доходов. Но, помня, что они правы, я всегда прихожу к следующему выводу: если вы не можете гарантировать, что то, что сработало, продолжит работать, то, что заставляет вас думать, что то, что не сработало, будет работать сейчас. Это могло сработать? Да, но это больше похоже на акт веры, чем на что-либо еще.
Надежда - это последнее, что нужно терять, потому что, конечно, прежде чем потерять ее, вы обязательно потеряете свой капитал.
Бэктест тоже не работает
С мыслью о том, что тестирование на истории лучше, чем полагаться на астрологию, мы должны продолжать совершенствовать, чтобы не повторять тех же ошибок, которые делали, делают и, к сожалению, будут продолжать делать многие трейдеры.
На этом этапе мы должны нанести масло на холст, чтобы подтвердить, что тест на истории лучше, чем полагаться на случайность пункта назначения, но этого далеко не достаточно.
Почему этого недостаточно?
Бэктеста достаточно, чтобы проверить, смогли ли мы, используя определенную торговую систему в прошлом, получить определенные результаты. Но на этом инструмент заканчивается. Само слово говорит это «Назад» (прошлое) и «испытание» (Доказательство). Экстраполируя, без дальнейшего анализа, можно сказать, что некоторые результаты - хотя и в меньшей степени - являются еще одним актом веры. Так как случайно он мог продолжать работать, и мы нашли систему, которая работает, не зная, почему или что она работает, и вы не знаете, до каких пор. Такой подход некоторых количественных аналитиков контрастирует с их непрекращающейся критикой технического анализа. То есть они критикуют то, что сами бессознательно применяют ежедневно.
Что тут анализировать?
Предполагая, что система имеет фиксированные параметры, необходимо проверить ее применимость в различных рыночных условиях. Даже в несуществующей среде. Проверьте, как система работала бы в условиях высокой и низкой волатильности, до и после структурных изменений, на бычьем, медвежьем и боковом рынках. И так можно было продолжать почти бесконечно.
Если в системе есть переменные параметры, что обычно происходит в большинстве случаев, мы будем проделывать тот же процесс, но с учетом того, что система может быть изменена и, следовательно, оптимизирована. И сам факт возможности оптимизации делает его уязвимым для чрезмерной оптимизации. Этот момент имеет жизненно важное значение для получения стабильной прибыли в будущем.
Обычный шаг после нахождения стратегии, которая хорошо работала в прошлом, - это попытаться оптимизировать модель. Большая ошибка. Сначала вы должны подвергнуть его напряжению, или то, что я называю стрессом для системы. Заставьте его работать в наихудшей среде, известной для таких систем. Таким образом, например, если у нас есть трендовая система, необходимо будет задействовать ее в длительные боковые периоды, чтобы увидеть, как она себя ведет, когда нет благоприятного сценария для получения прибыли от системы. Причина вышесказанного заключается в том, что мы не знаем, что произойдет в будущем, поэтому постановка самого худшего из возможных сценариев уводит нас как можно дальше от неизбежной (и желательной) случайности.
Что делать, кроме того, что надоедать?
Концепции, которые меняют все, - это прямое тестирование и тестирование вне образца. Но если мы не знаем будущего, как мы собираемся проверить что-то в том, чего мы не знаем? У нас есть два варианта, которые мы вскоре увидим. С другой стороны, у нас есть понятие вне выборки. Выбор этой выборки - я рекомендую, чтобы их было довольно много (а не один) и с распределениями вероятностей, которые представляют несопоставимые характеристики, - очень важен для создания работающей системы. По идее, бэктест и оптимизация проводятся в разные периоды. Таким образом, бесплатные образцы останутся. Хотя это на вкус аналитика. Это можно сделать по-другому, но мы можем попасть в статистические ошибки, которые не являются целью данной статьи.
- Первый способ осуществить этот процесс мы будем называть традиционным: мы создаем систему, оптимизируем ее и, посмотрев некоторые показатели, запускаем ее в работу с фиктивными деньгами или с небольшими реальными деньгами. Если все идет хорошо, мы запускаем его в жизнь.
- Второй способ осуществления процесса - это то, что мы будем называть «новым», хотя на самом деле в нем мало нового: мы выполняем систему, оптимизируем ее, проверяем стабильность параметров во времени, выполняем вне образцы тестов, искусственные форвард-тесты, и мы запускаем его в работу с настоящим форвард-тестом. Если все идет хорошо, мы запускаем его в жизнь.
Второй способ работы по сравнению с первым основан на двух концепциях: стабильности параметров во времени и искусственных форвард-тестах. Искусственные форвард-тесты - это не тип тестов вне выборки, которые пытаются имитировать реальный форвард-тест. Давайте подумаем о следующем:
Мы сделали процесс для системы за последний год. Запуск его с этого месяца (июль) до конца года (декабрь) практически то же самое, что продвижение вперед на все 6 месяцев и имитация форвард-теста с января по июль. Это не то же самое, потому что реальные условия всегда предлагают нам ситуации, которые сложно придумать, но мы продвигаемся дальше и добиваемся лучших результатов. А после этих «изобретений», поскольку они на самом деле являются изобретениями, мы провели форвард-тест в реальном времени. Вот что я имею в виду под искусственными форвард-тестами. Некоторым это может не нравиться, но думать иначе - это ментально предвзято. Если бы вы открыли для себя эту стратегию 6 месяцев назад, вы бы поступили так же.
С другой стороны, мы имеем стабильность параметров системы во времени. Для меня это самый важный показатель, который говорит нам, если система чрезмерно оптимизирована. Если параметры остаются стабильными с течением времени после оптимизации каждые X периодов, это означает, что параметры с меньшей вероятностью были чрезмерно оптимизированы, чем другие, которые различаются сильнее. Если к этому добавить, что для каждой оптимизации мы проводим искусственный форвард-тест, и результаты также стабильны, мы сталкиваемся с системой с вероятностью быть действительно прибыльной.
Все это может стать намного более запутанным. Хотя это кажется сложным, это не так. Он тяжелый, но проще механизма кувшина. Как всегда, у каждого свой способ делать что-то, это не единственный способ, но я хотел прояснить, что бэктест без попутчиков бесполезен и бесполезен. По крайней мере, конечно, в мире трейдинга.
