Rehber

Backtest'im Aşırı Uyumlu mu? Walk-Forward ve Lookahead

İyi görünen backtest canlıda neden çöker: geleceğe bakma ve fazla varyant. Walk-forward, ayrılmış test dönemi ve deflated Sharpe bunu nasıl ortaya çıkarır.

Güncellendi

Gerçek olamayacak kadar iyi görünen bir backtest genellikle gerçek değildir. Çoğu durumu iki neden açıklar: strateji geleceği görmüştür (geleceğe bakma, yani lookahead bias) ya da o kadar çok sürüm denemişsindir ki en iyisi şansla kazanmıştır (aşırı uyum). Bu rehber ikisini de nasıl kontrol edeceğini gösteriyor. Örnekler OptAlgo üzerinde, ama fikirler her backtest aracı için geçerli.

Backtest'inin yalan söylediğinin işaretleri

Geleceğe bakma: strateji geleceği gördü

Geleceğe bakma, i numaralı mumdaki bir kararın, i numaralı mum kapandıktan sonraki veriyi kullanması demektir. Masum görünen kodun içine saklanır: bir seriyi geriye kaydırmak, np.roll(close, -1), ortalanmış pencereler ya da tüm seri üzerinden hesaplanan bir istatistik. Backtest o zaman o anda kimsenin sahip olmadığı bilgiyle işlem yapar.

OptAlgo her çalıştırmaya, rakamları sayılmadan önce, gelecek çıkarıldığında da aynı kararı verdiğini kanıtlatır. Motor stratejiyi, son 3.000 mumun eşit aralıklı 6 ve rastgele 6 mumunda kesilmiş veride yeniden çalıştırır; girdiği, çıktığı ya da hedef belirlediği en fazla 24 mumda kararı, o mumda biten veriyle yeniden verir. Ayrıca kodun deterministik olduğunu kanıtlamak için aynı parametreleri iki kez çalıştırır. Herhangi bir fark geleceğe bakmadır: çalıştırma D notu alır ve asla yayına alınamaz. Doğrulama aynı kontrolü sentetik mumlarda ücretsiz, sen bir birim harcamadan önce yapar.

Sınırlarını da bil. Her mumu yeniden çalıştırmak yerine mum örnekler, çizimler kontrol edilmez ve bu bir aşırı uyum kontrolü değildir: aynı dönemde ayarlanmış parametreler hiç geleceğe bakmadan da harika görünebilir.

Aşırı uyum: birçok denemenin en iyisi

Bir fikrin 35 varyantını tek bir dönemde çalıştır; her biri tek başına B notu alsa bile en iyisi kısmen şansla iyi görünür. Not, tek bir çalıştırmanın mekaniğini değerlendirir, etrafındaki aramayı değil. Bu yüzden OptAlgo son 30 günde örtüşen veride çalıştırdığın varyantları sayar ve bir deflated Sharpe oranı (Bailey & López de Prado) hesaplar: Sharpe oranının, o kadar değersiz varyantın en iyisinin şansla ulaşacağı değeri geçme olasılığı.

Kontrol 1: elle ayar yerine walk-forward

Parametreleri birçok tekil çalıştırmayla tarama. Walk-forward geçmişi dönemlere böler: bir eğitim aralığında optimize et, optimizasyonun hiç görmediği sonraki aralıkta test et, ileri kay ve tekrarla. Varsayılan plan 180 gün eğitim ve 60 gün testtir. Önemli olan rakam, test dilimleri boyunca zincirlenmiş örneklem dışı getiridir; karar sağlam, belirsiz ya da muhtemelen aşırı uyumdur. Belirsiz geçti sayılmaz.

Zaten seçtiğin parametreleri arama yapmadan doğrulamak için tek konfigürasyonlu bir walk-forward çalıştır. Her dilim aynı parametreleri kendi eğitim aralığından sonraki veride test eder ve bu tek deneme sayılır:

{"protocol": "walk_forward", "plan": {"plan": "rolling", "train_days": 365, "test_days": 90, "step_days": 90},
 "space": {"lb1": {"choices": [42]}, "lb4": {"choices": [336]}}, "sampler": "grid", "n_trials": 1, "objective": "sharpe"}

Kontrol 2: hiç dokunmadığın bir ayrılmış test dönemi

Deflated Sharpe şansı indirime uğratır; ayrılmış test dönemi (holdout) onu ortadan kaldırır. Bir fikrin çalıştırmalarını bir çalışmada topla (study:rsi-4h gibi bir etiket) ve ayar yapmaya başlamadan önce ayrılmış dönemini, örneğin son 6 ayı, bildir. Ayrılmış dönem kullanılmadığı sürece OptAlgo çalışmanın o dönemi kapsayan çalıştırmalarını reddeder. En sonda üzerinde tek bir son test çalıştırırsın:

Bir kez kullanıldığında ayrılmış dönem harcanmıştır. Değiştirilmiş bir stratejiyi yeniden test etmek için daha sonraki veride yeni bir ayrılmış dönem bildir.

Kontrol 3: küçük değişikliklere dayanıyor mu?

Sağlamlık kontrolü bitmiş bir backtest'i dört baskı altında yeniden çalıştırır: işlemleri 1.000 kez yeniden örneklenir, komisyon ve kayma ikiye katlanır, her sayısal parametre %10 oynatılır ve dönemin başlangıcı %5, %10 ve %15 ileri alınır. Karar sağlam, kırılgan ya da bozuktur. Sadece tek bir kesin ayarda ya da sadece tek bir başlangıç tarihinden itibaren çalışan bir strateji sana bir şey söylüyordur.

Kontrol 4: komisyon sonrası ve birden fazla coinde

Her sonucu komisyon ve fonlama sonrasında değerlendir. Daha az sayıda, daha büyük hareket genellikle kısa zaman diliminde daha çok işlemden iyidir. Sonra aynı kuralları tek çalıştırmada bir coin sepetinde test et: OptAlgo sermayeyi eşit böler ve not en iyi sembolün değil, en kötü sembolün notudur.

Bir rakama güvenmeden önce kontrol listesi

  1. Dürüstlük notu A ile C arasında ve bulgularını okudun.
  2. Aşırı uyum kararı ok ya da aynı kodun walk-forward'ı sağlam çıktı.
  3. Ayrılmış dönemdeki son test tutuyor.
  4. Kâr birkaç işlemden gelmiyor ve ikiye katlanmış maliyetlere dayanıyor.
  5. Önce demoda çalışıyor ve demo işlemleri aynı dönemin backtest'iyle eşleşiyor.

Bunların her biri OptAlgo kripto backtest içinde hazır ve Free planın ayda 50 birimi bunu kendi fikrinde denemeye yeter.

Bir sonraki stratejin bir cümle uzağında.
Paraya dokunmadan önce dürüstçe test et.

Ücretsiz başla, kart gerekmez

Free planda ayda 50 backtest birimi.