Gerçek olamayacak kadar iyi görünen bir backtest genellikle gerçek değildir. Çoğu durumu iki neden açıklar: strateji geleceği görmüştür (geleceğe bakma, yani lookahead bias) ya da o kadar çok sürüm denemişsindir ki en iyisi şansla kazanmıştır (aşırı uyum). Bu rehber ikisini de nasıl kontrol edeceğini gösteriyor. Örnekler OptAlgo üzerinde, ama fikirler her backtest aracı için geçerli.
Backtest'inin yalan söylediğinin işaretleri
- Tek bir parametredeki küçük bir değişiklik getiriyi fırlatıyor ya da çökertiyor.
- Tek bir coinde ya da tek bir yılda kazanıyor, geri kalan her yerde kaybediyor.
- Kârın çoğunu bir avuç işlem getiriyor.
- Aynı veride kaç varyant denediğinin sayısını unuttun.
- Günde birkaç kez işlem yapan kısa zaman dilimli bir strateji komisyonlardan önce harika, sonra yatay görünüyor.
Geleceğe bakma: strateji geleceği gördü
Geleceğe bakma, i numaralı mumdaki bir kararın, i numaralı mum kapandıktan sonraki veriyi kullanması demektir. Masum görünen kodun içine saklanır: bir seriyi geriye kaydırmak, np.roll(close, -1), ortalanmış pencereler ya da tüm seri üzerinden hesaplanan bir istatistik. Backtest o zaman o anda kimsenin sahip olmadığı bilgiyle işlem yapar.
OptAlgo her çalıştırmaya, rakamları sayılmadan önce, gelecek çıkarıldığında da aynı kararı verdiğini kanıtlatır. Motor stratejiyi, son 3.000 mumun eşit aralıklı 6 ve rastgele 6 mumunda kesilmiş veride yeniden çalıştırır; girdiği, çıktığı ya da hedef belirlediği en fazla 24 mumda kararı, o mumda biten veriyle yeniden verir. Ayrıca kodun deterministik olduğunu kanıtlamak için aynı parametreleri iki kez çalıştırır. Herhangi bir fark geleceğe bakmadır: çalıştırma D notu alır ve asla yayına alınamaz. Doğrulama aynı kontrolü sentetik mumlarda ücretsiz, sen bir birim harcamadan önce yapar.
Sınırlarını da bil. Her mumu yeniden çalıştırmak yerine mum örnekler, çizimler kontrol edilmez ve bu bir aşırı uyum kontrolü değildir: aynı dönemde ayarlanmış parametreler hiç geleceğe bakmadan da harika görünebilir.
Aşırı uyum: birçok denemenin en iyisi
Bir fikrin 35 varyantını tek bir dönemde çalıştır; her biri tek başına B notu alsa bile en iyisi kısmen şansla iyi görünür. Not, tek bir çalıştırmanın mekaniğini değerlendirir, etrafındaki aramayı değil. Bu yüzden OptAlgo son 30 günde örtüşen veride çalıştırdığın varyantları sayar ve bir deflated Sharpe oranı (Bailey & López de Prado) hesaplar: Sharpe oranının, o kadar değersiz varyantın en iyisinin şansla ulaşacağı değeri geçme olasılığı.
- ok: tek çalıştırma ya da en az 0,95 deflated Sharpe olasılığı.
- dikkat: 0,95'in altında.
- muhtemelen aşırı uyum: 0,5'in altında.
- avantaj yok: çalıştırma zarar etti. Parametreleri değil, fikri değiştir.
Kontrol 1: elle ayar yerine walk-forward
Parametreleri birçok tekil çalıştırmayla tarama. Walk-forward geçmişi dönemlere böler: bir eğitim aralığında optimize et, optimizasyonun hiç görmediği sonraki aralıkta test et, ileri kay ve tekrarla. Varsayılan plan 180 gün eğitim ve 60 gün testtir. Önemli olan rakam, test dilimleri boyunca zincirlenmiş örneklem dışı getiridir; karar sağlam, belirsiz ya da muhtemelen aşırı uyumdur. Belirsiz geçti sayılmaz.
Zaten seçtiğin parametreleri arama yapmadan doğrulamak için tek konfigürasyonlu bir walk-forward çalıştır. Her dilim aynı parametreleri kendi eğitim aralığından sonraki veride test eder ve bu tek deneme sayılır:
{"protocol": "walk_forward", "plan": {"plan": "rolling", "train_days": 365, "test_days": 90, "step_days": 90},
"space": {"lb1": {"choices": [42]}, "lb4": {"choices": [336]}}, "sampler": "grid", "n_trials": 1, "objective": "sharpe"}Kontrol 2: hiç dokunmadığın bir ayrılmış test dönemi
Deflated Sharpe şansı indirime uğratır; ayrılmış test dönemi (holdout) onu ortadan kaldırır. Bir fikrin çalıştırmalarını bir çalışmada topla (study:rsi-4h gibi bir etiket) ve ayar yapmaya başlamadan önce ayrılmış dönemini, örneğin son 6 ayı, bildir. Ayrılmış dönem kullanılmadığı sürece OptAlgo çalışmanın o dönemi kapsayan çalıştırmalarını reddeder. En sonda üzerinde tek bir son test çalıştırırsın:
- tutuyor: para kazanıyor ve örneklem içi Sharpe'ın en az yarısını koruyor.
- zayıfladı: para kazanıyor ama örneklem içi Sharpe'ın yarısından azıyla.
- başarısız: hiç görmediği veride zarar etti.
Bir kez kullanıldığında ayrılmış dönem harcanmıştır. Değiştirilmiş bir stratejiyi yeniden test etmek için daha sonraki veride yeni bir ayrılmış dönem bildir.
Kontrol 3: küçük değişikliklere dayanıyor mu?
Sağlamlık kontrolü bitmiş bir backtest'i dört baskı altında yeniden çalıştırır: işlemleri 1.000 kez yeniden örneklenir, komisyon ve kayma ikiye katlanır, her sayısal parametre %10 oynatılır ve dönemin başlangıcı %5, %10 ve %15 ileri alınır. Karar sağlam, kırılgan ya da bozuktur. Sadece tek bir kesin ayarda ya da sadece tek bir başlangıç tarihinden itibaren çalışan bir strateji sana bir şey söylüyordur.
Kontrol 4: komisyon sonrası ve birden fazla coinde
Her sonucu komisyon ve fonlama sonrasında değerlendir. Daha az sayıda, daha büyük hareket genellikle kısa zaman diliminde daha çok işlemden iyidir. Sonra aynı kuralları tek çalıştırmada bir coin sepetinde test et: OptAlgo sermayeyi eşit böler ve not en iyi sembolün değil, en kötü sembolün notudur.
Bir rakama güvenmeden önce kontrol listesi
- Dürüstlük notu A ile C arasında ve bulgularını okudun.
- Aşırı uyum kararı ok ya da aynı kodun walk-forward'ı sağlam çıktı.
- Ayrılmış dönemdeki son test tutuyor.
- Kâr birkaç işlemden gelmiyor ve ikiye katlanmış maliyetlere dayanıyor.
- Önce demoda çalışıyor ve demo işlemleri aynı dönemin backtest'iyle eşleşiyor.
Bunların her biri OptAlgo kripto backtest içinde hazır ve Free planın ayda 50 birimi bunu kendi fikrinde denemeye yeter.