Walk forward analizi, geçmiş veriyi art arda gelen eğitim ve test dönemlerine böler. Stratejiyi eğitim döneminde ayarlarsın, sonra hiç değiştirmeden, daha önce görmediği bir sonraki dönemde çalıştırırsın; ardından iki pencereyi de ileri kaydırıp tekrarlarsın. Sadece test dönemlerinin sonucu raporlanır, yani son rakam ayarlamanın hiç dokunmadığı veriden gelir.
Tek backtest neden yetmez?
Normal bir backtest parametreleri seçer ve sonucu aynı veride raporlar. Yirmi ayar deneyip en iyisini tuttuysan o sonucun bir kısmı şanstır ve ne kadarının şans olduğunu bilemezsin. Buna aşırı uyum denir: strateji bir kural değil, geçmişin kendisini öğrenmiştir.
Walk-forward daha dar ama daha dürüst bir soruyu yanıtlar: ayarlarımı sadece o gün elimde olan veriyle seçseydim ve sonraki birkaç ayı o ayarlarla işlem yaparak geçirseydim ne olurdu?
Eğitim ve test dönemleri, zaman çizelgesiyle
Bir eğitim penceresi ile hemen ardından gelen test penceresine birlikte bir dönem (fold) denir. İki yıl eğitim, altı ay test ve altışar aylık adımlarla basit bir düzen şöyle görünür:
- 1. dönem: Ocak 2021 - Aralık 2022 arası eğitim, Ocak - Haziran 2023 arası test.
- 2. dönem: Temmuz 2021 - Haziran 2023 arası eğitim, Temmuz - Aralık 2023 arası test.
- 3. dönem: Ocak 2022 - Aralık 2023 arası eğitim, Ocak - Haziran 2024 arası test.
- 4. dönem: Temmuz 2022 - Haziran 2024 arası eğitim, Temmuz - Aralık 2024 arası test.
Her dönemde optimizasyon, izin verilen parametre kombinasyonlarını eğitim penceresinde dener ve en iyisini seçer. O tek ayar, test penceresinde hiçbir değişiklik yapılmadan işlem yapar. Test pencereleri birbiriyle örtüşmez; uç uca eklendiklerinde tek bir örneklem dışı sermaye eğrisi oluşur, bu örnekte Ocak 2023'ten Aralık 2024'e. Sonuç bu eğridir. Eğitim sonuçları atılır, çünkü tanım gereği örneklem içidir.
Bunun gerçek hayattan neyi kopyaladığına dikkat et. Haziran 2023'te, 2024'te neyin işe yarayacağını bilemezdin. 2. dönemdeki optimizasyon da bilmiyor.
Kayan pencere mi, sabit başlangıç mı?
Kayan (rolling) walk-forward'da eğitim penceresinin uzunluğu sabittir ve ileri kayar; yukarıdaki listede olduğu gibi her dönem en eski ayları bırakır, en yenileri ekler. Sabit başlangıçlı (anchored) walk-forward'da eğitim penceresinin başı yerinde kalır ve pencere büyür; yani 4. dönem Ocak 2021'den Haziran 2024'e kadar her şeyle eğitilir. Kayan pencere piyasa değiştiğinde daha hızlı uyum sağlar ve eski dönemleri unutur; 2021 ile 2024'ün çok farklı davrandığı kriptoda bu işe yarar. Sabit başlangıç daha çok veri kullandığı için parametre seçimleri daha sakindir, ama eski veri sonsuza kadar oy vermeye devam eder. Biri diğerinden daha doğru değil. Strateji sadece birinde geçiyorsa bunu, geçeni seçmek için bir sebep olarak değil, bir zayıflık olarak gör.
Örnek: A notlu bir backtest, sonra walk-forward
Bu örnek OptAlgo'da, Binance verisiyle çalıştırıldı. Fikir sade bir trend takibi kuralı: 20 mumluk EMA, 80 mumluk EMA'yı yukarı kestiğinde long aç ve fiyatın 3 ATR gerisinden takip eden stop koy. BTCUSDT vadeli, 4 saatlik mumlar.
Önce 2022-01-01 ile 2026-01-01 arasında tek bir backtest. Dürüstlük notu A geldi: komisyon ve fonlama sonrası getiri +%70,8, yıllık bileşik getiri (CAGR) %14,3, maksimum düşüş -%15,0, Sharpe 0,85, 55 işlem, kazanma oranı %40, kâr faktörü 1,79. A notu; emir gerçekleşmelerinin, komisyonların ve fonlamanın gerçekçi simüle edildiğini söyler. Yine de bu tek bir backtest ve örneklem içi. 20, 80 ve 3'ün iyi sayılar mı yoksa şanslı sayılar mı olduğunu söyleyen hiçbir şey yok.
Sonra aynı fikrin 2021-01-01 ile 2026-01-01 arasındaki walk-forward araştırma çalıştırması. Her dönemde optimizasyon 30 konfigürasyon denedi: hızlı EMA 10 ile 40 arasında, yavaş EMA 60 ile 160 arasında, takip eden stop 2, 3 ya da 4 ATR. Her dönem 608 gün eğitim ve ardından gelen 180 gün testten oluştu; kayan pencereyle 6 dönem.
- Karar: muhtemelen aşırı uyum.
- Örneklem dışı getiri: +%23,4.
- Örneklem dışı yıllıklandırılmış Sharpe: 0,49.
- Kârlı test dönemi: 6'da 4.
- Örneklem dışı işlem sayısı: 30.
- Deflated Sharpe kontrolünden geçemedi; kısa geçmiş ve eğitimden teste performans düşüşü için uyarı aldı.
Optimizasyonun seçtiği parametreler her dönemde değişti. Örneğin bir dönemde hızlı 30 ve yavaş 120'yi seçti, sonra 25 ve 160'ı, sonra 40 ve 140'ı.
Yani aynı fikir iki çok farklı tablo veriyor. Tek çalıştırma temiz bir notla +%70,8 diyor. Walk-forward ise şunu diyor: pozitif, ama şanstan ayırt edilemeyecek kadar zayıf ve kararsız. Çıkarılacak ders: +%70,8 getirili A notlu bir çalıştırma emir gerçekleşmeleri konusunda dürüsttür, bir avantajın kanıtı değildir.
Walk-forward sonucu nasıl okunur?
Örneklem dışı getiride durma. Dört şey sana daha fazlasını söyler.
Kârlı dönemlerin oranı. Örnekte 6 test döneminin 4'ü para kazandı. Yazı turayla karşılaştırana kadar kulağa iyi geliyor. Hilesiz bir para 6 atışta 4 ya da daha fazla turayı yaklaşık üç seferde bir verir. Altı dönem, sayının tek başına bir şey ifade etmesi için çok az. Kârın nasıl dağıldığına da bak: bir harika dönem ve beş yatay dönem bir örüntü değil, tek bir şanslı dönemdir.
Örneklem dışı Sharpe. Bu, birleştirilmiş test eğrisinin Sharpe oranıdır ve söylenecek rakam budur. Burada 0,49; tek backtest'in 0,85'inin epey altında. İki dönem birebir aynı değil, o yüzden karşılaştırma kaba; ama yön tipik: strateji ayarlandığı veriden çıkınca performans düşer. Eğitimden teste düşüş uyarısının anlattığı şey bu. Küçük bir düşüş normaldir. Büyük bir düşüş, örneklem içi sonucun çoğunun veriye uydurma olduğunu söyler.
İşlem sayısı. Yukarıdaki örneklem dışı Sharpe 30 işleme dayanıyor. Bu kadar az işlemde sonucu birkaç işlem belirler; çalıştırmanın kısa geçmiş uyarısı almasının sebebi de bu. Deflated Sharpe oranı, geçmişin uzunluğu ve denenen konfigürasyon sayısı hesaba katıldığında Sharpe'ın hâlâ ikna edici olup olmadığını sorar. Burada cevap hayırdı.
Parametre kararlılığı. Avantaj gerçekse birbirine yakın ayarların hepsi onu yakalar ve optimizasyon hep aynı bölgeden seçim yapar. 30/120'den 25/160'a, oradan 40/140'a atlamak tersini söylüyor: her eğitim penceresinde tesadüfen başka bir ayar en iyi uymuş. Gürültüye uydurmak böyle görünür. En iyi parametreleri böyle gezen bir strateji, birleştirilmiş eğri pozitif olsa bile kırılgandır.
OptAlgo'da bunlar tek bir kararda toplanır: sağlam, belirsiz ya da muhtemelen aşırı uyum. Belirsiz geçti sayılmaz.
Hiç dokunmadığın ayrılmış test dönemi
Walk-forward da aşırı uyumlu olabilir. Çalıştırıp sonucu beğenmez, kuralları değiştirir ve on kez tekrar çalıştırırsan stratejiyi test dönemlerine göre ayarlamış olursun. Artık görülmemiş veri değiller.
Bunun koruması ayrılmış test dönemidir (holdout): verinin son kısmını, örneğin son 6 ayı, herhangi bir ayardan önce kenara koyarsın ve bakmazsın. Bütün araştırma ondan önceki veride yapılır. En sonda, seçtiğin stratejiyi ayrılmış dönemde bir kez çalıştırırsın.
OptAlgo'da bir fikrin çalıştırmalarını bir çalışma (study) altında toplar ve ayrılmış dönemini baştan bildirirsin. Ayrılmış dönem kullanılmadığı sürece, çalışmanın o dönemi kapsayan çalıştırmaları reddedilir. Tek final testinin üç cevabı var: tuttu (para kazandı ve örneklem içi Sharpe'ın en az yarısını korudu), zayıfladı (para kazandı ama yarısından azını korudu) ya da başarısız (zarar etti). Bundan sonra ayrılmış dönem harcanmıştır. Değiştirdiğin stratejiyi tekrar test etmek için daha yeni veride yeni bir dönem ayırman gerekir.
Sık yapılan hatalar
- Walk-forward'ı geçene kadar tekrar çalıştırmak. Kuralları değiştirerek yaptığın her tekrar, aynı test dönemlerinde bir deneme daha demek.
- Çok kısa test pencereleri. Ayda bir işlem açan bir stratejinin 30 günlük test döneminde tek işlem olur. Her test penceresinde anlam taşıyacak kadar işlem olmalı.
- Çok geniş arama alanı. Dönem başına ne kadar çok konfigürasyon denersen eğitimde gürültüye uymak o kadar kolaylaşır, testteki düşüş de o kadar büyür.
- Örneklem içi rakamları söylemek. Eğitim sonuçları her zaman iyi görünür. Sadece birleştirilmiş örneklem dışı eğri sayılır.
- Getiriye bakıp parametre yolunu atlamak. Her dönemde başka bir ayarla kurulmuş pozitif bir eğri tek bir strateji değildir.
- Maliyetleri yok saymak. Örneklem dışı sonucu da her backtest gibi komisyon ve fonlama sonrasında değerlendir.
- Geçmeyi kanıt saymak. Sağlam çıkan bir walk-forward iyi bir delildir, garanti değildir. Trading risklidir ve bir sonraki piyasa dönemi bütün test dönemlerinden farklı olabilir.
Kararla ne yapılır?
Karar örnekteki gibi muhtemelen aşırı uyum ise parametre aralıklarını geçene kadar daraltma. Dürüst seçenekler şunlar: fikri değiştirmek, değerlendirilecek daha çok işlem olsun diye aynı kuralları daha fazla coinde test etmek ya da bu sürümün arkasında delil olmadığını kabul etmek.
Elinde inandığın parametreler varsa ve sadece onları sınamak istiyorsan tek konfigürasyonlu bir walk-forward çalıştır. Hiçbir şey aranmaz: her dönem aynı parametreleri kendi eğitim döneminden sonraki veride test eder ve bu tek deneme sayılır.
{"protocol": "walk_forward", "plan": {"plan": "rolling", "train_days": 365, "test_days": 90, "step_days": 90},
"space": {"lb1": {"choices": [42]}, "lb4": {"choices": [336]}}, "sampler": "grid", "n_trials": 1, "objective": "sharpe"}Sonuç tutuyorsa sıradaki adım, stratejiyi risk almadan canlı fiyatlarda izlemek. Bu aşamayı paper trading rehberi anlatıyor. Backtest'in geri kalan adımları için kripto backtest rehberine bak.
Sık sorulan sorular
Walk forward analizi nedir?
Stratejiyi geçmiş verinin bir bölümünde ayarlayıp, hiç değiştirmeden, daha önce görmediği bir sonraki bölümde test etmek ve bunu veride ileri doğru tekrarlamaktır. Sonuç sadece test bölümlerinden oluşur, yani stratejinin ayarlanmadığı verideki performansını gösterir.
Kayan ve sabit başlangıçlı walk-forward arasındaki fark nedir?
Kayan pencerede eğitim döneminin uzunluğu sabittir ve ileri kayar, eski veri dışarıda kalır. Sabit başlangıçta eğitim döneminin başı yerinde durur ve pencere büyür. Kayan pencere yeni piyasa koşullarına daha hızlı uyar; sabit başlangıç daha çok veri kullandığı için daha kararlı parametreler verir.
Walk-forward için kaç dönem gerekir?
Her test penceresinde anlamlı sayıda işlem olacak ve dönemler farklı piyasa koşullarını kapsayacak kadar. Az sayıda dönemde kârlı dönem oranı tek başına pek bir şey söylemez: bir para 6 atışta 4 ya da daha fazla turayı yaklaşık üçte bir ihtimalle verir.
Örneklem dışı Sharpe kaç olmalı?
Sabit bir eşik yok. Örneklem içi Sharpe ile ve arkasındaki işlem sayısıyla birlikte değerlendir. Örneklem içinden örneklem dışına büyük bir düşüş ya da birkaç on işleme dayanan bir Sharpe, rakam pozitif olsa bile zayıf delildir.
Walk-forward analizi de aşırı uyumlu olabilir mi?
Evet. Stratejiyi değiştirip walk-forward'ı defalarca tekrar çalıştırırsan onu test dönemlerine göre ayarlamış olursun. Baştan kenara koyduğun ve sadece bir kez test ettiğin ayrılmış bir dönem buna karşı korur.