Rehber

Yapay Zeka Backtest'ine Güvenmeden Önce 7 Kontrol

ChatGPT ya da Claude harika bir backtest mi verdi? Önce 7 şeyi kontrol et: gerçek maliyet, geleceğe bakma, deneme sayısı, walk-forward, işlem sayısı, demo.

Güncellendi

Yapay zekanın yazdığı bir backtest'e ancak yedi kontrolden geçtikten sonra güven: komisyon ve fonlamayla gerçek veri, geleceğe bakmama, dürüst bir deneme sayısı, örneklem dışı kanıt, yeterli işlem ve taşıyabileceğin bir düşüş, sık işlemde maliyete dayanıklılık ve demo çalıştırma. ChatGPT ya da Claude bir dakikada güzel görünen bir getiri eğrisi çıkarır; yanlış olabileceği yerlerin çoğu grafikte görünmez. Aşağıdaki her kontrolde soracağın soru ve kötü bir cevabın neye benzediği var.

Örnekler 2026-11-22'de OptAlgo üzerinde, Binance verisiyle yapılmış gerçek çalıştırmalardır. Trading risklidir ve hiçbir backtest kanıt değildir; aşağıdaki iyi görünen sonuç da buna dahil.

Yapay zekanın yazdığı backtest neden ek kontrol ister?

Asistan strateji kodunu hızlı yazar ve kod çoğu zaman çalışır. Sorun da bu. Bir backtest'in iki parçası vardır: strateji ve emirleri gerçekleştiren simülatör. Asistan ikisini de tek bir betikte yazınca simülatörü denetleyen kimse kalmaz. Emirler kusursuz fiyattan dolar, komisyon unutulur ve sonuç, gerçekte yapabileceğin her şeyden iyi görünür.

İkinci sorun sohbetin kendisi. Her “biraz daha iyileştir” dediğinde asistan bir sayıyı değiştirip yeniden çalıştırır. Yirmi turdan sonra baktığın şey yirmi denemenin en iyisidir ve o sonucun bir kısmı şanstır.

Aşağıdaki kontroller her araçta işe yarar. OptAlgo'nun senin yerine yaptığı kontrollerde nasıl yaptığını da yazdık.

Kontrol 1: Gerçek veri, komisyon ve fonlama

Sor: veri hangi borsadan, emirler hangi mum boyutunda simüle edildi, hangi komisyon kesildi ve sürekli vadeli kontratta fonlama ödendi mi?

Kötü cevap: “örnek fiyatlar kullandım”, “komisyon henüz dahil değil”, “emirler sinyal mumunun kapanışında doluyor” ya da fonlama konusunda sessizlik. Sürekli vadeli kontratta fonlama long ve short taraflar arasında gerçek bir ödemedir; haftalarca açık kalan bir pozisyon bunu defalarca öder ya da alır.

OptAlgo'da bu sorunun cevabı A'dan D'ye dürüstlük notu. A, her emrin komisyon, fonlama ve borsa kurallarıyla gerçek veride gerçekleştiği anlamına gelir. D gerçekçi değil demektir: düzelt ve tekrar çalıştır. Getiri rakamından önce notu oku.

Örnek A. EMA kesişimli bir trend stratejisi (EMA 20, EMA 80'i yukarı kestiğinde long, 3 ATR takip eden stop), BTCUSDT sürekli vadeli, 4 saatlik mumlar, 2022-01-01 ile 2026-01-01 arası. Dürüstlük notu A. Komisyon ve fonlama sonrası getiri +%70,8, yıllık bileşik getiri %14,3, maks. düşüş -%15,0, Sharpe 0,85, 55 işlem, kazanma oranı %40, kâr faktörü 1,79. Bu tek bir backtest, yani örneklem içi. Aklında tut: 1. kontrolden geçiyor, 4. kontrolde kalıyor.

Kontrol 2: Geleceğe bakma

Sor: strateji i. mumda karar verirken sadece i. muma kadarki veriyi mi kullanıyor?

Kötü cevap genelde sohbette değil, kodda durur. Yanlış yöne kaydırılmış diziler, gün bitmeden kullanılan günlük en yüksek ya da en düşük, tüm geçmiş üzerinden tek seferde hesaplanan bir gösterge ara. Tipik belirti fazla pürüzsüz bir getiri eğrisi ve fazla yüksek bir kazanma oranıdır.

Örnek D. Bir strateji her mumu bir sonraki mumun kapanışıyla karşılaştırıyordu:

nxt = np.concatenate([c[1:], c[-1:]])   # next bar's close

OptAlgo'nun ücretsiz doğrulaması bunu hiçbir çalıştırma başlamadan reddetti. Bulgu şuydu: “the strategy looks ahead: enter at bar 1607 changes when the bars after 1607 are removed (bar i may only use data up to bar i)”. Yani 1607. mumdan sonraki mumlar silinince o mumdaki giriş kararı değişiyor. Düzeltmesi de yanında geldi: “use indicators.shift(x, 1) for the previous bar”.

Bu mesajın arkasındaki test basit ve her araçtan isteyebilirsin: veriyi bir mumda kes, tekrar çalıştır ve o mumdaki kararın değişip değişmediğine bak. Değiştiyse strateji geleceği okuyordu. Daha fazla örnek geleceğe bakma örnekleri rehberinde.

Kontrol 3: Deneme sayısı

Sor: bu sonuçtan önce aynı veride bu stratejinin kaç sürümünü çalıştırdık?

Kötü cevap: sayı vermeden “denediklerimin en iyisi bu”. Ya da temiz bir son betik ve ondan önceki on beş denemenin hiçbir kaydı yok.

Her çalıştırma bir denemedir. Yeterince değersiz varyant denersen biri şansla iyi bir Sharpe oranı gösterir. Deflated Sharpe oranı bunu düzeltir: senin Sharpe'ın, o kadar değersiz varyantın en iyisinin şansla ulaşacağı seviyeyi geçiyor mu diye bakar.

OptAlgo son 30 günde örtüşen veride çalıştırdığın varyantları sayar ve her sonuca bir aşırı uyum kararı ekler: ok, dikkat, muhtemelen aşırı uyum ya da çalıştırma zarar ettiyse avantaj yok. Başka bir araç kullanıyorsan sayıyı kendin tut ve kendine karşı dürüst ol.

Kontrol 4: Örneklem dışı ya da walk-forward

Sor: parametreler bir dönemde seçilip optimizasyonun hiç görmediği başka bir dönemde mi ölçüldü?

Kötü cevap: “backtest dört yılı kapsıyor, demek ki sağlam”. Uzunluk, örneklem dışı demek değildir. Sayılar dört yılın tamamına bakılarak seçildiyse dört yılın tamamı örneklem içidir.

Örnek B. 1. kontroldeki aynı EMA kesişimi fikri, tek bir walk-forward araştırma çalıştırması olarak: dönem başına 30 yapılandırma (hızlı 10 ile 40, yavaş 60 ile 160, takip eden stop 2, 3 ya da 4 ATR), 608 günlük eğitim, 180 günlük test, 6 kayan dönem, 2021-01-01 ile 2026-01-01 arası. Karar: muhtemelen aşırı uyum.

En net işaret son satır. Gerçek bir avantaj tek bir ayarda dursaydı optimizasyon hep aynı bölgeyi bulurdu. Burada her seferinde başka bir kazanan buldu; gürültüye uyum tam olarak böyle görünür.

Yani +%70,8 getirili A notlu çalıştırma emir gerçekleşmeleri konusunda dürüsttü ama bir avantajın kanıtı değildi. Not “bu işlemler gerçekten olabilir miydi?” sorusunu yanıtlar. Walk-forward ise “bu kuralları önceden seçer miydim?” sorusunu. İkisi de gerekir. Araştırma çalıştırmasını nasıl okuyacağını aşırı uyum rehberi anlatıyor.

Kontrol 5: İşlem sayısı ve düşüş

Sor: sonuç kaç işleme dayanıyor, maksimum düşüş neydi ve en kötü kayıp dönemi ne kadar sürdü?

Kötü cevap: bir düzine işlemden gelen büyük bir getiri ya da bütün kârı iki işlemin taşıdığı bir sonuç. Az sayıda işlem beceriyi şanstan ayıramaz. Örnek B'de 30 örneklem dışı işlem, kısa geçmiş uyarısını tetiklemeye yetti.

Düşüşü, içinden geçmek zorunda kalacağın bir şey olarak oku. Örnek A en kötü anında zirveden %15,0 geriledi ve kazanma oranı %40'tı; yani işlemlerin çoğu zarar etti ve kayıp serileri olağandı. O noktada robotu açık tutar mıydın, kendine sor. Tutmazdıysan o getiri rakamı senin değil.

Kontrol 6: Sık işlemde maliyet duyarlılığı

Sor: günde kaç işlem yapıyor ve maliyetler biraz daha yüksek olsa sonuç ne olur?

Kötü cevap: 1 ya da 5 dakikalık mumlarda yüzlerce işlem yapan ve işlem başına ortalama kârı tek bir gidiş dönüş komisyonundan küçük olan bir strateji. Strateji her girişte ve her çıkışta komisyon öder; ne kadar sık işlem yaparsa sonuç maliyet varsayımına o kadar bağlı olur.

Hızlıca görmek için net kârı işlem sayısına böl. Ortalama işlem kendi maliyetinin sadece birkaç katını kazanıyorsa biraz daha geniş bir makas ya da daha kötü bir gerçekleşme avantajı silebilir. Örnek A dört yılda 55 işlem yaptı, yani maliyet sonucunun küçük bir parçasıydı. Scalping stratejisi bunun tam tersidir ve en sıkı bakışı burada hak eder.

Kontrol 7: Paradan önce demo

Sor: bu kod, tam olarak bu haliyle, canlı fiyatlarda ve gerçek para olmadan ileriye doğru çalıştı mı?

Kötü cevap: “backtest yeterli”. Backtest sadece geçmişi bilir. Demo işlem aynı kuralları, sen onları yazarken henüz var olmayan fiyatlarda çalıştırır; aşırı uyduramayacağın tek test budur.

OptAlgo'da A'dan C'ye notlu bir backtest'i yayına alırsın ve kod her mum kapanışında, demoda, Robotlarım'da çalışır. Yayın kapısı zarar eden bir backtest'i reddeder; muhtemelen aşırı uyum kararı alanı da, aynı kodun örneklem dışı araştırma çalıştırması geçmediyse reddeder. Backtest ile karşılaştır özelliği robotun gerçek demo işlemlerini aynı dönemin backtest'iyle işlem işlem eşleştirir. Sohbet bağlayıcıları sadece demodur; canlıya geçiş Plus ya da Pro'da, uygulamada senin kararındır.

Asistanına verebileceğin kurallar

Bunları sohbetin başında yapıştırabilirsin. Yedi kontrolü alışkanlığa çevirir.

  1. Getiriden önce veri kaynağını, komisyon ve fonlamayı ve dürüstlük notunu söyle.
  2. Her kararın sadece geçmiş mumları kullandığını göster.
  3. Bu veride kaç varyant çalıştırdığımızı söyle.
  4. Tek tek çalıştırmayla parametre oynama. Tek bir walk-forward çalıştır ve örneklem dışı sonucu raporla.
  5. Her sonuçta işlem sayısını, maks. düşüşü ve kazanma oranını ver.
  6. İşlem başına ortalama kârı işlem başına maliyetin yanında ver.
  7. Tek bir backtest'e örneklem içi de, asla kanıt deme. Paradan önce demo gelir.

Yedisi de OptAlgo backtest içinde hazır ve denemek için Free plan yeterli: ayda 50 backtest birimi, kart gerekmez. Ücretsiz hesap aç ya da önce yapay zeka strateji oluşturucunun nasıl çalıştığına bak.

Sık sorulan sorular

ChatGPT ya da Claude'un yazdığı backtest'e güvenebilir miyim?

Tek başına hayır. Kod çalışsa bile emirleri imkansız fiyatlardan doldurabilir, komisyonu atlayabilir ya da gelecekteki mumları okuyabilir. Ancak komisyon ve fonlamayla gerçek borsa verisinde çalıştıktan, geleceğe bakma kontrolünden geçtikten, örneklem dışında tutunduktan ve demoda çalıştıktan sonra güven.

Yapay zekanın yazdığı backtest'te en sık hata nedir?

İki hata çok yaygın. Birincisi geleceğe bakma: strateji henüz kapanmamış bir mumun verisini kullanır. İkincisi tekrarla ayar yapma: aynı veride defalarca bir varyasyon daha isteyip en iyisini tutmak.

Backtest'imin getirisi iyi ve notu dürüst. Bu yeterli mi?

Hayır. Dürüst not, işlemlerin gerçek maliyetlerle olabileceğini söyler. Kuralların önceden seçildiğini söylemez. Örneğimizde +%70,8 getirili A notlu bir çalıştırma, aynı fikrin walk-forward'ında muhtemelen aşırı uyum kararı aldı.

Bir backtest'te kaç işlem olmalı?

Sabit bir sayı yok ama birkaç düzine işlem zayıftır. Walk-forward örneğimizde 30 örneklem dışı işlem kısa geçmiş uyarısını tetikledi. İşlem azaldıkça sadece şansla açıklanabilecek sonuç aralığı genişler.

Kontrol listesinden geçen strateji para kazanır mı?

Hayır. Kontroller bir backtest'in bilinen yalan söyleme yollarını kapatır, geleceği tahmin etmez. Piyasa değişir ve her kontrolden geçen bir strateji yine de zarar edebilir. Demoda başla ve sadece kaybetmeyi göze alabileceğin parayı riske at.

Bir sonraki stratejin bir cümle uzağında.
Paraya dokunmadan önce dürüstçe test et.

Ücretsiz başla, kart gerekmez

Free planda ayda 50 backtest birimi.