Encomium Moriae

近年來，程式交易發達。
我們可以在網路上看到很多人在網路上貼或販賣具有優良回測績效的交易策略
為什麼能賺錢又績效這麼好的交易策略這麼好做
以至於一堆人都做的出來?

這些優異績效的來源如下

只要交易策略夠複雜，參數夠多，就會產生

Curve fitting
http://en.wikipedia.org/wiki/Curve_fitting

Overfitting
http://en.wikipedia.org/wiki/Overfitting

另外，只要在研究時，最佳化用過的參數組合數目，研究的交易策略夠多，就會產生

Data-snooping bias
http://en.wikipedia.org/wiki/Data_dredging

Data mining bias

如果統計法沒有修正 Data mining bias 或 Data-snooping bias
只考慮單一策略單一參數，當然這麼好的績效，當然是拒絕虛無假設，該策略有顯著效果

但是如果我們使用有修正 Data mining bias 或 Data-snooping bias的統計法來檢驗這些測驗結果時
根據目前所有的學術論文結果的是，接受虛無假設，該策略無顯著效果

而且這些學術論文研究的策略數往往很大，遠超過一般人腦窮其一生所能想到的策略數量

不過一般的交易策略軟體，是沒有能修正 Data mining bias 或 Data-snooping bias的統計法的功能

一般人也懶的去研究統計學，只要看到回測績效好看就爽了。

至於要如何統計績效的顯著性，而不受到 Data mining bias 或 Data-snooping bias

就請看

http://www.evidencebasedta.com/

第5章  第6章  第9章

P.-H. Hsu, Y.-C. Hsu, and C.-M. Kuan, “Testing the predictive ability of technical analysis using a new stepwise test without data snooping bias,” Journal of Empirical Finance, forthcoming.
http://homepage.ntu.edu.tw/~ckuan/pdf/Step-SPA-20090720.pdf

P.-H. Hsu and C.-M. Kuan, " Re-examining the profitability of technical analysis with White's reality check, " Journal of Financial Econometrics , 3, 606-628, 2005.
http://homepage.ntu.edu.tw/~ckuan/pdf/snoop01.pdf



data mining bias

人兩兩比猜拳，猜至分勝負為止
若兩人皆無猜拳猜贏的技術，則任何一人猜贏機率為1/2

虛無假設H0若此人無猜拳猜贏的技術
對立假設H1若此人有猜拳猜贏的技術

若 P-value 測驗採取單淘汰制

若要測驗1人是否有猜拳猜贏的技術，則他猜拳至少得連續贏幾場?
7場

=======================================================================

若要從16人中選出有猜拳猜贏的技術的人，則這些人猜拳至少得連續贏幾場?
11場

若要從128人中選出有猜拳猜贏的技術的人，則這些人猜拳至少得連續贏幾場?
14場

若要從1024人中選出有猜拳猜贏的技術的人，則這些人猜拳至少得連續贏幾場?
17場

若要從16384人中選出有猜拳猜贏的技術的人，則這些人猜拳至少得連續贏幾場?
21場

=======================================================================

若16人中有人連續猜贏7次，則他實際有猜拳猜贏的技術的機率是多少?
1/12.5

若128人中有人連續猜贏7次，則他實際有猜拳猜贏的技術的機率是多少?
1/100

若1024人中有人連續猜贏7次，則他實際有猜拳猜贏的技術的機率是多少?
1/800

若16384人中有人連續猜贏7次，則他實際有猜拳猜贏的技術的機率是多少?
1/12800

=======================================================================

16人比賽的冠軍實際有猜拳猜贏的技術的機率是多少?
0.01

128人比賽的冠軍實際有猜拳猜贏的技術的機率是多少?
0.01

1024人比賽的冠軍實際有猜拳猜贏的技術的機率是多少?
0.01

16384人比賽的冠軍實際有猜拳猜贏的技術的機率是多少?
0.01

=======================================================================

一般人做程式交易或策略研究，就只有考慮到

統計1個交易策略的績效是否有統計顯著性

這樣的狀況

沒有考慮最佳化測數的參數組合數，被統計的策略數量，若是都要考慮進去

則拒絕虛無假設的要求會更嚴苛，會和原來的結果相去甚遠，都無法拒絕虛無假設