daruma3940の日記

理解や文章に間違い等あればどんなことでもご指摘お願いします

FishTestの見方を調べるのじぇ

f:id:daruma3940:20160520223745p:plain

あとでちゃんとまとめるのじぇ

Stockfish Testing Framework

 

 

 

f:id:daruma3940:20161029021630j:plain

緑 強くなってる

赤 弱くなってる

灰色 テスト中?

LLR:Log likehood ratio 

LTC:long time control 60s+0.4s(60秒+1手毎に+0.4秒だと思われる)

STC:short time control 10s+0.1s

SPRT:sequential probability ratio test(仮説検定の一種?)

Sequential probability ratio test - Wikipedia

Chess SPRT Calculator

ELOがwindowを超えると予想される自己対戦を終了させる(もうはっきり勝敗がわかるから)

(-2.94,2.94):さっぱりわからんwindowに関係している?

[0.00,4.00]:elo0が0.00 elo1が4.00 elo0帰無仮説 elo1対立仮説

El:userの名前

W:Wins 

L:Losses

f:id:daruma3940:20161029022536j:plain

Residual:残差(現実に測定できる誤差)

 

fishtestはχ2乗検定をしている。

p値(仮説に反する統計量が観測される確率)が有意でない限り、そのテストは信頼できる。(residentialが赤色なのはデータが信頼できないやつ)

https://groups.google.com/forum/#!topic/fishcooking/00AnU9eU1O0

パラメーター調整はSPSAを用いている

GitHub - zamar/spsa: SPSA Tuner for Stockfish Chess Engine

http://www.jhuapl.edu/spsa/PDF-SPSA/Spall_Implementation_of_the_Simultaneous.PDF

 

 まずはSTCでテストされ、それに通ればLTCに移る。