前置き:札幌を外して、最初の週末
前回(#25)、実運用8日連続ゼロ的中の原因を点検した結果、EVの閾値設計ではなく「バックテストにほぼ含まれていなかった札幌開催」に偏っていたことが分かり、札幌を推奨対象から一時除外する対応を取った。
そして9月5日、6日。札幌を除外した状態で、初めての実戦データが出た。
9月5日:4件推奨(中山2件・阪神2件) 的中0
9月6日:推奨馬なし(0件)
的中はまだ出ていない。だが、今回は少し違う意味を持つ結果だった。
「推奨馬なし」という結果について
9月6日の買い目リストを開くと、中身はたった一行だった。
推奨馬なし
一瞬、「エラーかな」と思った。だが、これは正常な動作だ。この日は、EV3.50〜5.00・既知馬限定という条件を満たす馬が、1頭もいなかったということ。
これまでの記事では、「推奨した馬が外れた」話ばかりを書いてきた。だが、「そもそも推奨しない」という判断も、このシステムの重要な一部だ。条件に合わない日に、無理に馬を絞り出さない。 買わない判断も、買う判断と同じくらい大事な仕事だと、あらためて感じた。
札幌除外の効果は、まだ判定できない
9月5日の4件は、狙い通り中山・阪神のみで、札幌は一切登場しなかった。除外ロジックは正しく機能している。
だが、肝心の的中率については、まだ何も言えない段階だ。
札幌除外後の実績:4件(9/5のみ、9/6は推奨0件)
たった4件では、統計的には「何も分かっていない」に等しい。前回の記事で「札幌は検証不足だった」と結論づけたが、その結論が正しかったかどうかを確かめるには、もっとデータが必要になる。
全期間の累計:あと3件で最初のチェックポイント
札幌除外前も含めた、8月8日からの全期間累計は次の通りだ。
実運用日数:9日(うち1日は推奨0件)
推奨件数 :47件
的中数 :0件
回収率 :0%
以前決めた基準の一つ、「累計50件に到達した時点で再確認する」まで、あと3件まで来た。
正直、この47件がすべてハズレというのは、重い数字だ。だが、47件のうち43件は「札幌が過半数を占めていた、検証不足の期間」のデータであり、札幌除外後のデータはまだ4件しかない。この二つを混ぜて「モデルが機能していない」と結論づけるのは、まだ早い。
次の推奨馬が出た時点で累計50件に到達する。そのタイミングで、あらためて全体を棚卸しする。
Data Scientistとしての振り返り
今回、一番書いておきたかったのは、「推奨馬なし」という結果の意味についてだ。
機械学習モデルの評価というと、つい「当たったか外れたか」ばかりに注目してしまう。だが、「今日は賭けない」という判断を正しく下せているかどうかも、同じくらい重要な評価軸だ。
もし今回のシステムが、どんな条件でも無理やり2頭を絞り出す設計だったら、9月6日も何かしらの推奨馬が出ていたはずだ。だが実際には、条件を満たす馬がいない日は、正直に「推奨馬なし」と言う。この「言わない勇気」も、設計の一部として機能していることを、あらためて確認できたのは収穫だった。
技術ノート
実運用累計成績(2026年9月6日時点)
実運用日数:9日
推奨件数 :47件(うち札幌除外前43件、除外後4件)
的中数 :0件
回収率 :0%
次のチェックポイント:累計50件到達時
9月5日の内訳
中山:ヴィヴァクラウン(EV3.77)、ティアラスピリット(EV3.55)
阪神:グラスクラージュ(EV4.57)、ピースヒロフェイス(EV4.33)
→ 4件とも的中なし
次回の予定
累計50件に到達した時点で、以下を確認する。
✓ 札幌除外前後で、的中率・回収率にどれだけ差が出ているか
✓ 依然として全帯・全開催地でゼロが続いているか
✓ 続くようであれば、基準3(累計回収率50%割れの継続)に基づき、
条件のさらなる見直しを検討する
淡々と、次のデータを待つ。
【競馬AI開発記】次回予定:
- Day 27:累計50件到達時点での棚卸し報告
- Day 28:札幌の過去データが入手できた場合の単独バックテスト結果