AutoGluon 学習結果レポート
最終学習セッションの分析と考察
主要結果サマリー
🏆 最優秀モデル
WeightedEnsemble
🎯 検証スコア (-RMSE)
-8.8519
⏱️ 総学習時間
約45分
モデル性能比較チャート
WeightedEnsemble
-8.85
DeepAR
-9.30
DirectTabular
-10.20
PatchTST
-12.31
SeasonalNaive
-14.02
リーダーボード詳細
| model | score_val | fit_time_marginal | pred_time_val |
|---|---|---|---|
| WeightedEnsemble | -8.851906 | 0.315082 | 4.577264 |
| DeepAR | -9.301416 | 1110.180415 | 53.243302 |
| DirectTabular | -10.195325 | 3.071850 | 0.680650 |
| PatchTST | -12.308945 | 453.801648 | 0.825832 |
| SeasonalNaive | -14.017950 | 0.053006 | 2.350325 |
分析と考察
結論：学習は成功。しかし、まだ伸びしろあり。
以前のスコア `-16.76` から大幅に改善し、`-8.85` という素晴らしい結果を得ることができました。これは、**エラーを起こすモデル(`TFT`など)を除外し、高性能なモデル(`DeepAR`, `DirectTabular`など)にリソースを集中させる戦略が成功した**ことを示しています。
- DLモデルが性能を牽引: `DeepAR` (スコア -9.30) や `DirectTabular` (スコア -10.20) が、シンプルな統計モデル (スコア -14〜) を大幅に上回りました。これは、作成した特徴量が、これらの高度なモデルによって有効に活用されたことを示しています。
- 学習の早期終了問題: 12時間に設定したにも関わらず、学習が約45分で終了してしまいました。これは、AutoGluonが「現在の設定ではこれ以上の精度向上は見込めない」と判断し、学習を早期に打ち切ったためです。つまり、現在の特徴量とモデル設定では、性能が頭打ちになっている状態です。
- アンサンブルの重要性: 最良スコアを出した `WeightedEnsemble` は、`DeepAR` と `DirectTabular` の両方の長所を組み合わせることで、単一モデルの性能をさらに引き上げています。
次のステップへの提言
現在の安定した学習基盤の上で、さらなる精度向上を目指すには、**`presets=’best_quality’`** に切り替え、かつ **`hyperparameters` でより広範な探索**をAutoGluonに強制することが有効です。これにより、12時間という時間を使い切り、性能の限界をさらに押し上げることが期待できます。
コメント