つづき
11.色々なアルゴリズム
機械学習には色々なアルゴリズムがある。主なものは、下記のWEBページに記載がある。
その中から4つと、最近使われているLightGBMで勝敗を予想した。以下に結果を示す。
(1)モデルの性能評価
最も性能が良いのは、サポートベクターマシンである。
適合率 | 再現率 | ||||||
モデル名称 | 正解率 | 勝ち | 引分 | 負け | 勝ち | 引分 | 負け |
ロジスティク回帰 | 0.8542 | 0.8235 | 1 | 0.9167 | 0.3333 | 1 | 0.7857 |
K近傍法 | 0.7292 | 0.8148 | 0.4286 | 1 | 0.7847 | 1 | 0.5 |
サポートベクターマシン | 0.9167 | 0.875 | 1 | 1 | 1 | 0.6667 | 0.8571 |
決定木 | 0.8333 | 0.7778 | 1 | 1 | 1 | 0.1667 | 0.7857 |
LightGBM | 0.8958 | 0.871 | 0.75 | 1 | 0.9643 | 0.5 | 0.9286 |
(2)予想結果(ノーヴィ、シェンカーバン、キャトルブラ、モンサンジャン)
最も予想結果が良いのは、サポートベクターマシン、決定木、LightGBMの3つである。
モデル名称 | ノーヴィ (負け) | シェンカーバン (引分) | キャトルブラ (負け) | モンサンジャン (負け) |
ロジスティク回帰 | 勝ち | 勝ち | 負け | 負け |
K近傍法 | 勝ち | 引分 | 負け | 勝ち |
サポートベクターマシン | 負け | 勝ち | 負け | 負け |
決定木 | 負け | 勝ち | 負け | 負け |
LightGBM | 負け | 勝ち | 負け | 負け |
(3)アルゴリズムの補足
(A)ロジスティク回帰で、3分類の方法が分かったので、上記で使用した。
(B)K近傍法は、Kの値を適切に決めるのが難しい。K=1なら過学習になり、Kが大きいと正解率が下がる。(上記ではK=2)
(C)サポートベクターマシンは、特にパラメータを決める必要がなく、使い易い。
(D)決定木は、木の深さを適切に決めるのが難しい。深いと過学習になり、浅いと正解率が下がる。(上記では深さ=3)
(E)LightGBMは、色々なパラメータがあり、値を適切に決めるのが難しい。上記のモデルでは、ほぼ全て
初期値を使い、イテレーションの回数=500だけ設定した。
次回へつづく
<個人的な感想>
使い易く正解率の高いサポートベクターマシンが、今回の勝敗予想には適している。他は、パラメータの
設定が自分のような初心者には分かり難い。