カナダにあるダルハウジー大学のIssam Hammadら研究者は、現在のモデル評価では精度に影響を与える可能性のある「生産上の要素」は考慮されていないという課題に注目し、機械学習モデルの精度を比較する実用的なテストを提案した。アルゴリズムの精度がテストと実使用で異なることがしばしば問題として挙げられるためだ。

その研究のポイントはこうだ。

✔️課題 現在のモデル精度の評価では精度に影響を与える可能性のある生産上の要素は考慮されていない。 ✔️解決手法 機械学習モデルの精度を比較する実用的なテストを提案した。 ✔️結果 熱ノイズ、量子化誤差、センサーの故障が各モデルの精度に与える影響がわかった。

では研究の詳細を見てみよう。

現在のモデル精度の評価では精度に影響を与える可能性のある生産上の要素は考慮されていない