世の中に、何かツールが大規模に導入されているとき、そこには「業界の標準」というものが伴っているものです。

機械学習の未来のための準備

2019年12月初旬、データ管理ソフトベンダーのClouderaは、機械学習の活用と統治のための、ユニバーサル・オープン・スタンダード（世界中で誰でも使える標準規格）を作ろうと呼び掛けました。同社はいわゆるMLOps*の更なる発展を願っています。

*MLOpsとは：
機械学習（Machin Learning）の開発チームと運用（Operations）チームが強調して機械学習の実装から運用を円滑に進めるための管理体制を築くコンセプトを意味します。

何千もの機械学習モデルを散らかすつもりかい？

彼ら（Cloudera）の主張の根拠は、以下のようなものです。

• 共通のルールがなければ、今後数年間で展開されるであろう何千もの機械学習モデルを管理・更新することは不可能
• 異なるソフトウェアベンダーの環境間、およびオンプレミス（ローカル）とクラウド間でのデータセットを簡単に移動するために必要

そこでCloudera自身が提案しているのは、「Apache Atlasを中心に、初期（いま現在のこと）の標準セットを展開する」ことです。
Apache Atlasというのは、Hadoopのデータガバナンスとメタデータフレームワークを開発するオープンソースプロジェクトです。
ちなみにClouderaのビジネス全体もHadoopで構築されているそうです。

Clouderaのデータエンジニアリング・シニアプロダクトマネージャーであるSantiago Giraldo氏は「少数のモデルを実環境に投入して管理するチームをもつ組織は沢山みてきましたが、一つの組織内にモデルの数が100や1000に拡大した場合、状況が全く変わってくることがかなり重要なのです」と語りました。

「常にモデルチェックをしなければいけない現実にどう対処するというんでしょうか。毎日、毎週のようにモデルを更新する必要があって、さもなければ展開の速い業界に遅れをとります。恐ろしいほどの時間と労力がとられるのです」

機械学習におけるこの問題を解決するために、Clouderaはパートナーや競合他社へ、標準化への参加を呼び掛けています。

Hadoopのこれまでとこれから