時代とともに以前の技術の幾つかはコモディティ化する。 これはスマホの開発だろうがweb三層構造だろうがなんだろうがそういう物だと思う。 機械学習もそうなのだけど、それがちょっと期待してたコモディティ化の進み方とは違う気がする。

コモディティ化がそこまできれいにブラックボックスにならないのがパラメータ数の多い複雑なモデルを主体とする昨今の状況と、それ以前の良くあるテクノロジーの成熟の波との違いじゃないか。 この違いは自分的には結構最近になってわかった事なのでそんな話を。

時代が進むと、それまでさっぱり制御出来なかった巨大モデル達は、 幾つかの条件を前提とすればそれなりに手なづけられる、とわかるようになる。 この条件はそれまで大した事無いと思ってたが凄く解決が困難な要素とか、 そのモデル特有のクセとしてやってみるとうまく行かないという事があらかじめ分かっている蓄積とか、そうした物だ。

究極的にはやってみないと分からないけれど、その不確実性のコーンはだいぶ減ってきている。 このだいぶ減ってきている、の肌感覚は非専門家の期待するよりは遥かに広いままだけど、それでも(多くの前提条件を満たした中での)何かやりたい事を以前と同じように実現出来るくらいの所までは減ったりする。

例えばある程度Featureの次元が力技で押せる範囲の分類問題などは、 XGBoostの登場あたりからコモディティ化されたと言える。 登場は2014年くらいだけど、組織がノウハウをためて自由に使いこなせるようになったのが2015年くらいだったんじゃないか。

自分も2015年にXGBoostでリコメンドとかやってたけど、この時はまだ全然制御出来ている感じではなかった。 一方で、次やればまぁある程度はどうにかなるな、ぐらいの感覚は得られていたと思う。 これはFeature数をアホみたいに突っ込んでもまぁまぁちゃんと学習するようになった、という事と、その学習速度が凄く速くて実用的な段階に来た、という2つの要素が大きいと思う（もちろん分類器としての圧倒的な性能も重要）。

画像分類に関しても、その1年から2年遅れくらいで似たような形になっている気はする。

やると凄いヤバそうな奴を事前に理解する事はだいぶ出来るようになった。 ちょろいと思った物がチョロく無い事は相変わらずあるけれど、以前程は予想外でも無い。 これはあらかじめ結構大変だ、という事前の予測が調整されたという要因もあるけれど、 とにかくそういう事を総合的に見てまぁまぁやりたい事を行える（またはやる前に無理と判断出来る）事に近づいてきている。

だが、画像分類はgrandient boostingの分類問題よりはだいぶ制御出来ない感じは増えたままに思う。 これはパラメータが増えて扱うFeatureの次元が増えた結果出てきた制御不能性で、これは時代とともに出来る事が増えた反動で大きくなっている気がする。 （ただしVGGよりInception V3の方がクセがなくなる、とかそういう同一分野内での逆行はある）。

全体的な傾向として、次の時代に進むと新しく増える出来る事は、より大きな制御不能性を伴ってやってきている気がする。 我らはもっとブラックボックスとして使える何かになってくれる事を期待していたが、 使う側がノウハウを元にいろいろと気をつけないといけない要素は、新しい応用分野が生まれる都度増えているように思う。

その分野内での制御不能性はその後しばらく下がっていて、端的に言えば私程度の機械学習屋が頑張ればどうにか使えるくらいの所までは来るのだけれど、 そこよりも制御不能性が大きく下がる、という感じでは無い。 そしてこの傾向はとりあえずしばらくは続きそうなんじゃないか。

この新しい分野が出てくる都度それまでよりも大きな制御不能性と格闘する必要がある、というのは所与として今後の事は考えて行こうと思う。