Facebookは10億枚のInstagram写真を使い、部分的に自己学習した大規模な物体認識AIを構築した。

フェイスブックは、同社のもう一つのソーシャルネットワークであるインスタグラムから取得した10億枚の公開画像のデータセットを使って、これまでで最も先進的な半教師ありコンピュータービジョンシステムをトレーニングした。

SEER（自己教師あり学習）として知られるこの大規模な畳み込みニューラルネットワークは、10億を超えるパラメータを備えています。物体の画像を見せると、自転車、バナナ、赤と青の縞模様のゴルフ傘など、認識したものを言葉で説明します。SEERの機能はそれほど目新しいものではありませんが、学習方法は他のコンピュータービジョンモデルの学習方法とは異なります。SEERは基本的に、自己教師学習と呼ばれる手法を用いて部分的に自己学習を行いました。

まず、SwAVという名称のアルゴリズムを用いて、教師なしにInstagramの写真を類似性に基づいてグループ化する方法を学習しました。次に、ImageNetデータセットから取得した100万枚の写真と、それに対応する人間が作成したラベルを関連付けるようにモデルを微調整しました。この段階は従来の教師あり学習法、つまり人間が写真とラベルをキュレーションし、それを事前に学習済みのニューラルネットワークに渡すというものでした。

こうしてソフトウェアはInstagramから10億枚の画像に習熟し、類似した写真をグループ化する方法を学習し、さらにImageNetの100万例からそれらの写真にキャプションを付ける方法を訓練します。これは、ニューラルネットワークに入力するために10億枚のInstagramスナップ写真を正確にラベル付けするよりも効率的であるように思われます。

「私たちは、FAIR研究から自己教師学習へと発展したSwAVという新しいアルゴリズムを活用しました」とFacebook社員のプリヤ・ゴヤル、ヴィットリオ・カジャーノ、ピオトル・ボヤノウスキー、アルマンド・ジョウリンは今週、Facebook AI Research（別名FAIR）について説明した。

SwAVはオンラインクラスタリングを用いて、類似した視覚的コンセプトを持つ画像を迅速にグループ化し、その類似性を活用します。SwAVの導入により、自己教師学習における従来の最先端技術を凌駕する性能向上を実現し、トレーニング時間は6分の1に短縮されました。

こうしてSEERは、例えば赤いリンゴの画像と「赤いリンゴ」という説明を関連付ける学習をしました。訓練後、モデルの物体認識能力は、ImageNetから取得した未処理の画像5万枚を用いてテストされました。各テストでは、画像に写っているものについて、信頼度の高いものから低いものの順にランク付けされた一連の予測を生成する必要がありました。各テストにおける最高の予測は、84.2%の確率で正確だったと報告されています。

このモデルは、ImageNetベンチマークにおいて、他のモデルほど高いスコアを獲得していません。SEERのようなモデルの欠点は、教師あり学習モデルに比べて精度が低いことです。しかし、SEERに関する本プロジェクトの論文の筆頭著者であるゴヤル氏は、The Register紙に対し、半教師あり学習には利点もあると述べています。

「自己教師型事前学習を用いることで、ラベルやデータキュレーション、その他のメタデータを必要としないため、より多様な画像セットで学習できます」と彼女は述べた。「これは、モデルが世界に存在するより多くの視覚的概念を学習できることを意味します。一方、教師あり学習では、高度にキュレーションされた限定的または小規模なデータセットでしか学習できず、世界の視覚的多様性を捉えることができません。」

ゴヤル氏は、この技術が、医療画像など、個人の臨床データから大規模なラベル付きデータセットを収集することが難しい分野で有用であると考えている。「SEERのパフォーマンスは、自己教師学習が現実世界のコンピュータービジョンタスクにおいて優れた成果を上げられることを示しています。これは大きな進歩であり、将来的にはより柔軟で正確かつ適応性の高いコンピュータービジョンモデルへの道を切り開くものです」と研究チームは報告している。

SEERは512基のGPUを用いて8日間かけて学習されました。モデルのコードは公開されていませんが、SEERの構築に使用されたPyTorchライブラリであるVISSSLは現在GitHubで公開されています。

Facebook 社は、SEER はまだ概念実証のアイデアであり、現時点では同社の機能や製品を強化するために使用されることはないと語った。®