調査によるとGoogleが「Bing it On」チャレンジで勝利、Microsoftは調査結果を「不公平」と批判
トッド・ビショップ著
法学教授がマイクロソフトの「Bing it On」検索チャレンジを統計的に痛烈に批判しているが、同社も戦わずして負けるつもりはない。
イェール大学ロースクールのイアン・エアーズ氏は、GoogleとBingの検索結果をブラインドテストで比較し、どちらの検索エンジンの検索結果がより多くのユーザーに好まれるかを判定する「Bing it On Challenge」に関するマイクロソフトの主張に異議を唱えている。マイクロソフトが当初このコンテストで放映したCMでは、ブラインドテストにおいてユーザーはBingを「ほぼ2対1」で好むと主張していた。
しかし、エアーズ氏とその学生による研究（PDF）では、Googleが勝者であると宣言されている。
「その結果、(i) 統計的に有意な大多数の参加者がBingの検索結果よりもGoogleの検索結果を好んだ（53%対41%）。また、(ii) マイクロソフトがウェブサイト上で受験者に推奨する検索用語ではなく、人気の検索用語または自主的に選択した検索用語を使用するようランダムに割り当てられた参加者は、Bingの検索結果を好む可能性が有意に低かったことが分かりました。この調査結果は、マイクロソフトの広告に暗示されている主張の一部が法的精査に値することを示唆しています。」
マイクロソフトは声明で、「Bing It On の Web サイトで使用されている主張に異議を唱える不当なコメントがありました。Bing It On のサンプル サイズ、方法論などについて、Bing ブログで真実を明らかにしています」と述べています。
マイクロソフトが当初「2:1」と主張していたのは、Bing it Onチャレンジの公開版ではなく、マイクロソフトの委託を受けた独立系調査会社が1,000人を対象に実施した別の調査に基づいていたため、状況は複雑になっています。その後、異なる手法を用いた追加調査を経て、マイクロソフトは主張を「人々はウェブ上の上位検索において、GoogleよりもBingを好む」と修正しました。
エアーズ氏は今週のフリークノミクスの投稿で、「確かに、私も同じように小規模なデータセットを用いた研究を何度も発表してきたが、マイクロソフトが数百万ドル規模の広告キャンペーンを、おそらく6桁台前半の研究に基づいて展開するとは、少々厚かましい」と述べている。
マイクロソフトのブログ記事では、Bing の行動科学者である Matt Wallaert 氏がその疑問を逆に転じて、Ayers 教授の研究で使用された手法に異議を唱え、教授が 1,000 人の被験者を複数のグループに分け、一部のグループには人気のある検索用語を提案し、他のグループには自分で検索用語を選択させたと指摘している。
「同じタスクを実行する 1,000 人のサンプルのほうが、同じタスクを実行する 300 人のサンプルよりも統計的な検出力が高くなります」とマイクロソフトの科学者は書いています。
エアーズ氏の検索語の提案に関するコメントに対し、ワラート氏は、追加調査で提案された用語は 2012 年の Google Zeitgeist レポートから抽出されたものであり、公開されている BingitOn サイトで使用されている用語は Bing のトレンド トピックから引用されたものだと指摘している。
エアーズ氏は、マイクロソフトの広告が視聴者に「Bing.comでチャレンジに参加した500万人に加わろう」と呼びかけたことで、「2:1」という主張が500万人のサンプルに基づいているという誤解を与えたと主張している。同氏は、この主張に基づいてグーグルが虚偽広告を主張する根拠がある可能性があると述べている。
肝心なのは、マイクロソフトはプライバシー上の理由から公開の「Bing it On」チャレンジの結果を追跡していないため、より大規模な「テイストテスト」の実際の結果は不明だ、ということだ。
