矢継ぎ早のA/BテストがいかにしてGoogleを破滅の淵に追いやったか
ブレア・ハンリー・フランク著
カリフォルニア州マウンテンビュー発 – 昨今のテクノロジービジネスにおいて、ユーザーをより深く理解し、より質の高いサービスを提供するために分析を活用することは重要な要素の一つです。しかし、分析の力には大きなリスクも伴います。
本日、VentureBeat の GamesBeat カンファレンスで講演したゲーム開発会社 Rumble の CEO、Greg Richardson 氏は、課題の 1 つは開発のペースに追いつくための分析を実現することだと語った。
「分析をビジネスと同じスピードで進めるというのは本当に難しい」とリチャードソン氏は言う。
しかし、リチャードソン氏によると、スピードだけに焦点を当てると問題が生じる可能性があるという。
RumbleはGoogle Venturesから資金提供を受け、Googleが行ったことの一つは、RumbleとGoogleのアナリティクスおよび戦略インサイト責任者であるディーパック・ティワリ氏との会合をセッティングすることだった。リチャードソン氏によると、ティワリ氏はGoogleの歴史における重要な瞬間について彼に話したという。同社は検索結果に新たなスポンサーリンクを追加することを検討しており、その結果がどのような変化をもたらすかを確認するために30日間のA/Bテストを行う予定だった。
結局、この変更は莫大な利益をもたらしました。より多くの広告を見たユーザーからの広告収入は、最初の30日間で倍増しました。Googleが検索結果に正式に新たな広告を追加しようとしていたまさにその時、ティワリ氏は「線路を妨害」し、Googleに実験を継続するよう説得しました。
そこでGoogleはさらに30日間待った。2ヶ月目が終わる頃には、追加広告が表示されていたコホートのユーザーの80%が、Google以外の検索エンジンをメインの検索エンジンとして使い始めていた。もしGoogleがこの変更を広範囲に展開していたら、世界中のユーザーがGoogleから離脱していた可能性は十分にあった。
リチャードソン氏によると、この話の教訓は、開発者はテストから得た洞察を、長期的な影響が少なくともある程度明らかになるまでは、どれだけ早く適用するかについて慎重になるべきだということだ。新機能について得た洞察をすぐに適用したくなる気持ちは分かるが、それは破滅への道となり得る。
