驚異的な新スクリーン技術は「魔法のピクセル」を使って複数の人に異なるコンテンツを表示する
空港内を歩いていると、自分のゲートを探すために大きなスクリーンを見上げます。しかし、これは普通の公共ディスプレイではありません。到着便と出発便のリストではなく、自分のフライト情報だけが表示されており、遠くからでも見やすい大きさになっています。同時に同じスクリーンを見ている他の旅行者には、代わりに自分のフライト情報が表示されます。
道路では、交通信号は、走行中のあなたの車と他の車両に個別に向けられており、交差点に間に合わない場合には赤信号が表示され、安全に通過できる他のドライバーには青信号が表示されます。
スタジアムのスコアボードには、お気に入りの選手の成績が表示されます。近くのファンは、同じ画面を同時に見ながら、お気に入りの選手や、自分向けにカスタマイズされたコンテンツを見ることができます。
これらは、マイクロソフトとウォルト・ディズニー・イマジニアリングのベテランたちによる小さなチームによって設立されたワシントン州レドモンドに拠点を置くスタートアップ企業、ミサプライド・サイエンシズ社が思い描いた「パラレルリアリティ」ディスプレイ技術が世界をパーソナライズする長期的な可能性を示す例である。
信じられないかもしれませんが、Misapplied Sciences社はすでにこれらのシナリオを可能にする基盤技術を開発しています。これは「マルチビュー」ピクセルによって実現される新しいタイプのディスプレイです。従来のピクセルは各ピクセルが単色の光を全方向に放射しますが、Misapplied Sciences社によると、同社のピクセルは数万、あるいは数百万の方向に異なる色の光を放射できるとのことです。
彼らはそれを「マジックピクセル」と呼んでいます。
「複数の人が同時に同じピクセルを見ても、全く異なる色を認識することがあります」と、同社のCEO兼共同創業者であるアルバート・ン氏は述べた。「それが個々のピクセルです。そして、これらのマルチビューピクセルを配列することでディスプレイを作成し、各ピクセルが発する光の色を制御することができます。これらの光線をすべて調整することで、異なる場所に画像を形成することができます。」
その結果、多くの人々が同じ画面で同時に全く異なるコンテンツを見ることができるディスプレイが実現しました。同社によると、スマートフォンに既に搭載されているものと同様の位置情報技術とセンサーと組み合わせることで、このコンテンツを公共のディスプレイから特定の場所、人、物体にリアルタイムでターゲティングし、基本的に3次元空間で人々が世界を移動する様子を追跡できるようになるとのことです。
裸眼で操作できるので、かさばるヘッドセットやハイテクゴーグルは必要ありません。また、個人情報を得るためにスマートフォンに顔を埋める必要もありません。
ミスアプライド・サイエンシズは、この技術の普及を目指して、技術的、経済的、そして社会的な課題に次々と直面することになるだろう。しかし、新たなエンターテインメントと情報を生み出す無限の可能性を秘めた同社の長期的な目標は、人々の世界の体験を変えることにある。
「ビル・ゲイツはマイクロソフトを創業した当時、将来はすべての机にコンピューターが一台ずつあるという突飛な構想を描いていました。人々は彼を狂人だと思ったのです」と、ミスアプライド・サイエンシズの共同創業者、最高技術責任者、会長のポール・ディーツ氏は語る。「私たちにはその構想があります。将来、公共のディスプレイに表示されるものはすべて、あなたに向けたものになるというものです。」
このアイデアが突飛かどうかはさておき、GeekWireチームの3人がMisapplied Sciences社の技術を実際に体験しました。数年間秘密裏に開発を進めてきたMisapplied Sciences社ですが、先日、レドモンドのストリップモールにある元小売店の窓を黒く塗りつぶした、目立たない本社で一連のデモンストレーションを実施してくれました。
彼らがこの技術を公に披露したり話したりするのは今回が初めてだ。
対面での「パラレルリアリティ」
ミスアプライド・サイエンス社のオフィススペースのメインフロアに立ち、部屋の向こう側にある大きなディスプレイを見つめました。私たちはそれぞれ異なる場所に移動するたびに画面上のコンテンツが変化するのを見ましたが、近くの様々な場所に立っていた同僚たちは、同じディスプレイ上で異なるコンテンツを見続けていました。
上記のビデオは、Misapplied Sciences が提供したもので、私たちが実際に体験した効果を示しています。2 フィート離れたところから同じディスプレイを同時に表示し、ドラゴンのキャラクターの動きを利用して、各ビューがビデオ トリックではなく実際に同時に起こっていることを示しています。
下の動画では、空白のフレームは3D空間内の点を表しています。部屋の向こう側にあるディスプレイ上のコンテンツは、カメラの視点が動くにつれて変化します。
このデモを実際に見た時、フレーム内のフィルターか何かがこの効果を生み出しているのではないかと考えたくなるかもしれません。しかし、実際にはそうではありません。フレームは、視聴者にとってコンテンツが変化する空間上の点を囲む役割を果たします。反対側に足を踏み入れ、ディスプレイとの間にフレームがなくなった時も、視覚効果は同じでした。
別のデモでは、同じディスプレイに2組の数字が表示されました。1つは行、もう1つは列を表しています。左右に移動するにつれて左側の数字が変化し、上下に移動するにつれて右側の数字が変化し、X軸とY軸上の任意の瞬間の視点を正確に示すことができました。
以下の動画では、鏡を使って、1つのスクリーンに様々なコンテンツを複数の視点から表示する方法を示しています。この1つのスクリーンは撮影者の背後に設置されています。私たちはデモ体験の一環として、この鏡の配列とスクリーンを実際に確認しましたが、実際には1つのディスプレイしか使用されていないことが確認できました。
動画には映っていない別のデモでは、参加者それぞれが赤外線LEDを内蔵した異なるフレームを持ち、部屋の反対側にあるカメラに自分の位置を示しました。このデモでは、空のフレームを通して部屋の反対側にあるディスプレイに映し出されたコンテンツが、私たちの動きに合わせて動きました。フレームの外を見ると、異なるコンテンツが見えました。
これは、センサーと位置追跡を使用して、リアルタイムで更新できるパーソナライズされた「視聴ゾーン」を作成し、移動する人々に特定のコンテンツをターゲットにする機能の初期のデモンストレーションでした。
「大きな変化」
世界を変える野心を抱く企業としては、Misapplied Sciences がこれまでに調達した資金は比較的少額で、株式投資で 340 万ドル、さらに国立科学財団の中小企業技術革新研究プログラムから 90 万ドルを調達しただけだ。
同社のCTO兼会長であるディーツ氏は、現在スマートフォンやタブレットのディスプレイに広く採用されているマルチタッチスクリーン技術の初期開発で、エンジニアリング業界で広く知られています。2007年から2014年にかけてマイクロソフトリサーチに在籍し、初代Microsoft Surfaceタブレットを含むデバイスの主要インターフェース技術を開発しました。それ以前は、ディズニー社において、ウォルト・ディズニー・ワールドの来場者に位置情報技術を用いてインタラクティブな体験を提供する「パル・ミッキー」ぬいぐるみデバイスの基盤技術を開発しました。
共同創設者で最高執行責任者兼クリエイティブ責任者のデイブ・トンプソン氏も、ウォルト・ディズニー・イマジニアリングで働いており、テーマパークのアトラクションやクルーズ船の体験のデザインを主導した後、広告とマーケティングの分野に進み、現実世界とデジタル世界を融合させた最初のキャンペーンのいくつかに携わりました。
同社の共同創業者兼CEOであるン氏は、スタンフォード大学とカリフォルニア工科大学出身で、低遅延タッチスクリーンなどの分野での功績が認められています。ディーツ氏がマイクロソフトに在籍していた当時、ン氏はマイクロソフトリサーチで研究インターンとして働いていました。
ミスアプライド・サイエンシズは、ディーツ氏とン氏がマイクロソフトを退社した直後の2014年に設立されました。両氏はスタートアップの起源について語ることを拒否しましたが、後日改めて語ると述べました。ディーツ氏はマイクロソフトの応用科学ハードウェア研究グループ（略称は「MS応用科学」）に所属し、2010年には既にマルチビューディスプレイに対するより基本的なアプローチを実証していました。マイクロソフトはミスアプライド・サイエンシズの株式を保有していません。マイクロソフトの担当者は今週、同社と他に継続的なビジネス関係があるかどうかの質問に対し、コメントを控えました。
MITメディアラボなど、他の研究機関も過去に様々な技術を用いてマルチビューディスプレイのコンセプトを追求してきました。最近では、MirraVizというスタートアップ企業が、今年のCESテクノロジー見本市で、複数のプロジェクターを用いて複数の人に異なるコンテンツを同一スクリーンに表示するシステムを発表し、注目を集めました。Engadgetはこれを「CESで最も奇抜な」試みの一つと評しましたが、スクリーンに収まるプロジェクターの数に制限があることを指摘しました。
マルチビューピクセルの仕組みを考えると、Misapplied Sciencesの技術にはそのような制限はありません。Misapplied Sciencesは、この技術に関連する18件の特許を申請しており、そのうち3件が認可されています。創業者らは、さらに多くの特許を申請中であると述べています。認可された特許は、マルチビュー建築照明システム、マルチビューディスプレイ用の計算パイプラインとアーキテクチャ、そして異なる車両にカスタマイズされたコンテンツを表示するマルチビュー交通標識に関するものです。
同社の創業者たちが何度も挙げたもう一つの応用例としては、劇場の座席ごとにカスタマイズされた字幕表示システムが挙げられる。このシステムでは、同じスクリーンで見る字幕の言語を選択できる。シアトルを拠点とする臨床医であり神経科学者でもあるケリー・トレンブレイ氏は、高齢者の難聴などの問題に焦点を当てている。ミスアプライド・サイエンシズ社からオフィスに招待され、同社からこうしたシステムのデモを見学した。
「このシステムが十分に拡張可能で、さまざまな場所やさまざまな人口層に手頃な価格で提供できるなら、どのように実装して役立てることができるかについて、考えずにはいられませんでした」と、ワシントン大学言語聴覚サービス学部の教授でもあるトレンブレイ氏は語った。
もう一つの可能性は、マルチプレイヤーアリーナゲームです。各プレイヤーは大画面で自分の視点を見ることができます。そして、看板広告は特定の人物や場所をターゲットにすることも可能です。タイムズスクエアの特定の場所からプロポーズするためのパーソナライズされたメッセージを購入できるようになったら、屋外広告市場はどうなるでしょうか？
Misapplied Sciencesの取締役であり、初期投資家でもあるPelion Venture Partnersのマネージングディレクター、カール・レッドベター氏は、「その可能性は計り知れない」と述べた。AT&TとNovellの元幹部で、20年以上ベンチャーキャピタルに携わってきたレッドベター氏は、Misapplied Sciencesの技術を初めて体験したのは、初めて技術デモを見た時だったと語り、「これは一体どういう仕組みなんだ？」と自問自答せざるを得なかったという。
「投資を決断したのは、これがもたらすであろう大きな変化に基づいて、ほとんど本能的なものだった」とレッドベター氏は語った。
「パラレルリアリティ」の意味
この変化は、プラスにもマイナスにもなり得る。デジタルトラッキングや「オルタナティブ・ファクト」に既に悩まされている世界において、「パラレルリアリティ」がもたらす倫理的・プライバシーへの影響は重大となる可能性がある。同じ画面を見ても異なるものしか見えない状況で、私たちはどのようにして共通の現実や共通の事実について合意できるのだろうか。
ミスアプライド・サイエンシズは、デジタルプライバシーをパラレルリアリティの物理世界にまで拡張する方法を含め、安全策を検討していると述べています。例えば、広告はオプトイン方式にしたり、空港で追跡される人物はシステムにとって匿名の「塊」となり、初期登録後にフライト番号で識別されるようにしたりできます。状況によっては、コンテンツを特定の人物や場所にターゲティングすることで、プライバシーが実際に強化される可能性があると、同社は指摘しています。
「一般的に、パラレルリアリティはコンテンツと人々を繋ぐ新しいメディアであり、インターネットニュースやソーシャルネットワークといった他の強力なメディアと同様に、個人情報の提供と活用方法は多岐にわたり、視聴者にとって関連性のあるコンテンツを提供できます」と、同社のCEOであるン氏は述べています。「プライバシーに関する議論は、現在、様々な技術において様々な分野で行われています。パラレルリアリティのいくつかの用途にも、同様の議論が当てはまるでしょう。もちろん、私たちもこうした懸念を認識し、共有しています。」
「パラレルリアリティにおける私たちの目標は、人々のプライバシーに配慮しながら、有益で興味深く、楽しいコンテンツを提供することです」と彼は述べた。「最終的には、パラレルリアリティはアクセシビリティ、安全性、交通管理、道案内、エンターテイメントなど、様々なことに対する私たちの考え方に革命をもたらすでしょう。パラレルリアリティは計り知れない恩恵をもたらし、多くの人々の助けになると信じています。」
目立たないオフィススペースからもわかるように、Misapplied Sciencesは数年前からステルスモードを貫いています。GeekWireは、2015年に資金調達ラウンドを公表したSEC提出書類を報じて以来、Misapplied Sciencesの実態を解明しようと努めてきました。
最近、共通の知り合いから、ついに公の場で話せる準備ができたかもしれないという連絡がありました。私たちは訪問の予定を立て、普段よりも多くのスタッフを派遣して、私たちの目が欺かれていないかを確認しました。ディーツ氏、ン氏、トンプソン氏を含むチームは、長年秘密裏に開発を続けてきたものをついに公開する準備が整ったエンジニアのような、緊張した笑みを浮かべて私たちを玄関で迎えてくれました。
オフィス奥の会議テーブルで自己紹介をした後、メインルームでデモが行われました。GeekWireのレポーター、テイラー・ソーパーと私の他に、テクノロジー業界のベテランで、GeekWireの開発者、写真家、ビデオグラファーでもあるケビン・リソタが参加しました。その後、ケビンは今回の体験について、以下の感想を述べてくれました。
技術デモで驚かされることは滅多にありません。最初の反応は「一体何なの？」で、自分の目が錯覚しているのかと思いました。しかし、実際にはスクリーンは空間の異なる地点に異なる映像を投影していたのです。片目を覆ってある映像を見た後、もう片方の目を覆って別の映像を見ることができる場所さえ見つけました。
まだ実物をご覧になっていない方のために説明すると、これらのマルチビューディスプレイは、おそらくご存知の「チルトカード」や「モーションカード」に似ています。これらはレンチキュラー印刷を用いて、見る角度に応じて異なる画像を表示します。これはコンセプト的には似ていますが、デジタルディスプレイ上に表示され、空間の様々な地点に、はるかに鮮明な画像を表示できます。
こうしたマルチビューディスプレイの実用性は非常に興味深いものになるでしょうが、普及するまでにはしばらく時間がかかるかもしれません。コンピューターやデジタルディスプレイが、人や空間上の異なる地点に全く異なる画像を表示できる世界は、私たちが何を見せられているのかという認識を本当に歪めてしまうでしょう。
私たちが見たデモでは、2種類のディスプレイが使用されていました。1つはピクセル密度の低い、大きな横長のディスプレイで、大型の公共サイネージとして使用できます。もう1つは、幅28ピクセル、高さ16ピクセルの36枚の個別パネルで構成される、高解像度の大型長方形ディスプレイです。私たちが気づいた唯一の不具合は、赤外線LED付きのフレームの1つを手に持った時に、内部のコンテンツが一瞬ちらついたことです。これは、メーカーによるとフレームのバッテリー切れが原因とのことでした。
同社は、マルチビューピクセル技術に加え、ディスプレイを効率的に動作させるカスタムプロセッサと、コンテンツ制作者が空間内のさまざまなポイントにコンテンツを簡単にターゲットできるようにするソフトウェアを開発したとしている。
アプリケーションと課題
同社の初期投資家の一人、ジンジャー・アルフォード氏は、教師、博物館館長、そしてコンピュータグラフィックスの専門家であり、グラフィックスとインタラクティブ技術に関する国際会議SIGGRAPHのリーダーも務めています。アルフォード氏は、公共の場で環境をパーソナライズするというコンセプトを「驚くべきアイデア」と呼び、言語、学習スタイル、文化的背景などに基づいて個々の生徒に合わせた授業を行うといった応用の可能性を挙げました。
「重要なのは、個別化されているものの、孤立させないということです。非常に社会的なのです」とアルフォード氏は述べた。Misapplied Sciencesが直面する最大の課題について意見を求められると、アルフォード氏は「その能力は、人々が現在世界と関わっている方法を大きく超えているため、理解するのは難しいかもしれません」と述べた。
マイクロソフトと三菱電機の研究所でディーツ氏と働いていた人間とコンピュータの相互作用の専門家であるダニエル・ウィグダー氏は、ミスアプライド・サイエンシズのチームが過去数年間で「驚くべき進歩」を遂げるのを見てきたと語った。
「今、人々はポケットに忍ばせた小さなプライベートスクリーンに顔を向けて歩き回っています。それはプライベートでパーソナライズされた体験を得るために必要なものですが、同時に、世界という共有体験から切り離されてしまっています」とウィグダー氏は述べた。「Misapplied Sciencesは、人々が共有の世界に共存しながらも、プライベートでパーソナライズされたコンテンツを受け取ることができる、一種のパラレルリアリティを約束します。」
ディズニーランドのエレクトリカルパレードやエプコットのイルミネーションズで知られる、伝説的な元ディズニーの音響エンジニア兼エクスペリエンスデザイナー、ドン・ドーシー氏も、ミスアプライド・サイエンシズの技術を目にした。彼はこの技術を「優れたマジックや壮大なイリュージョンと同じように、度肝を抜かれる」と評した。ドーシー氏によると、この技術はパーソナライズされた情報を提供するだけでなく、観客一人ひとりに異なる視点や体験を提供することで、全く新しいエンターテイメントの形を実現できる可能性があるという。
「これは、マルチプレイヤーゲームやバーチャルリアリティを通して、私たちが探求し始めたばかりのタイプのストーリーテリングです。この種の体験を現実世界で他の人と共有できることが、ここでの大きな前進です」とドーシー氏は述べた。
課題がないわけではないと彼は述べた。「より現実的なレベルでは、それぞれの独立したビューを設計、スクリプト化、作成、実装する必要があります。これは、体験提供者の作業量とコストが大幅に増加する可能性があることを意味します。また、『トリック』がストーリー体験に取って代わってしまう可能性も考慮する必要があります。」
この技術をさらに開発し、商業化するための経済的な課題は、このような野心を持つ小規模スタートアップにとって、大きな課題となるだろう。Misapplied Sciencesがこれまでに調達した資金は、ワシントン大学の廃品置き場から家具を集めたオフィスに代表される倹約的な姿勢のおかげで、5人の社員を抱える同社が過去数年間運営を続けるのに十分な額だった。しかし、これは最も野心的な仮想現実（VR）および拡張現実（AR）スタートアップが調達した資金のほんの一部に過ぎない。
しかし、私たちが、マルチビュー ディスプレイ技術を拡張して市場に投入する際の技術的および経済的な課題について、Misapplied Sciences チームに問いただしたところ、彼らはそれが実現可能であると確信していると繰り返し述べました。
「ここ数年で私たちが成し遂げてきたブレークスルーのほとんどは、これを手頃な価格で実用化し、製造可能にすることでした」とン氏は述べた。「私たちはこれを製品として世に出す寸前です。」
会議テーブルに着いた彼らは、まだその製品がどのようなものになるのか、またその技術をどのように展開していく予定なのかを明らかにする時期ではないと述べた。今のところの目標は、「パラレルリアリティ」が現実のものであることを証明すること、つまり人々に彼らが作り上げたもののコンセプトを理解してもらい、それが世界にどのような影響を与える可能性があるのか考えてもらうことだと彼らは言う。
