橋本研究室では,体験者を映像で取り囲むことで高い没入感を実現するディスプレイ技術に注目しています.大きなテレビを観ると誰でもその場にいるような臨場感を体験できると思います.高精細な立体映像で取り囲まれる感覚は,さらに一歩,映像世界の中に足を踏み入れたような感覚,すなわち”没入感”といわれています.そんな没入感を実現するディスプレイ装置の開発や,その装置を活かす等身大映像コンテンツの生成,そしてその映像世界との対話を可能にするマルチモーダルインタラクティブ技術について研究を行っています.さらに最近は,そのような等身大映像環境を我々の身近な室内環境で実現したり,テレビゲームから没入可能な等身大映像弧運転津を作り出したりする研究にも取り組んでいます.

等身大仮想環境を作り出す没入型ディスプレイの開発
没入型・等身大映像コンテンツの生成
マルチモーダルインタフェース
室内環境を没入型映像空間に変える技術
人間の視覚特性の解明

体験者の視野を立体映像で覆い尽くすために,マルチプロジェクション方式の没入型ディスプレイD-visionの開発を,東京工業大学の佐藤研究室と共同で行っています.24台のプロジェクタとPCによる縦横約4000x3000画素の高解像度映像によって,視野の上下180度を覆い尽くします.スクリーン中央部分は偏光メガネによる立体映像投影が可能であり,高さ4メートル,横幅6.3メートルの大型スクリーンは複数人での映像体験も可能にします.平面と曲面を組み合わせたハイブリッドスクリーンは世界でも独自なものであり,複数人での観察時における映像歪みを低減すると共に,様々なマルチモーダルインタフェースの組み込みを可能にします.   Top

等身大仮想環境はハードウェアだけでは成り立ちません.世界そのものを構成するコンテンツも非常に重要になります.しかし,D-visionのような没入型ディスプレイはまだ普及が十分でないため,その特性を生かし切るコンテンツが不足していることが大きな問題になっています.そこで橋本研究室では,すでに我々の身近にある映像コンテンツを利用して,没入可能な等身大仮想環境用コンテンツを生成する技術の開発を行っています.

まず左の映像では,既存の3次元CGを使ったPC用アプリケーションを,そのまま没入型ディスプレイに対応させる技術を実現したものです.全てのアプリケーションはOSが提供するsystem APIやGraphics APIを介してコンピュータと対話しながら実行されています.このAPIをフックして,並列描画のための同期処理や広視野化のための描画パラメータの変更処理を挟み込みます.APIはDLLで提供されているため,アプリケーションをコンパイルし直す必要なく,買ってきた間なの状態でd-vision等で動作させることが可能になります.右の映像では,市販のゲームソフトを等身大・広視野化して体験している様子も含まれています.

しかし,全てのコンテンツがPC上で動作するわけではなく,むしろTVやDVDのように”映像”のみとして与えられている場合のほうが多いのが現状です.また,PS3やWii等の次世代ゲーム機による高品位な映像を使ったインタラクティブコンテンツは,等身大仮想環境として非常に魅力的です。

そこで,映像のみを与えられた状態から,今見えていない周辺映像を推定して作り出し,没入型ディスプレイでも利用可能な広視野映像を疑似的に作り出す疑似広視野化技術の開発も行っています.疑似広視野化では,今見えない周辺部分も,過去の映像フレームにさかのぼればその中に映っているという特性を利用して,過去フレームからの映像抽出を行います.その際に,映像世界の3次元形状情報や視点の移動情報が必要になります.これらは与えられた映像フレームからリアルタイム推定処理によって獲得しています.これにより,例えばPS3のドライビングゲーム等をリアルタイムで広視野化してd-visionで体験可能になります.その他,DVDや自分で撮影したビデオ映像なども同様に広視野化が可能になります.  Top

 

等身大仮想環境に一歩足を踏み入れると,現実空間と同様に,自分の体を使ってインタラクションしたいという強い欲求に駆られます.そこで,足踏み動作をすることで仮想空間を自由に移動できるデバイスを提案しています.ユーザの足下に配置した4つの圧力センサのみから,ユーザの重心変動を検出し,そこから歩行の開始&停止,方向,速度を算出しています.また,ユーザの移動方向が変化すると,デバイスに組み込んだリニアモータを利用して,移動方向をキャンセルするようにユーザ自体を回転させます.これにより,ユーザは常にスクリーンの正面を向いた状態で仮想世界を歩いていけます.すなわち,360度周囲を映像で囲まれたのと同じ効果を発揮します.

また,当然ながら仮想世界に触れてみたい!というのも昔から切望されています.そこで,糸とモータを使った力覚提示装置SPIDAR-Hを組み合わせることで,等身大提示された映像に触ったり,持ち上げたりすることが可能になります.左の映像では,SPIDAR-Hを使ってバーチャルヒューマンとキャッチボールをするアプリケーションです.ボールを投げたり受け取ったりするときの衝撃が力覚情報としてユーザの腕に伝えられます.そのほかにも,このSPIDAR-Hを使うことで,仮想世界で組み立て作業シミュレーションなどが可能になり,等身大仮想世界の応用性を飛躍的に拡大します. Top

 

 

没入型ディスプレイなどによって実現される等身大仮想環境は,極めて高い臨場感・没入感を実現します.しかし,そのような装置は研究開発用であり,我々が身近に楽しむ段階には至っていないのが現状です.そこで我々は,没入型ディスプレイが実現する映像世界の本質を,より身近に,どこでも誰でも体験可能にするための技術開発を行っています.下図(左)のようにTVのある家庭環境を想定すると,そのTV映像を拡張するかのように部屋全体を映像環境に変貌させる技術(下図(右))の実現を目指しています.

  

まず,少ない台数のプロジェクタを用いて部屋全域に映像投影を行う装置の開発を行っています.これは凸面鏡によって映像を広域に拡散投影することで実現しています.しかし,凸面鏡は映像の歪みを生じさせ,さらに複雑な形状の室内壁面もそれを増長します.なので,より精度の高い歪み補正処理が要求されます.以下にシステムの試作機と,そして映像投影例を示します.

 

また,室内の壁面に映像を投影すると,その壁の色に投影像が大きく影響されるため,その影響を打ち消すための補正処理,すなわち光学的補正処理が必須となります.本研究では,実際の室内環境を模した実験環境を構築し,一様な室内用クロスを貼り付けた壁面から,レンガ壁を模した室内壁まで,様々な状況を再現できるようにしています.そして,この環境を用いて映像投影を行い,壁面の色や反射特性の違いによる影響を打ち消す光学的補正アルゴリズムの研究開発を行っています.

以下が補正結果の一例です.左の動画では補正なしの状態を示しています.壁の煉瓦模様によって映像が影響を受けていることがわかります.右の動画は光学的補正処理を行ったものでです.煉瓦模様がみえなくなていることがわかります.今後はこの補正処理を部屋全域に拡張し,さらには感性的な特性を考慮して,より明るい補正映像の実現を目指します.  Top

 

 

準備中