影を掴むインタラクティヴ・アート「Shadow touch!!（仮）」
ということで、前回の日記から日にちがあいてしまいましたが、予告していたので卒業研究のことについて書こうかと思います。ここで書いておくと卒業論文を書くときに楽になるしね！（｀ー´）
卒業研究を進めるにあたり、まず初めに
「感覚をだますメディア」
というコンセプトを立てました。
視覚や聴覚などの感覚をメディア技術を使って騙す事で日常では味わえない不思議な感覚を楽しめるような
空間を制作できれば面白いのではないかと考えたからです。
そしていくつもの失敗を乗り越えて、ひとつのインタラクティヴ・アートにたどり着きました。
それが、
影を掴むインタラクティヴ・アート「Shadow touch!!（仮）」です。
名前はなんのひねりもなくそのまんまですが、影という普通に考えると触る事の出来ない物に触れるという事でインパクトがあるのではないかと思います。
この作品には
■Flashlight mode（懐中電灯モード）
■Shadow touch mode（影掴みモード）
以上の2つのモードが用意されています。
作品を体験する流れとしては、
①影を探す
Flashlight modeで懐中電灯型デバイスを使って、何も無い場所に存在する影を探す。
②影に触れる/掴む/投げる/弾く/組み上げる
Shadow touch modeで影に指で触れたり、掴んだり、影同士をぶつけて遊んだり、沢山の影を使って積み木の様に高く積み上げたりして楽しむ。
③影の状態を確認する。
再びFlashlight modeで懐中電灯型デバイスを使って光を様々な角度から当てると、影の形が確認できる。
角度に合わせて立体的に見えるので複雑に積み上げた形でも認識しやすい。
と、このようにFlashlight modeとShadow touch modeを交互に切り替えながら楽しむ流れになります。
システムの解説ですが、ちょっと複雑なのと解説が下手なので上手く伝えられるか分かりませんが、書いていきます。
■Flashlight mode システム概要
上で懐中電灯型デバイスという言葉が出てきましたが、要するにWiiリモコンです。
・仕組み
懐中電灯の中に配置されている赤外線LEDで赤外線を前方に照射し、再帰性反射板に当たって反射した位置（つまり反射板の位置）を懐中電灯内部のWiiリモコンの赤外線カメラで計測します。
Wiiリモコンはその情報をBluetooth通信でパソコンに送信します。
・中身
懐中電灯の中身を全部出して、代わりにWiiリモコンと赤外線LED群を設置しています。
体験者はプロジェクターで投影されるフィールドの上に立って、地面を懐中電灯型デバイスで照らします。
何もないはずの場所に影が投影され、光を照らす角度によって影が変化する為、体験者は実際にそこに物体があるかのような感覚を覚えるでしょう。
以上Flashlight modeの解説を致しました、この下手糞な解説でご理解頂けたでしょうか？？？
もう1つのモード「Shadow touch mode」については、書き出すと長くなりそうなので、また次回の記事という事で(´Д｀；)
パワーポイントの画像ばっかりでしたが、もう実際に動くものが出来ているので、その写真や動画を撮影したらデモをUPしたいと思います。お楽しみに！！
Wiiリモコンを使った色々な活用例
なんとか研究の方も道が見え始めたので、ここらで過去に作ったボツ作品達を振り返りつつ紹介したいと思います。
こんなWiiリモコンの使い方もあるんだなぁと思いながら見ていただけるといいとおもいます。
■どこでもスクリーン（仮）
壁でも地面でも天井でも、手に持った紙でもなんでもスクリーンにしてしまうというソフト。
スクリーンがまるでそこに印刷されてるかのように追従して動きます。
プロジェクターの映像を変形して投影しているわけですね。
仕組みはこんな感じ。
①Wiiリモコンの位置から赤外線LEDで赤外線を照射。
②紙の端についている再帰性反射材に反射した４点の座標をWiiリモコン先端の赤外線カメラで読み取る。
※再帰性反射材：光源の方向に光を反射させる素材。
③４点に三角ポリゴンを二つ表示し、画像テクスチャを貼り付ける。
･･･と、こんな感じです。
お気づきかもしれませんが、テクスチャを貼っているだけなのでデスクトップぽいのはフェイクです（笑）
実はすでにJohnny Lee氏がもっと色々な物に投影するのに成功していて、その動画を見て感動したので、それを独自実装してみただけです。実装しきれてないですが(´Д｀；)
本当はこの技術を使ってスクリーンを持ち歩きながら遊ぶゲームのような物を考えていたのですが、プロジェクタの投影範囲等色々な問題が出てきたので結局ボツになりました･･･。
■FLASHとWiiリモコンで体感ゲーム
こんなのも作りました。
これは大学のオープンキャンパスで高校生にFLASHでゲームを作らせるためのサンプル的な感じで２，３日くらいで作りました。
プロジェクターの位置にWiiリモコンをスクリーンに向けた状態で設置し、あとは手に持った赤外線LEDで画面のドラ○もんみたいなキャラクターを操作します。
この動画はちょっと古いので移動だけですが、オープンキャンパスで公開した時には弾も撃てるようになって点数も付くようにしました。
単純ですがWiiリモコンの面白さを知ってもらうにはちょうど良いものになったと思います。
■WiiFitを使った何か
ちゃんとしたコンテンツにはなってませんが、WiiFitも組み合わせてみました。
体重移動で中央の機械みたいなのが移動するようになってます。
実際に乗ってみると体の動きにあわせてモデルが移動するので没入感がありましたが、単純なのとこれを使って面白いコンテンツを作るという所で良いアイディアが思い浮かばなかったので結局ボツになりました。
■全身でマリオ
画像はありませんが、WiiFitとWiiリモコンで全身を使って初代マリオブラザーズを遊べるソフトを作りました。
操作方法は、WiiFitの前部分で足踏みすると前進して後ろで足踏みで後退。早く足踏みでダッシュ。
ジャンプはWiiFit上でジャンプ。ファイアーは実際にライターで火をつけるとファイアーを打てるようにしました。
できるだけマリオの気持ちを味わえるように実際の動きに近づけました。
で、実際にプレイしてみるとクソムズイ＆超疲れる！！
思う様に操作できなくて、１－１クリアするのに２０分くらいかかりましたorz…
･･･とまぁ、たかがWiiリモコンですが使い方次第でこんな多様な楽しみ方が出来ちゃいます。
アイディアさえ出れば他にももっと色んな使い方があるとおもいます。なにか面白い使い方が思いついた方は是非ご連絡ください。ｍ(_ _)ｍ
今回はボツになった作品集でしたが、次回は卒研で現在誠意製作中の作品の概要を紹介したいと思ってます。お楽しみに！！
卒研メモ
最近卒研の制作が思うように進まなくてやる気が起きない…。
でもやらなければいけない事は増える一方
自分が忘れないようにこれからやる事をメモメモ…φ(..)
■ソフトウェア
・インターフェースの作成。
インタラクティヴ・アートなので作るかわからなくなってきた。
・モデルのバリエーションを増やす。
DOGA-Lシリーズではそろそろ限界か。MAYAを使おうか。
・二次元で取得した手の位置で3Dモデルの座標を操作する。
ステレオ画像による三次元計測を使う。
・物理演算ライブラリの導入。
Black Curry Engineというフリーのものを使用。
・リモコン距離でライトの範囲変化
反射板を2点以上配置してリモコンに映る2点の距離で遠近を擬似的に再現。
・ポイントを見失った時にゆっくりフェードアウト
現段階では光の飛びが多く見栄えが悪い。
・物理演算の影をアルファを高さと連動させる。
現段階では影の濃さが変わらない。ズレは修正済み。
■環境設営・ハードウェア
・設置場所を考える。
高さのあるラックのような物の一番上にプロジェクター。投影台と同じ高さにはWiiリモコンを設置。
もしくは布を張り、下からプロジェクターで投影して手の影が落ちないようにする。
赤外線の影響を受けるので、周囲を黒い布で囲み直射日光が入らないように気をつける。
・地面に投影する方法。
鏡を使うのが有力。大きめの鏡と固定する物を準備する。
・2つのWiiリモコンを定位置で固定する物を作る。
2つのリモコンの距離を固定する事はステレオ画像による三次元計測で重要になる。
・手に反射板をつける方法。
手袋⇒たくさんの人が使うと気になる人がいるかも。
指サック⇒つけるのが簡単で気軽に付けれる。
マジックハンドなど⇒間接的にさわるのでリアリティが薄れるが、ゲームのような感覚になり面白いかも。
意識をせずに行動を制限できるので、誤作動を減らす効果もあるかも。
・懐中電灯型ポインティングデバイスの作成
100均で買ってきて型だけ使う？
・キャップ方再帰性反射板
指につけるためのキャップ。指サックを使う？
■発表準備
・発表用スライド。
来週水曜に中間発表。早めに完成させる。
・PR用ポスター。
石川コンテンツマーケット出展用のポスターなど。1月ごろまでに。
・卒論用まとめ。
卒論を書きやすいように少しずつまとめていくべし。
・テーマをどのように結論付けるか。
実際に体験してもらって感想を聞き、不思議な感覚を体感してもらえた的な感じでいけないか。
・アブストラクト、プロジェクトレポート作成。
2月1日提出。
自分を焦らせる為のメモですが…
思い出し次第追加していきます。
12月6日追記完了