TsubokuLab – ツボクラボ – ページ 9 – リアルとバーチャルを繋ぐ技術系ブログ

AR（拡張現実）&Wiiリモコンをやってみた

日記・雑談

by Teruaki Tsubokura on 2009年11月1日 0 Comments

前から拡張現実と呼ばれるARとWiiリモコンを組み合わせた物を作ってみたいと思っていました。
そこで、今回は卒業研究の方も順調に進んでいる(?)ので、一晩でARとWiiリモコンを組み合わせた作品を作る事にしました！

↓動画は下のほうにあります。
ARとWiiリモコンを組み合わせるにあたり、初めはFLASHで実装しようと思いました。
というのも、FLASHはWeb上で実際に動かせる上に既にFLARToolKitというFlash用のARが作られていて、さらにWiiFlashというサーバーソフトを使えば、FlashのActionScript3.0とWiiリモコン間で情報をやりとりできるからです。
しかし！！
WiiFlashですが、研究室のパソコンでは動いたのですが、同じように自分のノートパソコンにインストールしてサンプルを動かしても動かない(´Д｀；)
色々調べましたが、問題はFlashでもWiiリモコンでもなく、「Bluetoothスタック」にありました。
WiiFlashの使えるBluetoothスタックは限られているようで、こればかりはBluetoothアダプタを買い換えるしか方法がありません・・・
ということでFlashは諦めて、C#で実装する事にしました！
C#でARを動かすために、A虎＠さんの作った「NyARToolKit for C#」というクラスライブラリを使わせて頂きました。
そのソース解読に時間がかかりましたが、なんとかWiiリモコン制御用のプログラムを打ち込んで行って、ARとWiiリモコンを同時に動かす事が出来ました(･∀･)
■AR（拡張現実）＆Wiiリモコン

ここから解説。
Wiiリモコンから取得できる値として前も日記に書きましたが、
・XYZ軸加速度（傾き）
・赤外線座標（4点まで）
・11ボタン
があります。
まず、
[加速度]
平行移動がXとY軸、垂直（縦）の移動がZ軸となっていて、XとYの加速度をモデルの加速度に加算し、平行移動させています。Z軸は一定値以上の加速度が加わると、モデルの加速度に加算されるようになっています。
壁に当たった場合は加速度×-1して反射させ、さらに×0.8して擬似跳ね返り係数を作っています。
次に、
[赤外線]
赤外線の座標をX.Yで取得できるので、今回はX軸のみ使用してモデルをZ軸を中心に回転させています。
そして[ボタン]ですが、今回はマーカーの土台として使用したので、ボタンは使用しない設定で行きました。
ということで今回はARとWiiリモコン組み合わせてみました
ARとWiiリモコンを組み合わせるとかなり自由度が上がりますよね
これでARの世界もさらにインタラクティブに生まれ変わります
あとは、コンタクトレンズ型ディスプレイの製品化を待つのみですね
さぁ、みんなも電脳ワールドに飛び込もう！！

謎の浮遊物体

日記・雑談

by Teruaki Tsubokura on 2009年9月14日 0 Comments

台所になんか浮いてたきめぇ

ここでトリックのネタばらしですが･･･

みなさん「磁性流体」ってご存知ですか？

ようするに液体の磁石です。

この浮遊している青い球体はその磁性流体というのを使ってるんですね。

作り方ですが、今回は形をある程度保つ為にスライムを作る時と同じ要領で作っていきました。

■材料

水30ml

PVA洗濯のり10ml

ホウ砂小さじ3

砂鉄50g

絵の具（お好み）

■作り方

①まず水30mlとポリビニールアルコール性の洗濯のり10mlを70度の温度であたためながら混ぜます。

②次に薬局で売っているホウ砂を小さじ3倍混ぜると、ゲル状になってきます。

③ここで青色絵の具（1本）を投入。青いスライムの出来上がり！

④できたスライムと砂鉄50gをよく混ぜて完成。

簡単ですよね！

■そしてここからが本番浮かせます

皆さんの家にはあるかわかりませんが、電磁調理器（ＩＨ）を使用します。

まず電磁調理器の上に完成したスライムを乗せて、電磁調理器のスイッチを弱からゆっくりと強へと上げていきます。

電磁調理器から発生する電磁波の力が磁気を持ったスライム君に反応して押し上げるので、電磁波とスライムの重さが平等になったところで宙に浮かび上がります。

上手く強さを調整するとキレイにフワフワと浮かんでくれます。

※あまり出力を強くしすぎると飛びすぎてしまうので注意！

という事で、今回は不思議な浮かぶスライム（磁性流体）を作りました。

みなさんも上手く浮かべる事ができましたか？

ん？できないだって？

まぁ、浮かべることが出来なくて失敗してしまった人も、ここで書いた事は全部ウソなので気を落とさないで下さいね

-----------------------------------------------------------------—
という記事をmixiで書いたら結構な人がだまされてくれました（笑）
本当はマッチムーブという実際の映像と３DCGを自然に合成する技術を使っているんです。
最近では映画などで使われているのも良く見かけます。

マッチムーブソフトはVoodoo camera trackingというフリーのソフト。
映画などで使われているものは数百万円するものが普通ですが、なんとこのソフトはフリーなのです！

３DソフトもBlenderというフリーのものを使っているので映画なみの技術がタダで作れてしまうんですよね＾＾

流れとしては、
①素材となる動画を取ってきて
②それを連番tga画像形式に変換
③Voodooで読み込んでカメラの動きを解析。３Dソフト用のデータを作る。
④Blenderで読み込んでCGと重ねる
できあがりです

思ったより簡単でしたが、古いノートパソコンでレンダリングしたのでたかが3秒くらいの動画なのに結構レンダリングに時間がかかりました(´Д｀；)

他にもマッチムーブではありませんが、Blenderを始めて使ったので流体シミュレーションなんかも試してみました。
みなさんも興味があったらマッチムーブに挑戦してみてはいかがでしょうか（＾ヮ＾）

ついにWiimoteLibがMotionPlusに対応！？

日記・雑談

by Teruaki Tsubokura on 2009年7月30日 0 Comments

タイトルどおりなのですが、ついこの間の7月20日にCodeplexでWiiリモコンをパソコンで使う為のライブラリ「WiimoteLib」に新しくMotionPlusが対応したものが公開されました。
まだWiimoteLib_1.8 Beta版ということですが、問題ないと思います。
↓ここからＤＬできます
http://wiimotelib.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=30401
ＷｉｉMotionPlusには3軸（正確には2軸＋1軸）のジャイロセンサが搭載されていて、Wiiリモコンがどちらの向きにどれくらい回転したかが正確にわかります。
その精度がすごいということで一部で話題になっていましたが、
いままでのジャイロセンサが一秒間に300度の回転を読み取ることが出来たのですが、それではスポーツなどの素早い運動に対応できないという事で1秒間に1600度まで対応させたという高精度さ。
そんなすごいジャイロセンサが1500円という低価格で手に入ってしまうとは時代も変わりましたね･･･。
ちなみにうちの研究室にあるモーションキャプチャーのジャイロセンサは1つ50万するらしいですが（笑）
MotionPlusを研究室で買ってくれるみたいですが、待ちきれない＆俺が欲しいので個人で買ってしまいそうです。

Processing -sound-

日記・雑談

by Teruaki Tsubokura on 2009年7月12日 0 Comments

最近Processingというビジュアル表現の為のプログラミング言語をさわり始めました。
Processingはプログラム初心者にオススメするだけあって、難しい表記無しに簡単な命令文でプログラムが動かせる上に、コンパイル無しで動き、Processing自体のインストールもしなくてもいいというすごいソフト。
ビジュアル表現に便利な映像・音楽・３D表現などのライブラリも初めから用意されているので、それらを組み合わせたプログラムが簡単に作れます。
Processingに慣れる為に音楽を読み込んでその波形から映像を作り出す、いわゆるビジュアライザというものを作ってみました。
■sound（別窓でアプレットを起動します）

プログラムとしてはとても簡単で、80行程度でこんな楽しいプログラムが出来てしまいます。
minimという音楽を扱うライブラリを使用してステレオ音源を読み込みloadFile()、左右のスピーカーのレベル合計mix.get()で大きさと場所が変わる円をellipse()で真ん中に書いているんですね。
ちなみにクリックすると、マウスの位置によって音程が変わるSinカーブの音を鳴らすモードに変わります。（まさかここでメディア情報論の知識が出てくるとは・・・）
バックでドラム音が流れてるのでそれにあわせてメロディーを作ってみては？
３Dにも簡単に対応できそうなので可能性がひろがります。
そういやiTunesの新しいビジュアライザのビジュアルプロトタイプ開発にもProcessingが使われたとか・・・

Wiiリモコンで出来る事

日記・雑談

by Teruaki Tsubokura on 2009年7月9日 0 Comments

WiiリモコンはBluetooth通信を使っているので、Bluetoothが入っているパソコンなら簡単にWiiリモコンをPCとワイヤレス接続する事ができます。
さらにcodeplexで公開されているWiimoteLibというライブラリを使うとC#なんかで簡単にWiiリモコンの制御を行う事ができる訳です。
■WiimoteLibはこちら
http://www.codeplex.com/WiimoteLib
Wiiリモコンについている機能として前の記事でも書きましたが、
・赤外線カメラ
・XYZ軸加速度センサ
・XY軸傾きセンサ（加速度センサから求める）
・１１ボタン
・４つのLED
・バイブレーション機能
・サウンド機能
と、これだけ沢山のセンサがワイアレスで使えてしまうので色々な可能性が広がりますよね。
ここで少しWiiリモコンから受け取る値の説明をしようかと思います。
・赤外線カメラ
赤外線カメラでは赤外線光源を4つまで検出する事ができ、それぞれIRSensors[0]～[3]の中にX・Yの座標が格納されます。
X・Yはそれぞれ0～1の間で表されて、小数点以下もかなり細かいところまで正確に検出できます。
たとえば･･･
if(IRState.IRSensors[0].found)で赤外線が1つ見つかったときに、
(IRState.IRSensors[0].X , IRState.IRSensors[0].Y) の位置にマークを表示したりして使います。
・加速度センサ
X・Y・Z軸それぞれ-1～+1の間で加速度が検出されて、こちらもかなり細かい数値がでます。
ちなみにWiiリモコンを平行に地面に置いた状態では重力でY軸が常に+1になります。
こちらはAccselState.Value.Xでその軸の値を呼び出して使用することが出来ます。
この二つだけでもかなり面白そうなものができそうです。
今研究で、フィジカルコンピューティングという現実とデジタルを組み合わせて身体的に操作できるものが作りたいと思っています。
そこで考えたのが、Wiiリモコンの赤外線カメラでボールの位置をトラッキングして遊べるゲームもしくはインタラクティブアート。
仕組みとしてはこんな感じ。

・Wiiリモコンを部屋の上部に固定し、その方向から赤外線を放出
・ボール（赤外線を反射するもの）から反射した赤外線の座標をWiiリモコンで検出
・プロジェクタでボールに重ね合わせてエフェクトを表示したり敵キャラクターを表示する
・一人はボールを転がして遊び、別の人がもう1つのWiiリモコンで敵キャラクターを操作できて対戦できると楽しいかも

簡単だけどこんなイメージ。
実際にプロトタイプは作ってるけど、動いてる所を録画したらまたここに載せたいとおもいます。

どうやらProce55ingがすごいらしい

日記・雑談

by Teruaki Tsubokura on 2009年7月7日 0 Comments

インターネットで研究に使えそうな技術なんかを調べていたら、Processing（Proce55ingとも書く）という開発言語をよく目にした。
どうやらJavaベースで電子アートとビジュアルデザインのための言語らしいのでビジュアル表現にとても強く、コンパイル作業不要なので開発がとても楽で、さらにはWin.Mac.LinuxのOSに対応しているという割と新しい開発言語らしい。
色んな動画やらみてたら開発画面がめっちゃ単純で言語も単純明解。
すごく楽そう
こんな動画がありました。

こんなビジュアル表現が手軽にできるなんてステキ
他の方が作ってる動画も色々見てたら、Processingと他の色んなライブラリを組み合わせている方がいました。
例えば「Bullet」という物理エンジンなのですが、３Dのオブジェクトをぶつけたり転がしたりしたときの実際の動きをシミュレートできるもの。
Bullet自体もJavaベースでなので、Processingでも簡単に使えるようです。
物理演算は見てるだけで楽しいので、研究とは関係あっても無くても物理演算を使った何か作ってみたいですね。
そして「ARToolkit」。
これは拡張現実感と言って現実の映像にリアルタイムで３Dを合成するというものですが、元はC言語なのでそのままでは使用できませんが、さすがProcesseing。注目されているだけあってもう作られてますねぇProcessing用ARToolkit
■NyARToolkit
ここで公開されています。ほかにもJava、C#、C++などでARToolkitを動かせるようにされてるみたいですごい方ですね。尊敬します。
これだけでProcessingにはARToolkitもBulletもそろっちゃったので、現実世界で物体をグチャグチャできるわけですね
あと欲しいのはWiiリモコンを使えるようにするライブラリのみ・・・･･･ジュルッ
こんなすばらしい言語使わないわけにいかないって事でインストールは終わらせましたが、時間無くてまだ触ってません。
またためしに何か作れたらUPしますね

日記・雑談

by Teruaki Tsubokura on 2009年6月30日 0 Comments

大学の卒業研究のテーマで最近悩んでますが、最近使おうかと考えている技術でWiiリモコンがあります。
WiiリモコンはBluetooth通信でPCとワイヤレス通信が出来る上に
・赤外線センサ
・XYZ軸加速度センサ
・XY軸傾きセンサ
・１１ボタン
・４つのLED
・バイブレーション機能
・サウンド機能
と十分すぎる機能が付いていて、数千円で手に入ってしまうというすばらしいデバイス。
WiimoteLibというライブラリが公開されているため、C#だったりVisualBasicで簡単にWiiリモコンを操作するプログラムを組めるというお手軽さも魅力で俺も勉強がてらプログラムを作ってみる事にしました。
始めはセンサから受け取る値を処理する方法を勉強する為にWiiリモコンをPCのマウス代わりに使えるソフトなんかを作りました。
割と理解してきたので、今はXNAというFrameworkを使ってC#で３D表示をするところに入っています。
DOGAという３Dソフトでエクスポートした.Xファイルを読み込んでXNA上で表示させ、Wiimoteの傾きやボタン操作に対応して３Dモデルが移動するようにプログラムしてみました。
実際に操作してみた感覚は３Dの飛行機が自分の手の動きにあわせてぬるぬる動いて面白かった。
これでシューティングゲームだったり作れたら楽しいかも？
他にもAR（拡張現実感）とかのプログラムもちょこちょこいじって、勉強してるのでそちらも進んだらまた書きます。