Teruaki Tsubokura - MediaArtist, Creative Technologist

2011年7月29〜31日の間、石川県金沢市の伝統的な街並みの残るひがし茶屋街で行われた「かなざわ燈涼会」というお祭りで、石畳を使ったインタラクティブアート「石畳燈籠」の展示を行った。

東茶屋街には今も伝統的な古い街並みが残っており、床には石畳がきれいに敷き詰められている。
この風情ある景観をなんとか活かして「アート」にできないかと考え、この石畳燈籠を制作した。
 

石川県金沢市　ひがし茶屋街

人が近くに居ない時はいつもと同じ小道のように見えるが、その石畳は人が近づくと、まるで石畳そのものが発光しているかのように輪郭線が光り始め、その石畳の上に人が乗ると石畳の面全体がきらめく光の粒と共に光り、涼しげな音を奏でる。

「体 に反応して音や映像が出る」というわかり易いインタラクションにより老若男女問わず、幅色い層の方に楽しんで頂く事ができ、さらに観賞者同士の コミュニケーションを生み出していた。特に、子供達が楽しそうに石畳の上を走り回る姿は、見ている人を自然と笑顔にし、やさしい気持ちにしてくれた。

技術的には、Kinectセンサー2台及びプロジェクター2台を使用し、「プロジェクションマッピング」という表現方法を用いて実際の石畳に合わせて映像を投影している。

金沢に残る古き良き街並み・昔ながらの石畳と、新しい技術や映像表現による、リアルとデジタルそれぞれの良さが混ざり合った新しい空間を創り出した。

この作品を実現させる為に、作成した映像投影装置を、町家の2階部分に2台設置した。
装置には、それぞれ2台のスチールラックの一番上の部分に映像を投影するためのプロジェクターと、その映像を反射させて地面に投影するための鏡・人の動きを取得するためのKinectセンサーが固定されており、そのしたにそれらのデバイスを制御するためのノートパソコンが設置されている。

プロジェクションマッピングを用いた作品なので、初めに石畳に対してマッピングを行う必要がある。
マッピングには画像認識を用いて自動でマッピングを行う方法も考えられたが、この作品は夜暗い場所で展示を行うことを前提としているため、画像処理では不可能と判断し、石畳の座標に直接手動でポイントを打っていく方法を採用した。
これにより、設置する場所や環境に影響されること無く、どんな場所でも石畳のオブジェクトをデジタル上で作ることができるようになった。

鏡の上に設置されたKinectセンサーに内蔵された深度カメラにより、小道の上部から人の頭の位置を3次元情報として取得し、その奥行きによって人の位置を判断して内部的に当たり判定を創り出した。
しかし、そのまま生の値を使用してしまうと、実際に石畳に投影している映像の位置と、Kinectで取得した実際の人の座標ににズレが出てしまうため、それを補正するためのキャリブレーション機能も実装した。