2023年10月6日~11月12日に虎ノ門ヒルズステーションタワーTOKYO NODEの開館記念企画として、真鍋大度・石橋素が主宰するライゾマティクスとMIKIKO率いるイレブンプレイによって発表された新作 ”Syn : 身体感覚の新たな地平”のBehind The Sceneを公開する。
<zoning>
本作品は総面積約1500平米にわたる巨大展示空間に観客自身が入り込み体験する、座席なしの回遊型の作品である。3つのギャラリースペースで構成されており、3つのギャラリー同士を繋ぐ廊下にも造作を施し、作品の世界観を構成する重要な要素となった。
<Sequence>
本作品は3つのギャラリーを通じて約70分の公演である。1日に17回繰り返し公開された本作品のシーケンスは以下のような構造で設計されている。観客は30分おきに入場し一つ目の空間（ギャラリーA）から体験をスタートするが、二つ目の空間（ギャラリーB）では巨大移動壁の奥側と手前側で次の公演を同体験している観客と同居している状態で公演が進行する。
◉GALLERY A
<AI Installation>
photo by Muryo Homma
ギャラリーAには3つのフォトブースが設置され、観客がブースに入ると、カメラ画像解析によって人を認識し、自動的に写真撮影が行われる。3つのブースのうち、2つは顔写真、もう1つは全身写真を撮影するためのものとなっている。撮影された写真はAIによって、リリックに合わせてリップシンクをしている動画や、ELEVENPLAYのダンサーの振り付けでダンスしている動画にその場で変換される。最終的に会場のLEDに変換された動画に対してリアルタイムエフェクトをかけた映像が映し出され、観客自身が映像演出の一部となる。
(解析画面)
(システム図)
◉GALLERY A to B
photo by Muryo Homma
ギャラリーAとBを繋ぐ通路は床面全体に映像がプロジェクションされ、通過する体験者の動きを解析し床面の映像がインタラクティブに変化する演出を行った。
◉GALLERY B
<Projection System>
photo by Muryo Homma
ギャラリーBには合計24台のプロジェクターが設置され、4台のMac Proから映像送出を行った。プロジェクターの内訳は4台が巨大可動壁自体と一緒に動く可動式であり、9台が床面、11台が壁面に映像を投影するために使用された。可動式の4台及び壁面の11台はアクティブシャッターの3Dグラスと同期して動作し、ステレオ立体視の映像が投影された。投影されるCG映像はプリレンダのステレオ3D全天球映像をベースにしたものであり、巨大可動壁やムービングトラックのリアルタイム位置情報を利用して、映像の変形や物体でのマスクを行うことで、没入感の高い立体映像投影を実現した。
(制御画面)
(システム図)
<3D active shutter glasses>
photo by Muryo Homma
全ての観客はギャラリーBに入る際に3Dメガネ（アクティブシャッター式）を装着して作品を体験した。
<ステレオライト>
photo by Muryo Homma
アクティブシャッター式3Dメガネと同期して点灯する2眼投光器。これによって生じた影は3Dメガネ越しに見ると左右の目に異なる影を映し、影が空間に立体的に結像する。本作のために開発されたオリジナルデバイスである。観客が装着する3Dメガネと同じものを分解して制御基板を取り出して利用。シャッターの駆動信号をオリジナルの制御基板に搭載したマイコンで読み取ることにより、3D眼鏡のシャッターレンズの開閉と高度に同期したLEDのストロボ制御を実現した。演者であるダンサーや誘導スタッフが手持ちで演者や観客のことを照らすだけでなく巨大可動壁の上部に固定設置したり、ウインチシステムに設置し昇降したり、多種多様な方法で使用した。
<ムービングトラック>
photo by Muryo Homma
ギャラリーBにおいてモノリス状の大型オブジェ8台が陣形を変えて動いたり、映像、音楽、照明、ダンサーの動きと連動したパフォーマンスを実現した。この幅2m高さ4mのオブジェにはライゾマティクスが独自に開発したムービングトラックシステムが採用されている。インホイールオムニモータ4台による移動台車で、モーションキャプチャにより高い精度の位置制御を行った。トラック自体の位置情報を赤外線カメラを用いて精密に検出し、事前にCGソフト上で制作した動きを高精度で再現することが出来る。
(制御画面)
(図面)
<巨大可動壁>
photos by Muryo Homma
photo by Muryo Homma
ギャラリーBの細長い特徴的な空間を二つに分ける巨大可動壁はシーケンスで定められた通りに移動を繰り返した。巨大可動壁自体にプロジェクター、照明を設置、搭載し各シーンの演出において重要な役割を担った。この壁面によって、鑑賞者から見た空間自体のボリュームが絶えずダイナミックに変わり続ける演出と、壁面を挟んで別のタイムラインの観客が同時に鑑賞できるシステムを形成している。また、中央の扉は演者だけでなく観客も通過し可動壁の手前側と奥側を行き来できるようになっていて、ある瞬間では、別のタイムラインの観客が互いに顔を合わせる瞬間も作り出し複雑なシーケンスの一部を俯瞰的に捉えるシーンにも使われている。
7.6m x 4m 程の壁面、3Dプロジェクター、照明機材合わせて600kg程の構造物を滑らかに動かすために産業用レールと車輪で吊り下げ、400wのインバーターモーターを2台用いて可動させた。速度は、最大で500mm／sでの移動が可能で本番環境では最速で300mm/s程で移動するタイミングがある。モーターには、ナイロンタイヤを取り付け200N程の力でレールに押しつけ摩擦によって動力をレールに伝えて構造体を動かす。位置は、viconと赤外線マーカーによってミリ単位で測位されあらかじめ作成したCGの動きをトレースしてシーケンスが作られている。稼働壁への映像や、モーター制御のネットワーク、照明のDMXは、全て有線で接続されバックヤードにあるケーブル用の3本目のレールと多数の滑車によってオペ卓まで接続されいてる。
(壁面制御画面)
(モーター駆動部のテスト)
(図面)
<ウインチシステム>
photo by Muryo Homma (オブジェ)
photo by Muryo Homma (プーリー 、カラビナ)
photo by Muryo Homma (床面に投影された立体影)
photo by Muryo Homma (ウィンチモーター)
ギャラリーBの体験途中に現れるインスタレーション。ダンサーが8個の三角形のオブジェクトをカラビナに取り付け、モーターによってウィンチワイヤーの長さを個別に制御し高さ、ロール、ピッチをコントロールする。中央に取り付けられたストロボライトによる影を3Dメガネで眺めることにより、壁面や床に出現する３角形のオブジェの影がが立体的に見える。三角形の取り付け時や長期間の展示によって起こるウィンチドラムからワイヤーの脱落を防ぐため、ドラムの溝に併せて繰り出し位置が動く機構を採用している。28台のモーターは、バックヤードに取り付けられ、3箇所のプーリー を経由しギャラリー側に延長されている。全体の動きは、3Dデータを元にワイヤーの長さを決定しOSCにてモーター手前の基盤に送信後modbusに変換して遅延を極力回避している。
(システム図)
◉GALLERY C
<MREAL>
photo by Muryo Homma
photo by Muryo Homma
鑑賞者がMRデバイスを経由して鑑賞するバーチャルの世界とギャラリー空間に実際に存在するLED映像、自動演奏ピアノの音楽、水の波紋を同期制御した。
AR合成されたCGが水面に反射して見えるように、CG上に擬似的な反射するプレートを床面に置き、CGがより実在しているように見せる工夫をした。
MREALを覗いていない鑑賞者でも、ARダンサーのパフォーマンスが見れるように、背面LEDにARダンサーのシルエットを表示し、鑑賞者はMREALを覗くことで、ダンサーのシルエットがARダンサーの影であったことが分かる演出を行った。
(制御画面)
(システム図)
<波紋制御システム>
photo by Muryo Homma
舞台美術の水槽内に4本のワイヤーを通し、移動体を引くことで水槽内の狙った位置に波を起こす装置を開発した。この移動体は水面に垂直な方向に変形する機構を備えており、変型による形状を変えて出る波の質を変えることができる。この変形制御も同じく4本のワイヤーにより行う。4本のワイヤーの長さ、引く速度、張力の制御により、水平・垂直両方向への水の押し引き、変型による波の質変化を同時に制御することで、ダイナミックに様々な波による表現を行うことができる。移動体の機動力は1G加速、最高速1.2m/secまで及ぶ。これらの機構は完成した水槽の表側からのみ設置する構成で実現されている。また、バーチャルダンサーの足の動きに合わせて波を起こすために、ダンサーのボリュメトリック撮影データを解析し、その時々の波を出すべき軌道を生成するアルゴリズムを開発した。これにより、ARダンサーの足捌きや着水した衣装の動きと高度に同期した、有機的な表情の波を起こすことが可能となった。
(システム構成)
(波紋装置本体)
(本体からプール内へワイヤーをガイドする機構)
(ワイヤーのけん引量によって変形する機構（波の出方に変化をつける機構）)
(プール内でのワイヤーのルーティング)