本作は、真鍋の3Dスキャンデータ、fMRIで取得した脳活動(視覚野)データ、そしてELEVENPLAYのダンサーとShingo Okamotoによるモーションデータを用いて制作されたダンスパフォーマンス作品である。ダンスを、ポーズ/モーション/コレオグラフィーという三つの要素としてとらえ、分解し、再構築。重力や関節可動域の限界などの制約を受けない身体表現、また脳内の思考の乱れから発生するノイズやグリッチが表出し、音が脳に刺激して身体へインタラクティブに作用していくダンスの新しい生成方法としての研究である。
コロナの影響でデータ取得が出来なかったため、本作では2018年に取得したMRIのデータや手続きを参考にシミュレーションデータを作成しプロトタイプとして制作した。
そのため実際のデータを用いて生成した場合には異なる結果が出てくることが予想されるが、“ブレインデコーディング“技術によって取得するデータとブレインデコーディングの手続きはかわらない。
本作は継続していまも進行中。
【研究内容】
真鍋は2014年より、京都大学の神谷之康教授が研究している “ブレインデコーディング“技術に着目し、作品を制作してきた。
“ブレインデコーディング“とは、被験者がどのような画像を見ているか、またどういったイメージを頭の中で想像しているかを、視覚野の脳活動データを使って画像が再構成される様子を可視化することである。
2018年には音楽を聴いた時に頭の中にイメージする画像を取り出し、人工的な共感覚や通常VJなどで行われている音楽の波形やspectrum情報を用いた可視化とは異なる手法を行い、インスタレーション、ライブを行った。
本作品では、ブレインデコーディング技術を用いて頭の中にイメージするポーズの情報を取り出し、ポーズの連続集合体であるモーションデータ、振り付けを生成しCGの真鍋を踊らせ、ブレインデコーディングの不完全なポーズ推定によって生み出されるグリッチやノイズが作り出すモーションが生み出すダンスをそのまま発表するのではなく、その仕組みを解説しながらパフォーマンスへと徐々に移行するレクチャーパフォーマンスという形態で作品発表を行った。
【受賞歴】
Prix Ars Electronica 2022
Interactive Art +
Honorary Mentions
【巡回歴】
2020
Sep.28 - Sep.19
streaming for Sónar+D CCCB 2020 Music
(Barcelona, Spain)
Dec.11
MUTEK.JP
at Shibuya Stream Hall in Shibuya,
(Tokyo, Japan)
Nov.25 - Dec.5
RealMix Festival
Online Event ( Bogotá , Columbia)
2021
Mar.20-Jun.22
"rhizomatiks_multiplex"
at Museum of Contemporary Art Tokyo
(Tokyo, Japan)
Apr.26-May.1
CAIROTRONICA-Cairo Electric and Media Art Festival
at the Factory and Tahrir Cultural Center (Cairo, Egypt)
Sep-Aug 2022
"SEEING The INVISIBLE -AN AUGMENTED REALITY CONTEMPORARY ART EXHIBITION"
at
Royal Botanic Garden Victoria Cranbourne, Australia,
Royal Botanic Garden Victoria Melbourne, Australia,
Royal Botanic Garden, Burlington, Canada,
Jerusalem Botanical Garden, Israel
Kirstenbosch Botanical Garden, South Africa
Eden Project, United Kingdom
Tucson Botanical Gardens,USA
San Diego Botanic Garden,USA
Denver Botanic Gardens,USA
Marie Selby Botanical Gardens, USA
Elm Bank Garden Massachusetts, Horticultural Society, USA...
https://seeingtheinvisible.art/daito-manabe/
(Jerusalem, Israel)
Oct.5
Streaming for 751 International Design Festival
(Beijin, China)
Nov.5-15
Online streaming for
Daito Manabe “morphecore prototype 2021 version” on ZER01NE DAY 2021
(Seoul, Korea)
Jan.21
Online streaming for FESTIVAL MULTIPLICIDADE 20_21
( Rio de Janeiro, Brasil)
コロナの影響でデータ取得が出来なかったため、本作では2018年に取得したMRIのデータや手続きを参考にシミュレーションデータを作成しプロトタイプとして制作した。
そのため実際のデータを用いて生成した場合には異なる結果が出てくることが予想されるが、“ブレインデコーディング“技術によって取得するデータとブレインデコーディングの手続きはかわらない。
本作は継続していまも進行中。
【研究内容】
真鍋は2014年より、京都大学の神谷之康教授が研究している “ブレインデコーディング“技術に着目し、作品を制作してきた。
“ブレインデコーディング“とは、被験者がどのような画像を見ているか、またどういったイメージを頭の中で想像しているかを、視覚野の脳活動データを使って画像が再構成される様子を可視化することである。
2018年には音楽を聴いた時に頭の中にイメージする画像を取り出し、人工的な共感覚や通常VJなどで行われている音楽の波形やspectrum情報を用いた可視化とは異なる手法を行い、インスタレーション、ライブを行った。
本作品では、ブレインデコーディング技術を用いて頭の中にイメージするポーズの情報を取り出し、ポーズの連続集合体であるモーションデータ、振り付けを生成しCGの真鍋を踊らせ、ブレインデコーディングの不完全なポーズ推定によって生み出されるグリッチやノイズが作り出すモーションが生み出すダンスをそのまま発表するのではなく、その仕組みを解説しながらパフォーマンスへと徐々に移行するレクチャーパフォーマンスという形態で作品発表を行った。
【受賞歴】
Prix Ars Electronica 2022
Interactive Art +
Honorary Mentions
【巡回歴】
2020
Sep.28 - Sep.19
streaming for Sónar+D CCCB 2020 Music
(Barcelona, Spain)
Dec.11
MUTEK.JP
at Shibuya Stream Hall in Shibuya,
(Tokyo, Japan)
Nov.25 - Dec.5
RealMix Festival
Online Event ( Bogotá , Columbia)
2021
Mar.20-Jun.22
"rhizomatiks_multiplex"
at Museum of Contemporary Art Tokyo
(Tokyo, Japan)
Apr.26-May.1
CAIROTRONICA-Cairo Electric and Media Art Festival
at the Factory and Tahrir Cultural Center (Cairo, Egypt)
Sep-Aug 2022
"SEEING The INVISIBLE -AN AUGMENTED REALITY CONTEMPORARY ART EXHIBITION"
at
Royal Botanic Garden Victoria Cranbourne, Australia,
Royal Botanic Garden Victoria Melbourne, Australia,
Royal Botanic Garden, Burlington, Canada,
Jerusalem Botanical Garden, Israel
Kirstenbosch Botanical Garden, South Africa
Eden Project, United Kingdom
Tucson Botanical Gardens,USA
San Diego Botanic Garden,USA
Denver Botanic Gardens,USA
Marie Selby Botanical Gardens, USA
Elm Bank Garden Massachusetts, Horticultural Society, USA...
https://seeingtheinvisible.art/daito-manabe/
(Jerusalem, Israel)
Oct.5
Streaming for 751 International Design Festival
(Beijin, China)
Nov.5-15
Online streaming for
Daito Manabe “morphecore prototype 2021 version” on ZER01NE DAY 2021
(Seoul, Korea)
Jan.21
Online streaming for FESTIVAL MULTIPLICIDADE 20_21
( Rio de Janeiro, Brasil)
Link
Credit
Motion capture dancer and choreographer: Shingo Okamoto
Supervisor: MIKIKO (ELEVENPLAY)
Music co-producer: Hopebox
Editing Director: Kenichiro Shimizu (PELE)
CG Director: Kenta Katsuno (+Ring)
Effects Artists: Tetsuro Takeuchi (quino grafix)
Effects Artists: Jun Satake (TMS JINNIS)
Effects Artists: Tai Komatsu (cai) ,Keisuke Toyoura (cai)
Effects Artists: Mikita Arai (Freelance)
Effects Artists: Tsukasa Iwaki (+Ring)
CG Producer: Toshihiko Sakata (+Ring)
Data Processing: 2bit
Motion Capture: Crescent, inc.
3D Scan: K’s DESIGN LAB
Compositor: Naoya Kawata (PELE)
Project Manager: Naoki Ishizuka (Rhizomatiks) + Yurino Nishina (PELE)
Producer: Takao Inoue (Rhizomatiks)
Supervisor: MIKIKO (ELEVENPLAY)
Music co-producer: Hopebox
Editing Director: Kenichiro Shimizu (PELE)
CG Director: Kenta Katsuno (+Ring)
Effects Artists: Tetsuro Takeuchi (quino grafix)
Effects Artists: Jun Satake (TMS JINNIS)
Effects Artists: Tai Komatsu (cai) ,Keisuke Toyoura (cai)
Effects Artists: Mikita Arai (Freelance)
Effects Artists: Tsukasa Iwaki (+Ring)
CG Producer: Toshihiko Sakata (+Ring)
Data Processing: 2bit
Motion Capture: Crescent, inc.
3D Scan: K’s DESIGN LAB
Compositor: Naoya Kawata (PELE)
Project Manager: Naoki Ishizuka (Rhizomatiks) + Yurino Nishina (PELE)
Producer: Takao Inoue (Rhizomatiks)
Other Work