音を聴くことで変化する視覚野、連合野の脳活動データを用いて画像を再構成する様子を可視化した作品。
本作品は脳活動と音／映像の関係性、クロスモーダル現象に関するアートプロジェクトを通じて制作されたオーディオビジュアルインスタレーションのスタイルで発表している。
【研究について】
脳活動と感性・感覚、そしてインプットされるイメージや音との関係を解明することは興味が尽きない問題であり長い歴史を持つ。脳波(Electroencephalogram, 以下 EEG)の検出と解析はデバイスが安価であることに加えて信号が扱いやすいことから、以前から試みられてきているが、様々な脳活動の総和を取得することしか出来ないため、”被験者が覚醒しているのかどうか”など、大雑把な状態しか把握できず、脳活動の解析とアートの融合はコンセプトのみが先走り実際には大きな成果をあげることはなかった。
身体表現と数学の関連から作品を制作している真鍋は、深層ニューラルネットワーク（Deep neural network model、以下DNN）を技術的に用いた身体表現など、脳を含めた身体研究に関する先端的科学につねにアクセスを試みてきた。
一方、京都大学 / ATRの神谷之康研究室では機能的磁気共鳴画像法（functional magnetic resonance imaging, 以下fMRI）により計測されるヒトの脳活動パターンを機械学習によるパターン認識で解析することで、心の状態を解読する「ブレイン・デコーディング」と呼ばれる技術を世界に先駆けて開発してきた。近年ではブレイン・デコーディングとDNN、大規模画像データベースを組み合わせることで、脳活動パターンから、知覚・想起している任意の物体を解読する方法も開発し世界中から大きな注目を集めている。
真鍋はブレイン・デコーディングにも早くから注目して2014年以来、神谷に取材を行っており、その後2018年に神谷研究室との共同プロジェクトとして、脳活動と音／映像の関係性、クロスモーダル現象に関する作品制作をスタートした。
本作では、聴覚と視覚の相互作用、音と映像の関連性について着目し、音を聴くことで変化する視覚野、連合野の脳活動データを用いて画像を再構成する様子を可視化。
ある映画音楽を耳にした時、また、小さな頃に良く聴いていた音楽を耳にした時、その音楽と関連した映像が感情を伴って鮮明に蘇ってきた様な経験は無いだろうか。
音楽は映像体験にどのような影響を与え、またその逆に映像によって音楽体験はどの様に変化するのであろうか。
映画を観ただけで脳活動から音楽が自動で生成される、または音楽を聴いただけで映像が生成される未来はどの様な形で実現されるのだろうか。
ブレイン・デコーディングを用いた本作品を通じて未来の音楽と映像の相互作用について考える。
制作年 2018年
時間 16分(1分 x 16個)
マテリアル: オーディオビジュアル
[talk]
2018
Nov.17 2018
真鍋大度×神谷之康（京都大学教授）トークイベント
at 鹿児島県霧島アートの森 多目的スペース
https://open-air-museum.org/news/news-36519
2019
Jul.19 2019
Reading thoughts with Yukiyasu Kamitani and Daito Manabe
at Sónar+D in Barcelona SPAIN
Dec.9
MUTEK.JP Presents 「MUTEK.JP2019 × SUPER DOMMUNE」
DJ：Kode 9（Hyperdub｜from UK）、真鍋大度（Rhizomatiks Research）
LIVE：Saskiatokyo
SPECIAL TALK：「dissonant imaginary」Moderator : 塚田有那
真鍋大度 + 神谷之康（神谷之康研究室、京都大学大学院情報学研究科教授）
Moderator : 塚田有那
https://www.dommune.com/streamings/00017/
[performance]
2018
Nov.16 2018-Jan.14 2019
“Daito Manabe Rhizomatiks Research Exhibition”
Kagoshima, Kirishima Open-Air Museum Art Hall (Kagoshima, JAPAN)
https://open-air-museum.org/en/event/event-36404
2019
Jul.18 2019
Daito Manabe + Kamitani Lab: “dissonant imaginary”
at Sónar Barcelona (SPAIN)
Aug.3-Sep.29 2019
Reborn Art Festival2019 (Ajishima, Miyagi, JAPAN)
https://2019.reborn-art-fes.jp/artist/daitomanabe-2
Oct.6 2019
The art lecture “present of artificial intelligence and picture expression”
Aichi University of the Arts University Art Museum practice room (Aichi, JAPAN)
https://www.aichi-fam-u.ac.jp/news/topics_017501.html
MUTEK.MX (Mexico)
Nov.23 2019
MUTEK.JP (Tokyo)
Dec.11 2019
https://tokyo.mutek.org/jp/past-editions/edition-2019
2020
Feb26 – April20 2020
“Neurons: Simulated Intelligence” at Centre Pompidou, (Paris, FANCE)
https://www.centrepompidou.fr/en/program/calendar/event/cbEr6Ko
2021
Mar.20-22.Jun 2021
“rhizomatiks_multiplex” at Museum of Contemporary Art Tokyo (JAPAN)
https://www.mot-art-museum.jp/en/exhibitions/rhizomatiks/
Nov.11 2021
Daito Manabe + Kamitani Lab “dissonant imaginary 2021”
PHASE相 in Shanghai.