Нейроэстетика и мультисенсорный поворот: искусство, дизайн, повседневность
4 февраля 2025 в пространстве HSE CREATIVE HUB мы узнали, чем занимается нейроэстетика, сформировавшаяся как наука недавно, но имеющая уже внушительную базу исследований и большой потенциал для развития.
Что такое мультисенсорность? И как она проявляется, исследуется и анализируется в контексте искусства, культурологии и новых технологий? К каким открытиям приходят ученые, изучая наши органы чувств и их взаимосвязь?
Модерировала дискуссию Анастасия Тимофеенко — исследователь визуальной культуры, сотрудник Музея современного искусства «Гараж». Учится в Аспирантской школе по искусству и дизайну.
Передаем основные мысли дискуссии. Посмотреть полную версию встречи можно в видеозаписях в HSE DESIGN LAB.
«CREATIVE HUB» — промокод на скидку 5% на все курсы ДПО
Дискуссия
Что такое мультисенсорность? Как ее можно исследовать? И как это понятие воспринимает современная наука?
Аспирант Института когнитивных нейронаук НИУ ВШЭ, младший научный сотрудник Центра исследований интеллекта и когнитивного благополучия Татьяна Леднева в своем выступлении ответила на эти вопросы.
В современном мире мы сталкиваемся с огромным потоком информации, который воспринимаем с помощью разных сенсорных систем: зрения, слуха, осязания, обоняния и вкуса. Однако наш мозг не просто обрабатывает сигналы от органов чувств по отдельности — он объединяет их, создавая целостное восприятие реальности. Этот процесс называется мультисенсорной интеграцией. Она происходит, когда сигналы из разных сенсорных модальностей совпадают во времени и пространстве, что позволяет нам воспринимать окружающий мир более точно и согласованно.
Сегодня накоплено большое количество эмпирических данных подтверждающих, что мультисенсорная интеграция играет ключевую роль в ряде когнитивных процессов. Например, при восприятии речи зрительные сигналы, такие как движение губ, помогают точнее разбирать слова, что иллюстрирует известный эффект Мак-Гурка.
Информация, подкрепленная несколькими сенсорными каналами, запоминается лучше, поскольку активирует больше ассоциативных связей в мозге. К тому же мультисенсорная интеграция способствует повышению концентрации внимания: совмещение различных сенсорных сигналов помогает быстрее фокусироваться на значимой информации и эффективнее игнорировать отвлекающие факторы.
Ранее считалось, что сенсорные системы мозга работают раздельно на ранних этапах восприятия, а их интеграция сигналов происходит только на более высоких уровнях обработки. Однако современные исследования показывают, что мультисенсорная интеграция начинается сразу, уже в таламусе, верхних холмиках четверохолмия и даже в первичных сенсорных корковых областях.
Татьяна Леднева: «Мультисенсорная интеграция — процесс объединения информации от разных органов чувств в единое целостное восприятие».
Татьяна рассказала, что в арсенале современного исследователя есть широкий набор методов для изучения мультисенсорной интеграции:
- Субъективные методы: опросы, интервью.
- Нейрофизиологические методы: отслеживание активности мозга (fMRI, EEG, MEG) при обработке мультисенсорных стимулов.
— Анализ поведенческих данных: изучение таких параметров, как постуральные реакции и движения глаз в ответ на мультисенсорные стимулы.
Были упомянуты несколько ключевых концепций мультисенсорности: сенсорный перевод, синестезия, кросс-модальные соответсвия и синестетические метафоры.
В завершение выступления Татьяна отметила, что мультисенсорность активно используется в искусстве для усиления воздействия на зрителя. Примером послужило международное исследование мультисенсорных эффектов в симфонической сказке Сергея Прокофьева «Петя и Волк» (2024).
Продолжил разговор Даниил Небольсин — кандидат философских наук, исследователь культуры, старший преподаватель Школы философии и культурологии НИУ ВШЭ, редактор издательства SOYAPRESS.
Анастасия Тимофеенко попросила Даниила рассказать, как понятие мультисенсорности раскрывается в культурологии и визуальных исследованиях.
Спикер отметил, что визуальные исследования ранее критиковались из-за оккуляцентризма и репрезентационной модели видения, доминирующей среди способов описания мира. Однако в последние десятилетия в рамках исследований визуальности появляется все больше акцента на интерактивных способах общения со средой и интерес к другим чувственным модальностям. Постепенно оформилось новое междисциплинарное направление — Sensory Studies.
Для исследований культуры мультисенсорный поворот особенно важен в связи с переосмыслением самого понятия культуры. Ранее культура описывалась как архив, свод правил или совокупность институций. Сейчас появляется все больше исследований, описывающих, как мы переживаем культуру.
Иллюстрацией такого подхода может послужить предложенная в 1980-х годах британским исследователем Раймондом Уильямсом метафора: культура как осадок и культура как раствор. Если осадок предполагает готовую и завершенную форму (музеи, книги, другие институции и продукты), то раствор есть ежедневное переживание культуры до момента ее архивации и институционализации.
Sensory Studies дают культурологам средства для работы с культурой именно как с раствором, как с переживаемым процессом, невозможным для схватывания в готовые формы.
Даниил Небольсин: «В основном мы изучаем культуру как архив, а мультисенсорный поворот рассматривает то, как мы культуру проживаем до момента ее архивации».
Мультисенсорный подход также помогает переосмыслить культуру через наши отношения с переживаемой средой. В рамках этой стратегии исследования культуры важным, например, становится понятие атмосферы. Философы, антропологи и культурные географы активно изучают атмосферу, находящуюся между нами и внешней средой: культура производит не только арт-объекты, но и атмосферу. Такой подход проявляется даже в повседневном мышлении. Например, все чаще взаимодействие с артефактами культуры описывается через впечатление, настроение или вайб.
Даниил порекомендовал литературу по сенсорным исследованиям. Важными ресурсами являются сайт sensorystudies.org, книги Констанс Классен и Дэвида Хоувза (например, «The Sensory Studies Manifesto»). Также Даниил со своими студентами запустил проект Sensory Archive, где собраны рецензии на книги по сенсорным исследования.
Про мультисенсорность в искусстве рассказала Ирина Сахно — академический руководитель магистерской программы «Практики современного искусства» в Школе дизайна НИУ ВШЭ, искусствовед, доктор филологических наук.
Ирина отметила, что уже в конце XIX века поэты, художники и театральные деятели были одержимы таким понятием как синестезия. Активно разрабатывался такой аспект как хромостезия, т. е. соответствие звука, буквы и цвета. Этот интерес зарождался, например, в руслах символистской поэтики. Можно вспомнить Артюра Рембо, который мечтал о создании сверхчувственного синтетического слова: в сонете «Гласные» он обозначил цвета гласных (а — черный, у — зеленый и так далее).
Интересным примером также был парижский театр художника Поль Фора, где в постановке «Песни песней» каждая сцена была соотнесена со своим звуком и запахом. Подхватывали такие эксперименты и художники, например, Кандинский, который разрабатывал свой визуальный словарь, выстраивая ассоциации между цветами и музыкальными инструментами.
Ирина Сахно: «Современному зрителю, приходящему в музей уже недостаточно созерцать арт-объекты. Он хочет стать участником. К тому же сегодня у художника есть цифровые инструменты, чтобы создавать мультисенсорные инсталляции».
Современные художники активно работают в пространстве мультисенсорных практик, а мультисенсорные инсталляции задают тон всему. Почему сегодня это оказывается востребованным? Во-первых, это связано с нашими нейробиологическими процессами: мультисенсорные эксперименты создают новую сенсорную чувствительность и особую эмоциональность. Во-вторых, современному зрителю недостаточно только визуального созерцания, он хочет иммерсивности и участия. Еще один важный фактор это новые технологии: сегодня художнику доступны дополненная реальность, интерактивные экраны и многое другое.
Можно отметить смену функции современного музея с образовательной на развлекательную. Мультисенсорные проекты могут как поддерживать эту развлекательную функцию, так и активировать наши стимулы, расширяя нашу чувствительность. Примером может послужить недавняя выставка про конструктивизм в Центре «Зотов». На ней рядом с макетом завода стояла стеклянная баночка, в которой был сохранен запах мазута, что усиливало сенсорную чувствительность зрителей и способствовало созданию иммерсивной среды экспозиции.
Продолжила тему ароматов Ольга Вайнштейн — историк моды, филолог, культуролог, доктор филологических наук, ведущий научный сотрудник Института Высших Гуманитарных Исследований им. Е. М. Мелетинского РГГУ.
Интерес к сенсорным исследованиям появился достаточно давно. Ольга Вайнштейн была составителем сборника «Ароматы и запахи в культуре», который вышел в начале 2000-х. В книге рассматривались теория обоняния, запахи в истории европейской и российской культуры, темы гигиены и истории телесности.
Ольга рассказала об изменениях в изучение ароматов и телесных практиках в 1830-х годах в Европе. В это время происходило оформление городской культуры, возникновение общества модерна и, что важно, появление среднего класса или буржуазии как активной социальной силы. Эта сумма исторических обстоятельств привела к комплексному повороту сразу в нескольких сферах.
Произошла санитарная реформа: появился идеал стерильности, который средний класс использовал как свой символический маркер. Недостаточно гигиеничными описывались как бедный класс, так и аристократия. Если последняя использовала тяжелые природные ароматы, то буржуазия создала моду, например, на легкие ароматы цветов для женщин.
Аналогичные изменения в сторону минимализма произошли в сфере моды и еды. В мужской моде из костюма ушел цвет, а на фоне имперского отношения к восточным культурам специи стали признаком «дикарской» цивилизации. В телесных практиках главенствовал императив скромности и сдержанности. Мода изменила очертания женской фигуры, появились кринолины и корсеты. Изменился парфюмерный этикет: стало неприличным брызгать духи прямо на тело, произошла сильная дифференциация ольфакторных (парфюмерных) установок в зависимости от гендера.
Сейчас общество потребления побуждает нас быть компетентными и хорошо ориентироваться, разбираться в своих покупках. Появляется фигура «профессионального покупателя». В парфюмерных практиках со стороны потребителя тоже важны экспертность, желание разбираться и развивать рецепторы.
Про синестезию и нейроэстетику через призму абсолютного слуха рассказала Евгения Евпак — преподаватель на программе ДПО «Саунд-продакшн» в Школе дизайна НИУ ВШЭ, композитор и основатель Media Sharks HSE, выпускница Аспирантской школы по искусству и дизайну.
Евгения объяснила, что сейчас ведутся исследования не только музыки, но и саундскейпов (звучания пространств). Звук рассматривают также с точки зрения экологии. В мегаполисах особенно важно соблюдать уровень допустимого для человеческой психики шума. Можно рассчитывать архитектуру целых кварталов так, чтобы звуки поглощались или наоборот усиливались.
Евгения Евпак: «Сейчас много исследований ведется на стыке аудиального и визуального. Абсолютный слух в рамках нейроэстетики еще почти не исследован, хоть тема сверхактуальная, но выборка респондентов довольно узкая»».
Возвращаясь к музыке Евгения добавила, что есть два главных слоя музыкального языка, которые определяются мозгом: ритмический и мелодический. Восприятие того и другого вида паттернов зависит от разного типа слуха и эмоционального фона человека. Люди с абсолютным слухом способны угадывать ноты, а люди с относительным — проще выстраивать мелодии вне зависимости от настройки инструментов.
Известный философ А. Ф. Лосев исследовал в начале прошлого века музыкальную психологию и пришел к выводу, что механизм абсолютного слуха очень схож с понятием синестезии. Если есть желание познакомиться с современными исследованиями в этой сфере, Евгения рекомендует книгу Мишеля Шиона «Звук. Слушать, слышать, наблюдать».
Подробнее познакомиться с докладом Евгении можно, прочитав лонгрид.
Как цифровые технологии используют мультисенсорность рассказал Вадим Булгаков — руководитель направления «Цифровой продукт и искусственный интеллект» и Лаборатории искусственного интеллекта в Школе дизайна НИУ ВШЭ, дизайнер, арт-директор, диджитал-продюсер.
В цифровых пространствах было несколько этапов работы с сенсорностью. Сначала была возможность создавать только визуальные стимуляции в пространстве экрана. Постепенно начали использовать звук: различные действия в операционной системе можно было сопровождать характерным звуком, расширяя пользовательский опыт. Однако в отношении интернет-браузеров возникло сопротивление звуку: в веб-пространстве звуковые эффекты оказались некомфортными для пользователя.
Следующим важным шагом было появление моторчиков со смещенным центром тяжести (вибромоторы). Активно с ними работала компания Apple, внедрив в свои устройства технологию Taptic Engine. Благодаря ей пользователь может чувствовать вибрацию при тактильном взаимодействии с цифровой поверхностью.
Вадим Булгаков: «Физическая отдача от того, что ты воспринимаешь визуально, улучшает пользовательский опыт. Например, игровые приставки Sony взяли это на вооружение».
Компания Sony разработала контролеры для игровых приставок с подобной технологией: игрок ощущает физическую отдачу от действий, совершаемых на экране. Такие практики значительно улучшили пользовательский опыт и усилили сенсорное взаимодействие с девайсами. Однако маловероятным видится внедрение запахов. В этом направлении мы наблюдаем только эксперименты для узких прикладных решений.
Важно отметить, что в цифровых продуктах мы достигли гиперэффективности. Сейчас уже понятно, как эффективно сделать интернет-магазин или социальную сеть. Поэтому у пользователей возникает спрос на какое-то разнообразие, необычные мелочи. Маловероятно, что будут какие-то существенные изменения в дизайне смартфонов и других носителей. Но мы уже готовы к новому витку девайсов. Например, сегодня Open AI создает гаджеты с искусственным интеллектом, где возможно только голосовое взаимодействие.
В финале экспертам задали вопросы из зала:
— Почему именно в середине XIX века пересмотрели вопрос гигиены и стали придавать значение ароматам?
- Если у человека сильно развито обоняние, какие есть способы адаптации в современном мир?
- Где границы мультисенсорного искусства?
Что ответили участники дискуссии, вы можете узнать, посмотрев запись нашей трансляции.
Мероприятие прошло 4 февраля с 18:30 до 21:00 в пространстве HSE CREATIVE HUB.
Подробнее об этом и других событиях, проходящих на площадке HSE CREATIVE HUB, можно узнать на сайте https://creative.hse.ru/hub.
