Новости всё Наука - iCity.life Белгород

Глаза человека находятся в постоянном движении, и это напрямую связано с мозговой деятельностью. При помощи технологии айтрекинга (eye tracking), фиксирующей любые колебания глазного яблока и изменения зрачка, российские ученые изучают когнитивные функции. О том, как это происходит и почему в научном проекте участвуют профессиональные пианисты, — в материале РИА Новости.

Студент консерватории Владислав Иванов исполняет на электронном пианино произведение итальянского композитора Алессандро Скарлатти. Произведение ему незнакомо, поэтому он смотрит в ноты. Одновременно следит за пальцами, контролируя их положение на клавиатуре. Правой ногой периодически нажимает на педаль, удлиняя звучание.

На голове у музыканта закреплена гарнитура с видеокамерой, которая очень точно фиксирует движение его глаз и передает данные на компьютер. Программа анализирует положение взора и строит его траекторию на нотном тексте.

"Фортепьянные ноты представляют собой двухстрочный текст для левой и правой рук, который нужно читать одновременно. Взор передвигается по горизонтали и вертикали, забегает вперед. Музыкант вынужден воспринимать много информации сразу, это очень сложная задача", — рассказывает Любовь Бойко, сотрудник кафедры высшей нервной деятельности биологического факультета МГУ им. М. В. Ломоносова.

Она с коллегами изучает когнитивные функции человека и использует чтение с листа фортепьянной музыки как модель, где эти функции проявляются наиболее ярко. Ученые хотят понять, почему одни музыканты читают с листа легко, а другие справляются с этим хуже.

 

© Фото : Любовь Бойко

Пианист с окулографом во время эксперимента

Как мы смотрим и что видим

Многие животные познают мир в основном с помощью обоняния. Человек и другие приматы полагаются прежде всего на зрение. В каждый момент времени мы видим максимально четко лишь небольшую часть пространства, которая передается на центр сетчатки, называемый фовеа. В этой ямке с высокой плотностью расположены особые фоторецепторы-колбочки, которые и обеспечивают различение нот, букв, других тонких деталей и цвета. Объекты на периферии зрения предстают в виде бесцветных пятен, размытых очертаний. Чтобы увидеть в деталях все зрительное поле, нужно "просканировать" его взором. Поэтому наши глаза постоянно совершают быстрые согласованные перемещения — саккады. Пока мы фиксируем взор на одном месте, мозг вычленяет что-то "интересное" в области периферического зрения и дает команду совершить саккаду в этом направлении.

"Движения глаз происходят постоянно и часто непроизвольно. Если глаза перестанут двигаться, мы не увидим зрительную сцену полностью", — поясняет Бойко.

Фоторецепторы сетчатки преобразуют отраженное от объектов видимое излучение в электрические потенциалы, которые возбуждают нервные сети. Например, в среднем мозге есть бугры четверохолмия, где формируется карта пространства. Если что-то вдруг промелькнет рядом, мозг даст команду посмотреть туда, а потом решит, что делать: увернуться или просто моргнуть, чтобы защитить глаз. Окончательная же, детальная картина пространства складывается в коре больших полушарий мозга из множества изображений, полученных при сканировании.

Айтрекинг позволяет разделить произвольные и непроизвольные движения глаз, рефлекторные действия, уловить момент, когда человек во время беседы уходит в себя. По тому, куда направлен взгляд, можно предположить, о чем человек думает в этот момент, говорит ли он правду. На этом основаны психологические методики для ведения переговоров.

Почему взор забегает вперед

Анализируя траекторию глаз музыканта, ученые выделяют паттерны, то есть типичные, повторяющиеся действия. В частности, их интересует, что влияет на время, которое проходит между восприятием знаков нотации и их воспроизведением на клавиатуре. Это называется зрительно-моторной задержкой.

 

© Фото : Любовь Бойко

Программа анализирует изображение видеокамеры, направленной на глаз музыканта

"Когда мы читаем обычный текст, глаза все время забегают вперед. Также и музыкант сначала воспринимает зрительную информацию, потом мозг ее преобразует, соотносит с навыком, опытом, который хранится в его памяти, и извлекает моторные паттерны: какие клавиши ему нажать, исполнить фрагмент музыкального перехода, взять педаль", — говорит Леонид Терещенко, кандидат биологических наук, старший научный сотрудник кафедры.

"Восприятие зрительной информации и движение в ответ происходят параллельно, а это требует повышенного внимания. Чем сложнее музыкальное произведение, тем больше ментальных ресурсов занимает внимание, тем медленнее формируется моторный ответ. В результате музыкант замедляет темп, совершает разные ошибки", — добавляет Люба Бойко.

Опытным путем ученые выяснили, что при чтении с листа зрительно-моторная задержка составляет три-пять символов. Решили, что это примерно соответствует объему оперативной памяти. Но все оказалось не так просто. В зависимости от фактуры и сложности нотного текста пианисты во время одной фиксации могут воспринять больше четырех символов, поскольку задействуют область вокруг фовеа, где колбочки чуть менее плотные. Это позволяет им извлекать из памяти "гештальты" музыкальных структур — аккорды, арпеджио. Процесс аналогичен чтению книг. Мы тоже не фиксируем взор на каждой букве, а воспринимаем целиком слово.

"Мы это поняли по траекториям движения глаз. Иногда музыканту достаточно было одной фиксации взгляда на такт", — заключают исследователи.

Получается, что успех чтения с листа зависит от того, насколько хорошо музыкант воспринимает нотные символы группами, преодолевая таким образом ограничения объема оперативной памяти.

Практика не заставит себя ждать

Айтрекинг за два десятка лет своего существования неплохо себя зарекомендовал на практике. Его применяют для диагностики у больных с травмами мозга и после операций, в маркетинге — для разработки более эффективной рекламы, в кинопроизводстве.

Этот метод важен для интерфейсов общения с парализованными, не способными говорить. Движение глаз — часто единственная двигательная функция, сохраняющаяся после инсульта или тяжелых травм мозга. Если настроить программу распознавания движения глаз для конкретного больного, то можно научить его печатать текст на компьютере с помощью взора.

Благодаря этому методу ученые кафедры научились распознавать у макак-резусов ранние стадии синдрома, аналогичного человеческой болезни Паркинсона, когда внешние симптомы еще не проявились. Теперь их разработку применяют в клинике для контроля лечения паркинсонизма.

Ученые надеются, что совместные эксперименты с музыкантами приведут к результатам, которые будут востребованы педагогами в музыкальных школах при обучении детей, училищах — при развитии навыка чтения с листа, а также для тренингов под руководством опытных музыкантов.