Музыка является универсальным средством для выражения и передачи эмоций. Посредством музыки композитор передает свои эмоции слушателям, а слушатели, в процессе прослушивания того или иного музыкального произведения, переживают определенные эмоции, заложенные в произведении его автором, а также выраженные исполнителем. Таким образом, музыку можно отнести к общей категории, называемой "аффективными средствами коммуникации", в которую также входят такие категории, как танец, картина, кинофильм и другие произведения изобразительного искусства [1]. Такие произведения выражают (или вызывают у человека) различные эмоциональные состояния. Аффективные средства коммуникации дополняются и часто пересекаются с "текстовыми средствами коммуникации", которые главным образом основаны на повествовательном отображении некоторых событий. Оба эти средства коммуникации привязывают содержание к определенным элементам и структурам, однако первое из них выражает ощущения и эмоции, а второе в основном связано с описанием событий и определенными утверждениями.

Целью настоящего исследования является построение семиотической метамодели интеллектуальной системы, предназначенной для поиска информативной составляющей музыкальных произведений. Задачами является изучение существующих моделей эмоциональных состояний, которые могут быть заложены композиторами в музыкальные произведения, изучение музыкальных характеристик, отвечающих за содержание той или иной эмоции, а также выбор способа представления музыкальных произведений для анализа их аффективного содержимого. В результате на основе полученных знаний, предполагается построить семиотическую метамодель интеллектуальной системы для анализа, классификации, а возможно, и синтеза музыкальных произведений с заданным аффективным содержанием.

В 1980-х гг. было предложено несколько моделей для описания эмоциональных состояний и настроений. Эти модели в основном были основаны на двухмерной классификации настроений. Среди них можно упомянуть циклическую модель эмоций Расселла [2] и модель настроений Тайера [3]. Последняя основана на активации и удовольствии как на двух измерениях, а затем на энергии и стрессе как на двух различных типах активации.

Рис. 1. Модели эмоциональных состояний Расселла (слева) и Тайера (справа)

Несмотря на довольно объемную базу знаний о музыкальных структурах (особенно для западной музыки), воздействие музыкального объекта на эмоциональное состояние и восприятие слушателя все еще остается широкой областью для исследований. В своих опытах Хевнер [4] объединила в группы эмоциональную реакцию слушателей на музыкальные произведения, предложив им описать музыку с помощью прилагательных, и затем сгруппировала эти прилагательные. Фарнсуорт усовершенствовал и перегруппировал эти прилагательные в 10 групп, которыми в настоящий момент пользуются исследователи для выделения эмоционального содержания музыкальных произведений [5]. Другие исследователи применяют двухмерную модель настроений Тайера для выделения эмоций в музыке. Лиу и др. [6] используют интенсивность музыки в качестве «измерения энергии» в модели Тайера, а тембр и ритм в качестве «измерения стресса», поскольку эта модель удобна для использования в вычислительных системах. В то время как психологи и музыкальные терапевты ассоциировали различные структурные аспекты музыкальных произведений с определенными эмоциями посредством экспериментов, остальные ученые сфокусировали свои исследования на аспектах, зависящих от воспроизведения музыкальных произведений, а именно на экспрессии исполнителя. Джаслин [7] считает, что темп, громкость, тембр и артикуляция являются так называемыми "метками воспроизведения" и соотносит их с преднамеренными и воспринятыми эмоциями. С другой стороны, Клайнс предложил идею "чувственных форм" как динамических форм общих для всех эмоциональных выражений (таких как музыка, танец, представление, и т.д.) и использования их для создания "эмоциональной" музыки с помощью компьютера.

Таким образом, благодаря тому, что разработаны вполне определенные модели эмоций, а также экспериментально получены и описаны музыкальные характеристики, которые определяют эмоциональное содержание музыкальных фраз [8], извлечение аффективной информации из музыкальных произведений является вполне осуществимым.

В качестве материала для исследований используем партитуры музыкальных произведений в формате MusicXML [9]. Данный формат содержит достаточно данных для того, чтобы выделить необходимую информацию, и является менее громоздким, нежели формат MIDI. Этот формат является удобным средством отображения партитуры музыкального произведения, поскольку информация в нем хранится в понятной структурной форме, а также, поскольку он поддерживается в большинстве современных программных продуктов для записи музыки в нотной форме (Finale, Sibelius, и т.д.). Кроме того, MusicXML структура удобна для обработки с помощью компьютерных программных средств.

По Джаслину и Слободе [8], аффективная информация закладывается в музыкальные произведения с помощью различных структурных элементов. Эмоции, которые выражены в произведении, исходят из двух различных источников: композитора и исполнителя. Также восприятие эмоций зависит от культурного и эмоционального контекста слушателя и даже от его физического состояния (не говоря уже о таких факторах, как внешние шумы и качество аудио-записи). В данных исследованиях не затрагиваются данные факторы, поскольку основной задачей является предварительный анализ эмоционального содержимого музыкальных произведений по их партитурам.

Стив Ди Паола [1] предложил использовать следующие основные музыкальные характеристики, которые являются ответственными за выражение эмоций и из которых можно извлечь аффективную информацию: ритм, уровень звука (мощность), тембр, артикуляцию, тональность, мелодику и длительность. Его исследования основаны на работах Лиу и др. [6], которые исследовали музыкальные произведения, представленные в волновом формате. В данной работе вышеприведенные характеристики рассматриваются с точки зрения анализа MusicXML структуры партитуры музыкального произведения. Ниже описаны параметры MusicXML структуры, которые содержат необходимую информацию о музыкальных характеристиках.

В работе С. Ди Паола [1] иерархический метод Лиу и др. [6] используется для того, чтобы определить настроение музыкального произведения согласно модели Тайера [3]. Интенсивность используется сначала для классификации настроения произведения как удовлетворенное/депрессивное или спокойное/беспокойное. Тембр и ритм используются для определения категории настроения в каждой из групп. Метки, предложенные Джаслином и Брезином и Фрайбергом [7], а также двухмерная классификация настроений Расселла [2] используются, чтобы разбить эти четыре категории модели Тайера на более детальные категории эмоциональных состояний, идентичные тем, что используются в циклической модели Расселла, включая:

- удовлетворенность: довольный, удовлетворенный, восторженный, приятный, счастливый;

- депрессия: страдающий, раздраженный, расстроенный, печальный, грустный, подавленный, скучный;

- беспокойство: взволнованный, изумленный, возбужденный, встревоженный, испуганный, злой;

- спокойствие: сонный, усталый, расслабленный, спокойный.

Исследования С. Ди Паола [1] направлены в основном на исследование музыкальных произведений в формате MIDI, мы же, в свою очередь, применяем эти методы к данным в формате MusicXML [9]. При этом теряется информация об экспрессии исполнителя, однако эта информация не является целью данного исследования, так как в первую очередь мы анализируем партитуры (т.е. нотную запись) музыкальных произведений с целью определения эмоционального содержания, заложенного в произведение композитором.

Полученные характеристики можно в дальнейшем использовать для наполнения семиотической метамодели интеллектуальной системы в качестве атрибутов музыкальных актантов и построения дискурсов. С точки зрения семиотики, в любом музыкальном произведении можно выделить определенные актанты и дискурсы так же как и в текстовых произведениях. В наших исследованиях мы определяем в качестве актантов минимальные единицы музыкального произведения, несущие смысловую (аффективную) информацию. Такими актантами могут быть отдельные пассажи, такты, и даже отдельные аккорды или ноты. Атрибутами данных актантов будут являться их эмоциональное содержание. Например, один и тот же музыкальный пассаж (т.е. музыкальная фраза) может быть воспроизведен в различном темпе, ритме, тембре, с помощью различной артикуляции и т.д. Эволюции музыкальных фраз, т.е. изменение характеристик, влияющих на их эмоциональное содержание, мы рассматриваем в качестве дискурсов. Полученные результаты можно применить для содержательной классификации музыкальных партитур, например, в электронных библиотеках музыкальных произведений, а также для содержательного поиска в таких библиотеках. Кроме того, мы можем синтезировать новые музыкальные произведения посредством рекомбинации актантов и дискурсов, либо же изменяя атрибуты существующих актантов для получения новых по эмоциональному содержанию музыкальных произведений.

В заключение, следует отметить, что немаловажным фактом в исследовании аффективной информации, содержащейся в музыкальных произведениях, является то, что эмоции, которые испытывает слушатель во время их прослушивания, зависят от субъективности музыкального восприятия. Субъективными факторами, влияющими на эмоции, являются: принадлежность к определенной культуре, принадлежность к определенной нации, пол, временная индивидуальность (предыдущий опыт слушателя, его знания и переживания), физическая индивидуальность.

Таким образом, при дальнейших исследованиях необходимо учитывать данные субъективные факторы в качестве дополнительных критериев для синтеза и анализа музыкальных произведений. Предлагаемый метод семиотического подхода к анализу и синтезу музыкальных произведений, основанный на исследовании их аффективного содержания, объединяет в себе исследования в области теории музыки, музыкальной перцепции, психоакустики и семиотики. Использование музыкальных партитур в формате MusicXML позволяет нам произвести анализ произведения именно в том виде, каким его задумал композитор, т.е. не учитывая влияние экспрессии исполнителя. Применение комбинации различных моделей описания эмоциональных состояний позволяет наиболее точно определить аффективное содержание музыкального произведения, а применение семиотических понятий, таких как актанты и дискурсы, позволяет использовать полученные при анализе результаты для наполнения содержательной части семиотически ориентированных интеллектуальных систем. Дальнейшие исследования предполагают дополнительное изучение способов синтеза музыкальных произведений с помощью семиотически ориентированных моделей интеллектуальных систем.

1. DiPaola, S., Arya, A. – Affective Communication Remapping in MusicFace System‖ European Conference on Electronic Imaging and the Visual Arts, EVA-2004, London, England, July 26 – 31, 2004.
2. Russell, J. A. A circumplex model of affect // Journal of Personality and Social Psychology, 39, 1161 – 1178, 1980.
3. Thayer, R.E. The Biopsychology of Mood and Arousal. – New York, 1989.
4. Hevner, K. Experimental studies of the elements of expression in music // American Journal of Psychology, 48: 246 – 268, 1936.
5. Li, Tao, Ogihara, M. – Detecting Emotion in Music‖, ISMIR-03.
6. Liu, D., et al. – Automatic Mood Detection from Acoustic Music Data‖, ISMIR-03.
7. Bresin, R., Friberg, A. ‖Synthesis and Decoding of Emotionally Expressive Music Performance‖, IEEE International Conference on Systems, Man, and Cybernetics. – Tokyo, 1999.
8. Juslin, P.N., Sloboda, J.A. Music and Emotion: Theory and Research. – New York, 2001.
9. Good, M. – MusicXML in Practice: Issues in Translation and Analysis‖. Proceedings of the First International Conference MAX 2002: Musical Application Using XML (Milan, September 19 – 20, 2002), pp. 47 – 54.