Реферат по теме выпускной работы
Содержание.
1. Модели эмоциональных состояний
2. Представление музыкальных произведений
3. Извлечение аффективной информации из музыкальных произведений
4. Использование аффективной информации для построения семиотических структур
Введение
Музыка является универсальным средством для выражения и передачи эмоций. Посредством музыки композитор передает свои эмоции слушателям, а слушатели, в процессе прослушивания того или иного музыкального произведения, переживают определенные эмоции, заложенные в произведении его автором, а также выраженные исполнителем. Таким образом, музыку можно отнести к общей категории, называемой "аффективными средствами коммуникации", в которую также входят такие категории, как танец, картина, кинофильм и другие произведения изобразительного искусства [1]. Такие произведения выражают (или вызывают у человека) различные эмоциональные состояния. Аффективные средства коммуникации дополняются и часто пересекаются с "текстовыми средствами коммуникации", которые главным образом основаны на повествовательном отображении некоторых событий. Оба эти средства коммуникации привязывают содержание к определенным элементам и структурам, однако первое из них выражает ощущения и эмоции, а второе в основном связано с описанием событий и определенными утверждениями.
Целью настоящего исследования является построение семиотической метамодели интеллектуальной системы, предназначенной для поиска информативной составляющей музыкальных произведений. Задачами является изучение существующих моделей эмоциональных состояний, которые могут быть заложены композиторами в музыкальные произведения, изучение музыкальных характеристик, отвечающих за содержание той или иной эмоции, а также выбор способа представления музыкальных произведений для анализа их аффективного содержимого. В результате на основе полученных знаний, предполагается построить семиотическую метамодель интеллектуальной системы для анализа, классификации, а возможно, и синтеза музыкальных произведений с заданным аффективным содержанием.
Модели эмоциональных состояний
В 1980-х гг. было предложено несколько моделей для описания эмоциональных состояний и настроений. Эти модели в основном были основаны на двухмерной классификации настроений. Среди них можно упомянуть циклическую модель эмоций Расселла [2] и модель настроений Тайера [3]. Последняя основана на активации и удовольствии как на двух измерениях, а затем на энергии и стрессе как на двух различных типах активации.
Рис. 1 - Модели эмоциональных состояний Расселла (слева) и Тайера (справа)
Несмотря на довольно объемную базу знаний о музыкальных структурах (особенно для западной музыки), воздействие музыкального объекта на эмоциональное состояние и восприятие слушателя все еще остается широкой областью для исследований. В своих опытах Хевнер [4] объединила в группы эмоциональную реакцию слушателей на музыкальные произведения, предложив им описать музыку с помощью прилагательных, и затем сгруппировала эти прилагательные. Фарнсуорт усовершенствовал и перегруппировал эти прилагательные в 10 групп, которыми в настоящий момент пользуются исследователи для выделения эмоционального содержания музыкальных произведений [5]. Другие исследователи применяют двухмерную модель настроений Тайера для выделения эмоций в музыке. Лиу и др. [6] используют интенсивность музыки в качестве «измерения энергии» в модели Тайера, а тембр и ритм в качестве «измерения стресса», поскольку эта модель удобна для использования в вычислительных системах. В то время как психологи и музыкальные терапевты ассоциировали различные структурные аспекты музыкальных произведений с определенными эмоциями посредством экспериментов, остальные ученые сфокусировали свои исследования на аспектах, зависящих от воспроизведения музыкальных произведений, а именно на экспрессии исполнителя. Джаслин [7] считает, что темп, громкость, тембр и артикуляция являются так называемыми "метками воспроизведения" и соотносит их с преднамеренными и воспринятыми эмоциями. С другой стороны, Клайнс предложил идею "чувственных форм" как динамических форм общих для всех эмоциональных выражений (таких как музыка, танец, представление, и т.д.) и использования их для создания "эмоциональной" музыки с помощью компьютера.
Таким образом, благодаря тому, что разработаны вполне определенные модели эмоций, а также экспериментально получены и описаны музыкальные характеристики, которые определяют эмоциональное содержание музыкальных фраз [8], извлечение аффективной информации из музыкальных произведений является вполне осуществимым.
Представление музыкальных произведений
В качестве материала для исследований используем партитуры музыкальных произведений в формате MusicXML [9]. Данный формат содержит достаточно данных для того, чтобы выделить необходимую информацию, и является менее громоздким, нежели формат MIDI. Этот формат является удобным средством отображения партитуры музыкального произведения, поскольку информация в нем хранится в понятной структурной форме, а также, поскольку он поддерживается в большинстве современных программных продуктов для записи музыки в нотной форме (Finale, Sibelius, и т.д.). Кроме того, MusicXML структура удобна для обработки с помощью компьютерных программных средств.
Извлечение аффективной информации из музыкальных произведений
По Джаслину и Слободе [8], аффективная информация закладывается в музыкальные произведения с помощью различных структурных элементов. Эмоции, которые выражены в произведении, исходят из двух различных источников: композитора и исполнителя. Также восприятие эмоций зависит от культурного и эмоционального контекста слушателя и даже от его физического состояния (не говоря уже о таких факторах, как внешние шумы и качество аудио-записи). В данных исследованиях не затрагиваются данные факторы, поскольку основной задачей является предварительный анализ эмоционального содержимого музыкальных произведений по их партитурам.
Стив Ди Паола [1] предложил использовать следующие основные музыкальные характеристики, которые являются ответственными за выражение эмоций и из которых можно извлечь аффективную информацию: ритм, уровень звука (мощность), тембр, артикуляцию, тональность, мелодику и длительность. Его исследования основаны на работах Лиу и др. [6], которые исследовали музыкальные произведения, представленные в волновом формате. В данной работе вышеприведенные характеристики рассматриваются с точки зрения анализа MusicXML структуры партитуры музыкального произведения. Ниже описаны параметры MusicXML структуры, которые содержат необходимую информацию о музыкальных характеристиках.
В работе С. Ди Паола [1] иерархический метод Лиу и др. [6] используется для того, чтобы определить настроение музыкального произведения согласно модели Тайера [3]. Интенсивность используется сначала для классификации настроения произведения как удовлетворенное/депрессивное или спокойное/беспокойное. Тембр и ритм используются для определения категории настроения в каждой из групп. Метки, предложенные Джаслином и Брезином и Фрайбергом [7], а также двухмерная классификация настроений Расселла [2] используются, чтобы разбить эти четыре категории модели Тайера на более детальные категории эмоциональных состояний, идентичные тем, что используются в циклической модели Расселла, включая:
- удовлетворенность: довольный, удовлетворенный, восторженный, приятный, счастливый;
- депрессия: страдающий, раздраженный, расстроенный, печальный, грустный, подавленный, скучный;
- беспокойство: взволнованный, изумленный, возбужденный, встревоженный, испуганный, злой;
- спокойствие: сонный, усталый, расслабленный, спокойный.
Исследования С. Ди Паола [1] направлены в основном на исследование музыкальных произведений в формате MIDI, мы же, в свою очередь, применяем эти методы к данным в формате MusicXML [9]. При этом теряется информация об экспрессии исполнителя, однако эта информация не является целью данного исследования, так как в первую очередь мы анализируем партитуры (т.е. нотную запись) музыкальных произведений с целью определения эмоционального содержания, заложенного в произведение композитором.
Рис. 2 - Иерархический процесс опознавания эмоций в музыке
Анимация. Размер - 75 килобайт, число кадров - 13, циклов повторения - 5
Использование аффективной информации для построения семиотических структур
Полученные характеристики можно в дальнейшем использовать для наполнения семиотической метамодели интеллектуальной системы в качестве атрибутов музыкальных актантов и построения дискурсов. С точки зрения семиотики, в любом музыкальном произведении можно выделить определенные актанты и дискурсы так же как и в текстовых произведениях. В наших исследованиях мы определяем в качестве актантов минимальные единицы музыкального произведения, несущие смысловую (аффективную) информацию. Такими актантами могут быть отдельные пассажи, такты, и даже отдельные аккорды или ноты. Атрибутами данных актантов будут являться их эмоциональное содержание. Например, один и тот же музыкальный пассаж (т.е. музыкальная фраза) может быть воспроизведен в различном темпе, ритме, тембре, с помощью различной артикуляции и т.д. Эволюции музыкальных фраз, т.е. изменение характеристик, влияющих на их эмоциональное содержание, мы рассматриваем в качестве дискурсов. Полученные результаты можно применить для содержательной классификации музыкальных партитур, например, в электронных библиотеках музыкальных произведений, а также для содержательного поиска в таких библиотеках. Кроме того, мы можем синтезировать новые музыкальные произведения посредством рекомбинации актантов и дискурсов, либо же изменяя атрибуты существующих актантов для получения новых по эмоциональному содержанию музыкальных произведений.
Выводы
В заключение, следует отметить, что немаловажным фактом в исследовании аффективной информации, содержащейся в музыкальных произведениях, является то, что эмоции, которые испытывает слушатель во время их прослушивания, зависят от субъективности музыкального восприятия. Субъективными факторами, влияющими на эмоции, являются: принадлежность к определенной культуре, принадлежность к определенной нации, пол, временная индивидуальность (предыдущий опыт слушателя, его знания и переживания), физическая индивидуальность.
Таким образом, при дальнейших исследованиях необходимо учитывать данные субъективные факторы в качестве дополнительных критериев для синтеза и анализа музыкальных произведений. Предлагаемый метод семиотического подхода к анализу и синтезу музыкальных произведений, основанный на исследовании их аффективного содержания, объединяет в себе исследования в области теории музыки, музыкальной перцепции, психоакустики и семиотики. Использование музыкальных партитур в формате MusicXML позволяет нам произвести анализ произведения именно в том виде, каким его задумал композитор, т.е. не учитывая влияние экспрессии исполнителя. Применение комбинации различных моделей описания эмоциональных состояний позволяет наиболее точно определить аффективное содержание музыкального произведения, а применение семиотических понятий, таких как актанты и дискурсы, позволяет использовать полученные при анализе результаты для наполнения содержательной части семиотически ориентированных интеллектуальных систем. Дальнейшие исследования предполагают дополнительное изучение способов синтеза музыкальных произведений с помощью семиотически ориентированных моделей интеллектуальных систем.
Важное замечание
На момент написания данного реферата магистерская работа еще не завершена. Предполагаемая дата завершения: декабрь 2012 г. Полный текст работы, а также материалы по теме могут быть получены у автора или его руководителя после указанной даты.
Литература
- DiPaola, S., Arya, A. - Affective Communication Remapping in MusicFace System - European Conference on Electronic Imaging and the Visual Arts, EVA-2004, London, England, 2004. [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://www.csit.carleton.ca/~arya/pubs/eva.pdf
- Russell, J. A. A circumplex model of affect - Journal of Personality and Social Psychology, 39, 1161 – 1178, 1980.
- Russell, J. A. A circumplex model of affect - Journal of Personality and Social Psychology, 39, 1161 – 1178, 1980.
- Thayer, R.E. The Biopsychology of Mood and Arousal. – New York, 1989.
- Hevner, K. Experimental studies of the elements of expression in music - American Journal of Psychology, 48: 246 – 268, 1936.
- The International Society for Music Information Retrieval [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://ismir2003.ismir.net
- Liu, D., et al. – Automatic Mood Detection from Acoustic Music Data, ISMIR-03. [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://ismir2003.ismir.net/papers/Liu.PDF
- Bresin, R., Friberg, A. Synthesis and Decoding of Emotionally Expressive Music Performance, IEEE International Conference on Systems, Man, and Cybernetics. – Tokyo, 1999.
- Juslin, P.N., Sloboda, J.A. Music and Emotion: Theory and Research. – New York, 2001.
- Good, M. – MusicXML in Practice: Issues in Translation and Analysis. Proceedings of the First International Conference MAX 2002: Musical Application Using XML [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://michaelgood.info/publications/music/musicxml-in-practice-issues-in-translation-and-analysis/