Реферат за темою випускної роботи

Музика є універсальним засобом для вираження і передачі емоцій. За допомогою музики композитор передає свої емоції слухачам, а слухачі, в процесі прослуховування того або іншого музичного твору, переживають певні емоції, закладені в творі його автором, а також виражені виконавцем. Таким чином, музику можна віднести до загальної категорії, що називається "афективними засобами комунікації", в яку також входять такі категорії, як танець, картина, кінофільм і інші витвори образотворчого мистецтва [1]. Такі твори виражають(чи викликають у людини) різні емоційні стани. Афективні засоби комунікації доповнюються і часто перетинаються з "текстовими засобами комунікації", які головним чином грунтовані на розповідному відображенні деяких подій. Обидва ці засоби комунікації прив'язують зміст до певних елементів і структур, проте перше з них виражає відчуття і емоції, а друге в основному пов'язане з описом подій і певними твердженнями.

Метою справжнього дослідження є побудова семіотичної метамоделі інтелектуальної системи, призначеної для пошуку інформативної складової музичних творів. Завданнями є вивчення існуючих моделей емоційних станів, які можуть бути закладені композиторами в музичні твори, вивчення музичних характеристик, що відповідають за зміст тієї або іншої емоції, а також вибір способу представлення музичних творів для аналізу їх афективного вмісту. В результаті на основі отриманих знань, передбачається побудувати семіотичну метамодель інтелектуальної системи для аналізу, класифікації, а можливо, і синтезу музичних творів із заданим афективним змістом

У 1980-х рр. було запропоновано декілька моделей для опису емоційних станів і настроїв. Ці моделі в основному були грунтовані на двомірній класифікації настроїв. Серед них можна згадати циклічну модель емоцій Расселла [2] і модель настроїв Тайера [3]. Остання грунтована на активації і задоволенні як на двох вимірах, а потім на енергії і стресі як на двох різних типах активації.

Мал. 1. Моделі емоційних станів Расселла(ліворуч) і Тайера(праворуч)

Незважаючи на досить об'ємну базу знань про музичні структури(особливо для західної музики), дія музичного об'єкту на емоційний стан і сприйняття слухача все ще залишається широкою областю для досліджень. У своїх дослідах Хевнер [4] об'єднала в групи емоційну реакцію слухачів на музичні твори, запропонувавши їм описати музику за допомогою прикметників, і потім згрупувала ці прикметники. Фарнсуорт удосконалив і перегрупував ці прикметники в 10 груп, якими зараз користуються дослідники для виділення емоційного змісту музичних творів [5]. Інші дослідники застосовують двомірну модель настроїв Тайера для виділення емоцій в музиці. Лиу та ін. [6] використовують інтенсивність музики як "вимір енергії" в моделі Тайера, а тембр і ритм в якості "виміру стресу", оскільки ця модель зручна для використання в обчислювальних системах.Тоді як психологи і музичні терапевти асоціювали різні структурні аспекти музичних творів з певними емоціями за допомогою експериментів, інші учені сфокусували свої дослідження на аспектах, залежних від відтворення музичних творів, а саме на експресії виконавця. Джаслин [7] вважає, що темп, гучність, тембр і артикуляція є так званими "мітками відтворення" і співвідносить їх з умисними і сприйнятими емоціями. З іншого боку, Клайнс запропонував ідею "чуттєвих форм" як динамічних форм загальних для усіх емоційних виразів(таких як музика, танець, представлення, і так далі) і використання їх для створення "емоційної" музики з допомогою комп'ютера.

Таким чином, завдяки тому, що розроблені цілком певні моделі емоцій, а також експериментально отримані і описані музичні характеристики, які визначають емоційний зміст музичних фраз [8], витягання афективної інформації з музичних творів є цілком здійсненним.

В якості матеріалу для досліджень використовуємо партитури музичних творів у форматі MusicXML [9]. Цей формат містить досить даних для того, щоб виділити необхідну інформацію, і є менш громіздким, ніж формат MIDI. Цей формат є зручним засобом відображення партитури музичного твору, оскільки інформація в нім зберігається в зрозумілій структурній формі, а також, оскільки він підтримується у більшості сучасних програмних продуктів для запису музики в нотній формі(Finale, Sibelius, і так далі).

По Джаслину і Слободі [8], афективна інформація закладається в музичні твори за допомогою різних структурних елементів. Емоції, які виражені в творі, виходять з двох різних джерел: композитора і виконавця. Також сприйняття емоцій залежить від культурного і емоційного контексту слухача і навіть від його фізичного стану(не кажучи вже про такі чинники, як зовнішні шуми і якість аудіо-запису). У цих дослідженнях не зачіпаються ці чинники, оскільки основним завданням є попередній аналіз емоційного вмісту музичних творів по їх партітурам.

Стив Ди Паола [1] запропонував використати наступні основні музичні характеристики, які є відповідальними за вираження емоцій і з яких можна витягнути афективну інформацію : ритм, рівень звуку(потужність), тембр, артикуляцію, тональність, мелодику і тривалість. Його дослідження грунтовані на роботах Лиу та ін. [6], які досліджували музичні твори, представлені в хвилевому форматі. У цій роботі наведені вище характеристики розглядаються з точки зору аналізу MusicXML структури партитури музичного твору.

У роботі С. Ди Паола [1] ієрархічний метод Лиу та ін. [6] використовується для того, щоб визначити настрій музичного твору згідно моделі Тайера [3]. Інтенсивність використовується спочатку для класифікації настрою твору як задоволене/депресивне або спокійне/неспокійне. Тембр і ритм використовуються для визначення категорії настрою в кожній з груп. Мітки, запропоновані Джаслином і Брезином і Фрайбергом [7], а також двомірна класифікація настроїв Расселла [2] використовуються, щоб розбити ці чотири категорії моделі Тайера на детальніші категорії емоційних станів, ідентичні тим, що використовуються в циклічній моделі Расселла:

- задоволеність: задоволений, задоволений, захоплений, приємний, щасливий;

- депресія: що страждає, роздратований, засмучений, сумний, сумний, пригнічений, нудний;

- занепокоєння: схвильований, здивований, збуджений, стривожений, переляканий, злий;

- спокій: сонний, втомлений, розслаблений, спокійний

Мал. 2 - Ієрархічний процес вилучення ємоцій з музики

Анімація. Розмір - 75 кілобайт, число кадрів - 13, циклі повторення - 5

Отримані характеристики можна надалі використати для наповнення семіотичної метамоделі інтелектуальної системи в якості атрибутів музичних актантов і побудови дискурсов. З точки зору семіотики, у будь-якому музичному творі можна виділити певні актанты і дискурсы так само як і в текстових творах. У наших дослідженнях ми визначаємо в якості актантов мінімальні одиниці музичного твору, що несуть смислову(афективну) інформацію. Такими актантами можуть бути окремі пасажі, такти, і навіть окремі акорди або ноти. Атрибутами цих актантов будуть їх емоційний зміст. Наприклад, один і той же музичний пасаж(тобто музична фраза) може бути відтворений в різному темпі, ритмі, тембрі, за допомогою різної артикуляції і так далі. Еволюції музичних фраз, тобто зміну характеристик, що впливають на їх емоційний зміст, ми розглядаємо в якості дискурсов.

На закінчення, слід зазначити, що важливим фактом в дослідженні афективної інформації, що міститься в музичних творах, являється те, що емоції, які випробовує слухач під час їх прослуховування, залежать від суб'єктивності музичного сприйняття. Суб'єктивними чинниками, що впливають на емоції, є: приналежність до певної культури, приналежність до певної нації, підлога, тимчасова індивідуальність(попередній досвід слухача, його знання і переживання), фізична індивідуальність.

Таким чином, при подальших дослідженнях необхідно враховувати ці суб'єктивні чинники в якості додаткових критеріїв для синтезу і аналізу музичних творів. Пропонований метод семіотичного підходу до аналізу і синтезу музичних творів, грунтований на дослідженні їх афективного змісту, об'єднує в собі дослідження в області теорії музики, музичної перцепції, психоакустики і семіотики. Використання музичних партитур у форматі MusicXML дозволяє нам зробити аналіз твору саме в тому вигляді, яким його задумав композитор, тобто не враховуючи вплив експресії виконавця. Застосування комбінації різних моделей опису емоційних станів дозволяє найточніше визначити афективний зміст музичного твору, а застосування семіотичних понять, таких як актанты і дискурсы, дозволяє використати отримані при аналізі результати для наповнення змістовної частини семиотически орієнтованих інтелектуальних систем.

На момент написання даного реферату магістерська робота ще не скінчена. Передбачувана дата завершення: грудень 2012. Повний текст роботи, а також матеріали за темою можуть бути отримані у автора або його керівника після зазначеної дати.

1. DiPaola, S., Arya, A. - Affective Communication Remapping in MusicFace System - European Conference on Electronic Imaging and the Visual Arts, EVA-2004, London, England, 2004. [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://www.csit.carleton.ca/~arya/pubs/eva.pdf
2. Russell, J. A. A circumplex model of affect - Journal of Personality and Social Psychology, 39, 1161 – 1178, 1980.
3. Russell, J. A. A circumplex model of affect - Journal of Personality and Social Psychology, 39, 1161 – 1178, 1980.
4. Thayer, R.E. The Biopsychology of Mood and Arousal. – New York, 1989.
5. Hevner, K. Experimental studies of the elements of expression in music - American Journal of Psychology, 48: 246 – 268, 1936.
6. The International Society for Music Information Retrieval [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://ismir2003.ismir.net
7. Liu, D., et al. – Automatic Mood Detection from Acoustic Music Data, ISMIR-03. [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://ismir2003.ismir.net/papers/Liu.PDF
8. Bresin, R., Friberg, A. Synthesis and Decoding of Emotionally Expressive Music Performance, IEEE International Conference on Systems, Man, and Cybernetics. – Tokyo, 1999.
9. Juslin, P.N., Sloboda, J.A. Music and Emotion: Theory and Research. – New York, 2001.
10. Good, M. – MusicXML in Practice: Issues in Translation and Analysis. Proceedings of the First International Conference MAX 2002: Musical Application Using XML [Electronic resourse] / Интернет-ресурс. - Режим доступа: http://michaelgood.info/publications/music/musicxml-in-practice-issues-in-translation-and-analysis/