ДонНТУ   Портал магістрів

Прокапович Олександр Олександрович

Факультет комп'ютерних наук та технологій

Кафедра систем штучного інтелекту

Спеціальність Системи штучного інтелекту

Розробка алгоритмічного забезпечення інтелектуального модулю аналізу емоційного змісту природно мовних повідомлень блогів і форумів

Науковий керівник: к.т.н., доц. Єгошина Ганна Анатольевна

Резюме Біографія Реферат

Реферат за темою випускної роботи

• Вступ
• 1. Актуальність теми
• 2. Мета і завдання дослідження
• 3. Передбачувана наукова новизна
• 4. Огляд досліджень і розробок з тематики
• 4.1 Глобальний рівень
• 4.2 Національний рівень
• 4.3 Локальний рівень
• 5. Методи автоматичного вилучення відносин.
• 6. Огляд систем аналізу тональності текстових документів.
• 7. Напрямки наступних досліджень.
• Висновки
• Перелік посилань

Вступ

У мережі Інтернет міститься величезна кількість різноманітних текстів, авторами яких є звичайні користувачі. Це може бути статті у блогах, відгуки на продукти, повідомлення в соціальних мережах і т.п. У цьому контенті міститься велика кількість цінної інформації.

З одного боку, глобальна мережа разом з набором пошукових систем (таких як Google) сильно спрощує завдання пошуку інформації, що цікавить про продукт або послугу. З іншого боку, Horrigan повідомляє [19], що 58% інтернет–користувачів вважають онлайн–пошук складним і виснажливим заняттям. Справа в тому, що обсяги інформації в інтернеті на сьогоднішній день такі великі, що релевантні дані попросту губляться в морі інформаційного шуму.

Таким чином, виникає необхідність у створенні інструменту, який допоможе споживачам у прийнятті правильних рішень щодо придбання тих чи інших товарів чи послуг. Простіше кажучи, потрібна система, яка буде аналізувати думки членів інтернет–співтовариства стосовно різноманітних предметів обговорення.

Дослідження в цій області проводяться у теперішний час, і на даний момент не існує оптимального вирішення проблеми автоматичного аналізу думок.

1. Актуальність теми

В останні роки відбувається бурхливе зростання розмірів Інтернету, в тому числі російськомовного сегменту. Разом із збільшенням числа користувачів мережі Інтернет, зростає і кількість генерованого ними контенту. Люди залишають повідомлення на форумах, пишуть пости в блогах, коментують товари на сторінках інтернет-магазинів і пишуть в соціальних мережах. Згідно з дослідженнями Всеросійського центру вивчення громадської думки, кількість рускоязиного населення, регулярно (не рідше разу на місяць) користуються інтернетом зросла з 38% у 2010 р. до 55% у 2012 р. Кількість зареєстрованих в соціальних мережах за ці 2 роки (з 2010 по 2012 рр.) також значно зросла — з 53% до 82% [1].

Весь цей контент несе у собі величезну кількість інформації, яку можна і навіть потрібно використовувати. Існує окремий напрям штучного інтелекту і математичної лінгвістики — обробка природної мови, або комп'ютерна лінгвістика. Воно дозволяє витягувати різноманітну інформацію, що знаходиться у формі тексту на природній мові. Один із перспективних напрямків комп'ютерної лінгвістики — аналіз тональності тексту.

Аналіз тональності тексту дозволяє витягувати з тексту емоційно забарвлену лексику і емоційне ставлення авторів по відношенню до об'єктів, про які йде мова в тексті. Більшість сучасних систем використовують бінарну оцінку — позитивний сентимент або негативний сентимент, проте деякі системи дозволяють виділяти силу тональності.

2. Мета і завдання дослідження

Мета роботи полягає у розробці та дослідженні алгоритму аналізу емоційного змісту природно мовних повідомлень блогів і форумів.

Для досягнення поставленої мети необхідно вирішити наступні завдання:

• розглянути існуючі методи аналізу тональності тексту;
• проаналізувати існуючі алгоритми аналізу тональності тексту;
• визначити вимоги до розробки алгоритмічного забезпечення інтелектуального модуля аналізу емоційного змісту;
• розробити алгоритм інтелектуального модуля аналізу емоційного змісту природно мовних повідомлень блогів та форумів.

3. Передбачувана наукова новизна

Аналіз тональності тексту є одним з перспективних напрямків комп'ютерної лінгвістики. Цей напрямок штучного інтелекту дозволяє витягувати різноманітну інформацію, що знаходиться в формеекста на природній мові.

1. Маркетінговие дослідження. Проводяться для різноманітних цілей, включаючи вивчення споживчих переваг, вимір ступення задоволення потреб споживачів, визначення ефективності розповсюдження продуктів або послуг.
2. Фінансові ринки. В роботі [19] говориться, що про кожного акціонерному товаристві існують численні публікації новин, статті, блоги та повідомлення в Твіттері. Система аналізу тональності може використовувати ці джерела для знаходження статей, в яких обговорюються такі товариства, і витягувати відгуки, що дозволить створити автоматичну торгову систему. Однією з таких систем є The Stock Sonar. Система показує графічно щоденні позитивні та негативні настрої про кожну акцію поруч з графіком ціни акції. За настроями передбачають подальше зростання або падіння ціни акції.
3. Рекомендаційні системи. Аналізуються відгуки та огляди різних продуктів з метою допомоги покупцям при виборі товару. Наприклад, система не буде рекомендувати продукт, якщо він отримав багато негативних відгуків.
4. Аналіз новинних повідомлень. Аналізуються новинні ресурси на предмет тональності повідомлень щодо різних персон і подій.
5. Політологічні дослідження. Збираються дані про політичні погляди населення. Це може мати істотне значення для кандидатів, які виступають від різних партій. Такий підхід застосовується організаторами передвиборної кампанії для виявлення того, що думають виборці відносно різних проблем, і як вони пов'язують ці проблеми зі словами і діями кандидатів [19].
6. Соціологічні дослідження. Аналізуються дані з соціальних мереж, наприклад для виявлення релігійних поглядів або відмінності між чоловіками і жінками у вживанні емоційно – забарвлених слів в повідомленнях.
7. Підтримка пошукових систем (search engines) і систем вилучення інформації (information extracting systems). У таких системах аналіз тональності може служити для відділення фактів від думок.
8. Аналіз зворотного зв'язку від користувачів (consumer feedback analysis). При діалозі з користувачем система розпізнає його емоції, і при помощіобратной зв'язку може реагувати відповідно до них (наприклад, у разі негативних емоцій перемикати зв'язок на оператора – людини).
9. Аналіз екстремістських ресурсів. Аналізуються Інтернет–ресурси екстремістського змісту на предмет підозрілої активності.
10. Психологічні дослідження. Визначення депресії у користувачів соціальних мереж.

4. Огляд досліджень і розробок з тематики

4.1 Глобальний рівень

Автоматична класифікація текстів має тривалу історію, що йде в початок 1960–х рр. Аж до кінця 1980–х рр. найбільш популярним підходом до класифікації документів була інженерія знань (knowledge engineering), що полягає в ручному визначенні правил, що містять знання експертів про те, як визначити, до якої категорії відноситься документ. У 1990–х рр. з бурхливим розвитком виробництва та доступності онлайн документів інтерес до автоматичної класифікації посилився. Нова тенденція, заснована на машинному навчанні, витіснила попередній підхід. Ця тенденція полягала в тому, що на основі індуктивного процесу автоматично створюється класифікатор шляхом навчання за допомогою набору попередньо класифікованих документів, що характеризуються однією або більше категоріями. Перевагою є висока ефективність і значне збереження досвіду експертів [20].

Проблема автоматичного розпізнавання думок у тексті виявилася предметом активних досліджень за кордоном порівняно недавно — в 2000–х рр.. У Росії таких робіт до останнього часу було вкрай мало; тільки в 2012 році оцінка тональності тексту була обрана однією з головних тем конференції з комп'ютерної лінгвістики Діалог–2012.

Дослідження емоційного змісту тексту і визначення його тональності проводилися Котельниковим Є. В. [3], Худяковим М.В., Давидовим С., Васильєвому В.Г [6], Клековкін М.В. [7]. У них розглядаються методи автоматичної обробки текстів і машиного навчання, використані авторами для вирішення завдання аналізу думок. Обговорюються питання вибору оптимального варіанту векторної моделі представлення текстів і найбільш відповідного методу машинного навчання, розглядаються варіанти побудови векторної моделі на основі підходу TF.

У роботах зарубіжних авторів Esuli A., Sebastiani F. [4], Hu M., Liu B. [5 ], Chisholm E., Kolda TG [9], Debole F., Sebastiani F. [10]. Представлені методи автоматичної класифікації текстів за тональністю, заснований на словнику емоційної лексики. Наводиться опис процесів створення словника: виділення оцінних слів, призначення ним ваг, визначення впливу слів-модифікаторів і слів, що виражають заперечення. Результати порівнюються з результатами інших методів.

4.2 Національний рівень

Серед робіт українських вчених, спрямованих в цю сферу, важливий внесок був зроблений Святогором Л. А. і Гладуном В. П. В їх роботі Сематтіческій аналіз текстів природної мови: цілі та засоби пропонується розширене тлумачення поняття текст природної мови [23] і пропонується схема повного освоєння його семантичного ресурсу за рахунок комп'ютерного розуміння і діалогу. Вказуються засоби досягнення зазначеної мети в процесі семантичної обробки текстів - використання трирівневої онтології для вилучення з тексту онтологічного сенсу, а також введення зворотного зв'язку для додаткового уточнення в діалозі змісту дискурсу [24].

4.3 Локальний рівень

У Донецькому Національному Технічному Університеті Розробкою Семантичні моделі природно-мовних методів у системах тестування займався Кушнарьов А. В. [24]. Розробкою і дослідженнями алгоритмів для підвищення ефективності інтелектуального аналізу web–контенту займалася Арбузова О.В. [25]. Також у своїй роботі досліджували формалізацію словотвірного синтезу на основі семантичних властивостей формантов Єгошина А.А., Вороний С.М [26].

5. Методи автоматичного вилучення відносин.

При вирішенні задачі вилучення відносин найбільш ефективними методами є: навчання без вчителя і статистичні методи. Цим методам не потрібні розмічені тренувальні дані, відсутні у вільному доступі, порівняно наприклад, з лінгвістичними корпусами, створеними для вирішення класичних задач комп'ютерної лінгвістики: визначення частин мови, лематизації і т.д.

Навчання без вчителя — один із способів машинного навчання, при вирішенні яких випробувана система спонтанно навчається виконувати поставлене завдання, без втручання з боку експериментатора. Як правило, це придатне тільки для задач, в яких відомі описи безлічі об'єктів (навчальної вибірки), і потрібно виявити внутрішні взаємозв'язки, залежності, закономірності, що існують між об'єктами. Навчанню без вчителя можна зіставити з методом навчання з учителем, для кожного об'єкта з вибірки вже заданий правильну відповідь, необхідно знайти залежність між відповідями та об'єктами.

Проаналізуємо один алгоритм методів навчання без учителя і застосуємо до задачі вилучення аспектів. В основі методів поширення лежить наступна ідея: за допомогою невеликого безлічі вручну певних прикладів певного класу итеративно витягувати подібні одиниці тексту, поступово накопичуючи безліч.

У застосуванні до задачі вилучення відносин, алгоритм методу поширення може виглядати так, малюнок 1.

У дослідженні кандидатами в терміни можуть буть тільки n–грами розміром від 1 до 3 слів, що містять тільки іменники, прикметники, дієслова і прислівники. Близькість n–грами і термінів з безлічі U_i визначена за допомогою RlogF метрики:

де Freg(ng,U) — частота спільної зустрічальності n–грамми ng, і термінів з U в рамках фрагментів тексту, що складається з фіксованого числа слів.

Завдання вилучення відносин можна розглядати, як завдання вилучення термінів, часто вживаних авторами думок.

У [13] дослідники припускають, що термінами, що описують відносини, можуть бути поодинокі іменники та словосполучення містять іменник, часто зустрічаються в думках про об'єкти одного і того ж типу. З усіх n–грам слів, що задовольняють цій вимозі, виділяються ті, з частотою в корпусі більше одного відсотка.

Виділені n–грами, що складаються з двох і більше слів, проходять перевірку на компактність. Якщо n–грама компактна як мінімум в двох реченнях, то вона потрапляє в список аспектів.

Компактність визначається наступним чином:

• нехай f — n–грамми з n слів, s — речення, що містить усі слова з f (можливо розташовані не підряд);
• якщо відстань між будь-якими двома словами, суміжними в f, у реченні s становить не більше ніж три слова, то f компактна в даному конкретному реченні.

Терміни, що складаються з одного слова, також проходять статистичний тест на чистоту. Відшукуються всі пропозиції, що містять термін. Серед знайдених пропозицій підраховуються пропозиції, що не містять минулий тест на компактність n–грами, в які входить цей термін. Якщо число таких пропозицій вище деякого експериментально певного порогу, то термін потрапляє в список відносин.

Схожий статистичний метод виявлення термінів–аспектів, що складаються з двох та більше слів, використовується в роботі [20] і має назву C–value [19]. Для всіх n–грам, що містять в собі тільки певні частини мови, що входять до деяких безлічі документів, обчислюється їх залежність, певна формулою (2).

Де term — n-грама, e-terms — безліч, що складається з усіх n–грам старшого порядку, що містить term, |e–terms| потужність множини elder — елемент цієї множини. Довжина терміна в символах — len(term).

Розглянемо приклад, який ілюструє роботу C–value методу. Нехай у корпусі думок про стільникових телефонах биграмм retina display зустрічається 8 разів, містять її триграми great retina display і retina display worse зустрічаються 3 і 2 рази відповідно. Тоді згідно з формулою (2):

C–value(retina display)=log(13)*(8-1/2(2+3))≈20

C–value(great retina display)= log(18)*3≈13 (3)

C–value(retina display worse)= log(18)*2≈8

Якщо експериментально встановлений поріг C–value для даного корпусу дорівнює 15, то тільки n–грама retina display потрапить в безліч термінів-аспектів.

Для вирішення задачі визначення полярності пропозицій і коротких повідомлень ефективні як алгоритми навчання з вчителем, так і методи, засновані на словниках.

Недоліком методу навчання з учителем є складання тренувального корпусу з прикладами з предметної області, в якій буде використовуватися класифікатор. Однак схожою проблемою володіють і словникові методи: ваги термінів словника, складеного для однієї предметної області, можуть виявитися малоефективними для іншої.

6. Огляд систем аналізу тональності текстових документів.

SentiStrength — система, розроблена M. Thelwall, K. Buckley, G. Paltoglou і D. Cai. Початкове призначення було, для аналізу коротких неструктурованих неформальних текстів англійською мовою. Система може бути налаштована для роботи з текстом, також і для інших мов, в тому числі і для тексту російською мовою.

Результат видається у вигляді двох оцінок — оцінка позитивної складової тексту (за шкалою від +1 до +5) і оцінкою. негативної складової (за шкалою від -1 до -5). Також, можливо надання оцінок в іншому вигляді: бінарна оцінка (позитивний/негативний текст); тернарного оцінка (позитивний/негативний/нейтральний); оцінка за єдиною шкалою від -4 до +4.

Алгоритм заснований на пошуку максимального значення тональності в тексті для кожної шкали (тобто пошук слова з максимальною негативною оцінкою і слова з максимальною позитивною оцінкою). При роботі алгоритму враховується найпростіше взаємодія слів (наприклад, слова–підсилювачі посилюють значення тональності для слова, на яке вони діють — дуже злий матиме більш негативну оцінку, ніж просто злий) і ідіоматичні вирази [4].

Недоліки системи: система може бути налаштована для російської мови, реалізовані в ній алгоритм не враховують його специфіку, в тому числі російську морфологію, що призводить до ряду проблем. Крім того, система вважає лише загальну тональність тексту, не виділяючи суб'єкти та об'єкти тональності.

Компонент аналізу тональності тексту в складі систем Аналітичний кур'єр і X-files — розроблений компанією Ай–Теко. Компонент визначення тональності тексту реалізує метод, заснований на словниках і правилах.

Ця система видає користувачеві масив розмічених пропозицій. У пропозиціях розмічаються об'єкти тональності (за наявності таких) і ланцюжок слів, що несе в собі тональність по відношенню до них. Крім того, на підставі знайдених ланцюжків слів підраховується загальна тональність для кожної пропозиції. Для підрахунку загальної тональності використовується ряд спеціальних правил. Наприклад (для пропозиції Доктор Сміт вилікував хворого грипом), є правило, яке говорить, що поєднання позитивного дієслова вилікувати з негативною ланцюжком (в даному випадок хворий грипом) приписує позитив підлягає дієслова (у нашому прикладі — доктору Сміту). Тональність оцінюється за тернарной шкалою (позитивний/негативний/нейтральний).

Система працює у кілька етапів: попередня обробка тексту, виділення і класифікація знайдених слів; об'єднання знайдених слів у пов'язані один з одним ланцюжка; виділення об'єктів тональності. Недоліки системи: відсутність кількісної оцінки тексту.

Ваал — система, розроблена Шалак Володимиром. Дана система призначена для оцінки неусвідомлюваного емоційного впливу фонетичної структури тексту та окремих слів на підсвідомість людини. Робота системи заснована на перетворенні тексту в частотний словник і віднесення деяких слів до певних психолингвистическим категоріям.

Результат аналізу видається користувачеві у вигляді набору оцінок по ряду критеріїв, що відносяться до даного тексту/слову (гладкий — шорсткий, могутній — кволий) і т.д. Недоліки системи: система не робить аналіз семантики тексту, що веде до сильної обмеженості застосовності продукту. Крім того, використання даного продукту людьми, які не є фахівцями в галузі психолінгвістики, не представляється можливим.

Компонент аналізу тональності в складі системи RCO Fact Extractor — система, розроблена компанією RCO. Для аналізу тональності тексту система використовує підхід, заснований на правилах. Дана система враховує синтаксичну структуру тексту і взаємодія різних типів слів.

Робота компонента відбувається в п'ять етапів :

• розпізнавання всіх згадувань про об'єкт у всіх формах, включаючи повні, короткі і інші форми згадок;
• відсів і повний синтаксичний розбір конструкцій, в яких відображаються всі події й ознаки, пов'язані з цільовим об'єктом;
• виділення і класифікація тих позицій, в яких явно виражається тональність, і тих пропозицій, які описують емоційно–коннотатівние ситуації;
• для кожної пропозиції ухвалення рішення про тональність позитив – негатив з урахуванням тих місць, які займають у її складі емоційно – коннотатівние, тональні і нейтральні слова, засоби вираження заперечення;
• оцінка загальної тональності тексту на основі тональностей всіх вхідних у нього пропозиций.

Для своєї роботи компонент використовує модулі синтаксичного аналізу тексту і ототожнення найменувань, розроблені також в компанії RCO. Недоліки системи: відсутність кількісної оцінки тексту.

7. Напрямки наступних досліджень.

Розробка алгоритмічного забезпечення інтелектуального модуля аналізу емоційного змісту природно мовних повідомлень блогів і форумів

Висновки

На основі проведеного аналізу можна зробити висновок, що усі методи аналізу можна віднести до класу навчання з учителем. Результати їх роботи відрізняються від використовуваної метрики ефективності.

Робота цих методів зазвичай досягає більш 70% точності. Дослідники часто комбінують підходи для досягнення найкращих результатів. Наприклад, наукова робота Васильєва В.Г., Давидова С. і Худякової М.В. [6] використовує лінгвістичний підхід, доповнений методами машинного навчання для корекції окремих правил класифікації шляхом навчання.

Більш популярним є лінгвістичний підхід, так як алгоритми, засновані на правилах, дають більш точні результати, в зв'язку з тим, що робота цих методів тісно пов'язана з семантикою слів, на відміну від методів машинного навчання, що оперують із статистикою і теорією ймовірності.

Перелік посилань

1. Turney P. Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews // Proceedings of ACL–02, 40th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics, 2002, pp. 417–424.
2. Васильев В. Г., Худякова М. В., Давыдов С. Классификация отзывов пользователей с использованием фрагментных правил // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». Вып. 11 (18), М.: Изд-во РГГУ, 2012, С. 66–76.
3. Котельников Е. В. Автоматический анализ тональности текстов на основе методов машинного обучения // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». Вып. 11 (18), М.: Изд–во РГГУ, 2012, С. 27–36.
4. Esuli A., Sebastiani F. Determining the Semantic Orientation of Terms through Gloss Classification // Conference of Information and Knowledge Management (Bremen). ACM, New York, NY, 2005, pp. 617–624.
5. Hu M., Liu B. Mining and Summarizing Customer Reviews // KDD, Seattle, 2004, pp. 168–177.
6. Худякова М.В., Давыдов С., Васильев В.Г. Классификация отзывов пользователей с использованием фрагментных правил. РОМИП 2011., С. 87–102.
7. Клековкина М.В. Метод классификации текстов по тональности, основанный на словаре эмоциональной лексики// Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». Вып. 10 (18), М.: Изд–во РГГУ, 2011, С. 51–67.
8. Вишневская Н.И. Программа анализа тональности текстов на основе методов машинного обучения // Дипломная работа, М. 2013, 9–17.
9. Chisholm E., Kolda T. G. New term weighting formulas for the vector space method in information retrieval. Technical Report Number ORNL-TM-13756,Oak Ridge National Laboratory, Oak Ridge, TN, March 1999, С. 105–120.
10. Debole F., Sebastiani F. Supervised term weighting for automated text categorization.Proceedings of the 2003 ACM symposium on Applied computing SAC 03,2003, Vol. 138(Ml), pp. 784–788.
11. Joachims T. A probabilistic analysis of the Rocchio algorithm with TFIDF for text categorization. Proceedings of 14th International Conference on Machine Learning, Nashville, TN, 1997, pp. 143–151.
12. Joachims T. Text categorization with support vector machines: learning with many relevant features. Proceedings of 10th European Conference on Machine Learning, Chemnitz, Germany, 1998, pp. 137–142.
13. Lan M. (2007) A New Term Weighting Method for Text Categorization. PhD Theses, pp. 35–113.
14. Lan M., Tan C. L., Su J., Lu Y. (2009), Supervised and Traditional Term Weighting Methods for Automatic Text Categorization, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 31, no. 4, pp. 721–735.
15. Lewis D. D. Naive (Bayes) at forty: The independence assumption in information retrieval. Proceedings of 10th European Conference on Machine Learning, Chemnitz, Germany, 1998, pp. 4–15.
16. LIBSVM — A Library for Support Vector Machines, available at: http://www.csie.ntu.edu.tw/~cjlin/libsvm/.
17. Masand B., Linoff G., Waltz D. Classifying news stories using memory-based reasoning. Proceedings of SIGIR-92, 15th ACM International Conference on Research and Development in Information Retrieval, Copenhagen, Denmark, 1992, pp. 59–65.
18. Mihalcea R., Tarau P. Textrank: Bringing order into texts. Proceedings of the Conference on Empirical Methods in Natural Language Processing, Barcelona, Spain, 2004, pp. 404–411.
19. Pang B., Lee L. (2008), Opinion Mining and Sentiment Analysis, Foundations and Trends® in Information Retrieval, no. 2, pp. 1–135.
20. Pang B., Lee L., Vaithyanathan S. Thumbs up? Sentiment classification using machine learning techniques. Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), 2002, pp. 79–86.
21. Salton G., Buckley C. (1988), Term–weighting approaches in automatic text retrieval, Information Processing & Management, Vol. 24, no. 5, pp. 513–523.
22. Sebastiani F. (2002), Machine learning in automated text categorization ACM Computing Surveys, Vol. 34, no. 1, pp. 1–47.
23. Святогор Л. Семантический анализ текстов естесственного языка: цели и средства / Л. Святогор, В. Гладун // XV th International Conference “Knowledge-Dialogue-Solution” KDS-2 2009, Киев, Украина, Октябрь, 2009.
24. Кушнарев А.В. Семантические модели природно-речевых методов в системах тестирования// реферат выпускной работы магистра Факультет вычислительной техники и информатики ДонНТУ. 2012.
25. Арбузова О. В. Разработка и исследование алгоритмов для повышения эффективности интеллектуального анализа web-контента// реферат выпускной работы магистра Факультет вычислительной техники и информатики ДонНТУ. 2013.
26. Вороной С.М., Егошина А.А. Формализация словообразовательного синтеза на основе семантических свойств формантов [Электронный ресурс]. – Режим доступа: Data mining techniques.htm

При написанні даного реферату магістерська робота ще не завершена. Остаточне завершення: грудень 2014 року. Повний текст роботи та матеріали по темі можуть бути отримані у автора або його керівника після вказаної дати.