Чуприн Владислав Игоревич
Факультет компьютерных наук и технологий
Кафедра прикладной математики и информатики
Специальность «Инженерия программного обеспечения»
Повышение эффективности реализации модели распределённых вычислений MapReduce в рамках программного каркаса Hadoop
Научный руководитель: д.т.н., доц. Дмитриева Ольга Анатольевна
Представленный отчет позволяет оценить информационную ситуацию по теме магистерской работы. Он является основным документальным подтверждением глубины и полноты информационного поиска, а также служит для фиксации текущей ситуации в исследуемой области.
Поиск выполнен с использованием четырех поисковых систем (Google, Яндекс, Bing, Meta). Результаты сведены в таблицу. Всего произведено 15 запросов, имеющих отношение к магистерской работе. Из них три запроса соответствует названию магистерской работы на трех языках, три запроса с ФИО руководителя, а также девять запросов с ключевыми понятиями по теме магистерской работы.
Ниже приведены две таблицы с отчетами о поиске, которые разделяет временной промежуток в два месяца, а также ряд диаграмм, которые позволяют сравнить основные изменения, произошедшие за этот период.
Отчет о поиске за 03.03.2014 г.
| Строка поиска | Яндекс | Bing | Meta | |
| На русском языке | ||||
| Повышение эффективности реализации модели распределённых вычислений MapReduce в рамках программного каркаса Hadoop | 93 | 41 387 | 12 | 14 |
| Дмитриева Ольга Анатольевна, ДонНТУ | 20 970 | 83 000 | 787 | 269 |
| Оптимизация MapReduce | 35 264 | 7 585 | 2 945 | 1 650 |
| Оптимизация Hadoop | 29 885 | 17 390 | 7 844 | 2 868 |
| Планировщики Hadoop MapReduce | 1 479 130 | 18 634 | 8 | 108 |
| На украинском языке | ||||
| Підвищення ефективності реалізації моделі розподілених обчислень MapReduce в рамках программного каркаса Hadoop | 4 | 32 954 | 2 | 4 |
| Дмитрієва Ольга Анатоліївна, ДонНТУ | 1 213 | 23 000 | 16 | 298 |
| Оптимізація MapReduce | 30 696 | 151 | 14 | 1 440 |
| Оптимізація Hadoop | 132 893 | 242 | 26 | 2 472 |
| Планувальники Hadoop MapReduce | 0 | 13 253 | 0 | 0 |
| На английском языке | ||||
| Improving the efficiency of the implementation of distributed computing within MapReduce software framework Hadoop | 191 111 | 161 100 | 25 655 | 26 086 |
| Olga Dmitrieva, DONNTU | 239 | 101 715 | 14 | 2 985 |
| Optimizing MapReduce | 221 186 | 117 579 | 86 571 | 79 976 |
| Optimizing Hadoop | 197 333 | 245 318 | 544 681 | 33 629 |
| Schedulers Hadoop MapReduce | 127 357 | 132 000 | 53 725 | 15 827 |
Отчет о поиске за 06.05.2014 г.
| Строка поиска | Яндекс | Bing | Meta | |
| На русском языке | ||||
| Повышение эффективности реализации модели распределённых вычислений MapReduce в рамках программного каркаса Hadoop | 110 | 45 000 | 14 | 15 |
| Дмитриева Ольга Анатольевна, ДонНТУ | 22 300 | 83 000 | 787 | 269 |
| Оптимизация MapReduce | 47 200 | 8 000 | 3 980 | 1 660 |
| Оптимизация Hadoop | 32 500 | 23 000 | 10 100 | 3 140 |
| Планировщики Hadoop MapReduce | 1 680 000 | 20 000 | 10 | 123 |
| На украинском языке | ||||
| Підвищення ефективності реалізації моделі розподілених обчислень MapReduce в рамках программного каркаса Hadoop | 4 | 42 000 | 2 | 4 |
| Дмитрієва Ольга Анатоліївна, ДонНТУ | 1 290 | 23 000 | 16 | 298 |
| Оптимізація MapReduce | 33 200 | 151 | 15 | 1 500 |
| Оптимізація Hadoop | 134 000 | 248 | 29 | 2 560 |
| Планувальники Hadoop MapReduce | 0 | 14 000 | 0 | 0 |
| На английском языке | ||||
| Improving the efficiency of the implementation of distributed computing within MapReduce software framework Hadoop | 200 000 | 179 000 | 30 300 | 26 700 |
| Olga Dmitrieva, DONNTU | 246 | 116 000 | 14 | 2 990 |
| Optimizing MapReduce | 261 000 | 118 000 | 108 000 | 80 300 |
| Optimizing Hadoop | 296 000 | 257 000 | 560 000 | 36 100 |
| Schedulers Hadoop MapReduce | 129 000 | 132 000 | 56 400 | 16 900 |
Анализ результатов
Сравнивая результаты запросов по различным поисковым системам, можно прийти к выводу, что наилучшие результаты показала система Google. Во всех случаях было найдено достаточное количество документов на всех языках.
Необходимо отметить, что поисковая система Яндекс при большом числе найденных страниц не дает возможности зафиксировать их точное количество. Поэтому в таблице для Яндекса и приведены приблизительные значения, которые предоставляет поисковая система.
При сравнении и анализе результатов в отчетах о поиске, которые разделяют два месяца, необходимо отметить, что для всех поисковых запросах количество найденных страниц выросло. Процент изменения для каждого запроса в каждой из поисковых систем приведен на диаграмме ниже.
Из диаграммы можно сделать вывод, что максимальный рост поисковой выдачи на превышает 35%, а для некоторых запросов количество найденных страниц не изменилось.
Диаграмма также позволяет оценить изменения для каждого выполненного запроса.
Так, например, количество найденных страниц в поисковой системе Google для запроса Optimizing Hadoop выросло на 33%, а поисковая выдача по запросу Schedulers Hadoop MapReduce в системе Bing возросла лишь на ≈ 4%. При этом количество страниц по некоторые запросам совсем не изменилось (например, "Оптимізація MapReduce" в системе Яндекс).