Магистр ДонНТУ Чуприн Владислав Игоревич

Чуприн Владислав Игоревич

Факультет компьютерных наук и технологий

Кафедра прикладной математики и информатики

Специальность «Инженерия программного обеспечения»

Повышение эффективности реализации модели распределённых вычислений MapReduce в рамках программного каркаса Hadoop

Научный руководитель: д.т.н., доц. Дмитриева Ольга Анатольевна

    Собственные публикации и доклады

  1. Анализ проблем безопасности архитектуры распределённых NoSQL приложений на примере программного каркаса Hadoop
    Авторы: Чуприн В.И., Чернышова А.В., Губенко Н.Е.
    Описание: В статье выделены основные характеристики хранилищ для обработки больших массивов данных. Проанализированы особенности архитектуры распределенных приложений на примере программного каркаса Hadoop. Изучены существующие компоненты приведенного каркаса. Предложена альтернатива стеку технологий, поставляемому по умолчанию. Выделены основные проблемы архитектурной и операционной составляющих. Предложены рекомендации по оптимизации подсистемы безопасности на основе приведенных проблем.
    Источник: http://csconf.donntu.ru/wp-content/uploads/2013/11/ict-2013.pdf

  2. New time series compression methods of ecologic parameters
    Авторы: Chuprin V.I., Rodriges Zalipynis R.A.
    Описание: The paper analyzes storage peculiarities of satellite Earth remote sensing data time series. We propose methods for their compression based on the discovered peculiarities exploiting different schemes of Huffman coding. One of the proposed methods reaches 6% increase in the compression ratio (93%) in contrast to the deflate method used in Java SE6 (87%), for a time series of aerosol optical thickness derived from MODIS radiometer of TERRA satellite. Further improvement can be achieved by using the entropy coding of floating point numbers.
    Источник: http://ea.donntu.ru:8080/jspui/bitstream/123456789/19740/1/C5_02_Chuprin.pdf

    3. Тематические статьи

  3. An Adaptive Scheduling Algorithm for Dynamic Heterogeneous Hadoop Systems
    Авторы: Aysan Rasooli , Douglas G. Down
    Описание: В статье описывается алгоритм адаптивного планирования для динамических гетерогенных систем в рамках Hadoop
    Источник: http://www.cas.mcmaster.ca/~downd/cascon11.pdf

  4. Asynchronous Algorithms in MapReduce
    Авторы: Karthik Kambatla, Naresh Rapolu, Suresh Jagannathan, Ananth Grama
    Описание: В статье приведены методы решения асинхронных задач при помощи MapReduce.
    Источник: https://www.cs.purdue.edu/homes/suresh/papers/cluster10.pdf

  5. Scheduling Hadoop Jobs to Meet Deadlines
    Авторы: Kamal Kc, Kemafor Anyanwu
    Описание: В статье приведен метод реального времени для распределения задач между узлами кластера
    Источник: http://www4.ncsu.edu/~kkc/papers/rev2.pdf

  6. Dynamic Proportional Share Scheduling in Hadoop
    Авторы: Thomas Sandholm and Kevin Lai
    Описание: В статье приведен подход к распределению задач в многопользовательских кластерах Hadoop.
    Источник: http://www.researchgate.net/publication/225227271_Dynamic_Proportional_Share_Scheduling_in_Hadoop/file/3deec516de737261ba.pdf

  7. Job Scheduling for Multi-User MapReduce Clusters
    Авторы: Matei Zaharia, Dhruba Borthakur, Joydeep Sen Sarma, Khaled Elmeleegy, Scott Shenker, Ion Stoica
    Описание: Описан алгоритм адаптивного планирования для разделяеміх гетерогенніх кластеров Hadoop.
    Источник: http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-55.pdf

  8. Using Pattern Classification for Task Assignment in MapReduce
    Авторы: Jaideep Dhok and Vasudeva Varma
    Описание: В статье приведено решение проблем планирования задач при помощи классификации образов.
    Источник: http://researchweb.iiit.ac.in/~jaideep/learning-scheduler.pdf

  9. Map-Reduce-Merge: Simplified Relational Data Processing on Large Clusters
    Авторы: Hung-chih Yang, Ali Dasdan
    Описание: В статье авторами предложена дополнительная фаза merge для увеличения производительности.
    Источник: http://www.cs.duke.edu/courses/cps399.28/current/papers/sigmod07-YangDasdanEtAl-map_reduce_merge.pdf

  10. Resource-aware Adaptive Scheduling for MapReduce Clusters
    Авторы: Jorda Polo, Claris Castillo, David Carrera, Yolanda Becerra, Ian Whalley, Malgorzata Steinder, Jordi Torres, and Eduard Ayguade
    Описание: Авторами предложен планировщик на основе разбиения всех доступных ресурсов на слоты и дальнейшее разделение задач между слотами.
    Источник: http://people.ac.upc.edu/dcarrera/papers/MIDDLEWARE11.pdf

  11. MapReduce: Simplified Data Processing on Large Clusters
    Автор перевода: Чуприн В.И.
    Описание: Статья является первой в которой введено понятие MapReduce и описаны основные концепции этого подхода.
    Источник: http://static.googleusercontent.com/media/research.google.com/en//archive/mapreduce-osdi04.pdf

    12. Переводы статей

  12. A Hierarchical Approach to Maximizing MapReduce Efficiency
    Авторы: Zhiwei Xiao, Haibo Chen, Binyu Zang
    Автор перевода: Чуприн В.И.
    Описание: В статье предложен иерархический подход к распределению ресурсов в рамках MapReduce.
    Источник: http://static.googleusercontent.com/media/research.google.com/en//archive/mapreduce-osdi04.pdf