ДонНТУ | Портал магистров ДонНТУ

Пранскевичус Владислав Александрович

Факультет
Компьютерных наук и технологий
Кафедра
Компьютерных наук и технологий
Тема работы
Разработка распределенного поискового робота
Научный руководитель
к.т.н., доцент Привалов М. В.

Ссылки по теме выпускной работы

Материалы магистров ДонНТУ

  1. Исследование свойств поисковых систем
    Шади Абу Рок
    Руководитель: Костин В. И.
  2. Повышение эффективности поисковых систем
    Безуглый Евгений Николаевич
    Руководитель: Аноприенко А. Я.

    3. Статьи научного руководителя

  3. http://dgma.donetsk.ua/~ek/sc/neyro2002/2002/art17.htm Проведение текстурного анализа ультразвуковых изображений с применением нейронных сетей
    Авторы: Адамов В. Г., Привалов М. В.
  4. http://masters.donntu.ru/2006/kita/varshavskaya/library/art01.htm Текстурный анализ ультразвуковых эхограмм в информационно-диагностической системе
    Авторы: Адамов В. Г., Привалов М. В.

    5. Поисковые роботы

  5. http://en.wikipedia.org/wiki/Web_crawler -- Материал Wikipedia -- свободной интернет-энциклопедии.
  6. http://oak.cs.ucla.edu/~cho/research/crawl.html -- Web Crawling Project -- проект, созданный ведущими исследователями в области поисковых систем, посвященный архитектуре, моделям и алгоритмам построения поисковых роботов.
  7. http://portal.acm.org/citation.cfm?doid=358923.358934 -- В статье представлен обзор исследований роста Всемирной паутины и технологий, используемых для поиска и получения информации в ней.
  8. http://vigna.dsi.unimi.it/ftp/papers/ParadoxicalPageRank.pdf -- Данная статья рассматривает политики выбора страниц, применяемые в поисковых роботах.
  9. http://www.robotstxt.org/wc/exclusion.html -- Стандарт исключения роботов (robots.txt)
  10. http://oak.cs.ucla.edu/~cho/papers/cho-parallel.pdf -- данная статья рассматривает архитектуры параллельных распределенных поисковых роботов.
  11. http://vigna.dsi.unimi.it/ftp/papers/UbiCrawler.pdf -- Статья рассматривает построение полностью распределенного поискового робота, основанного на мультиагентной архитектуре.
  12. http://web.archive.org/web/20040317210216/http://www.fxpal.com/people/vdberg/pubs/www8/www1999f.pdf -- В данной статье предлагается новый тип поисковых роботов -- фокусированные роботы, осуществляющие сбор информации только по заданной тематике
  13. http://oak.cs.ucla.edu/~cho/papers/ntoulas-hidden.pdf -- в данной работе рассматривается обход "скрытой Всемирной паутины", частей веб-сайтов использующих параметризованные GET-запросы.
  14. http://nautilus.dii.unisi.it/pubblicazioni/files/conference/2000-Diligenti-VLDB.pdf -- статья, рассматривающая построение фокусированного поискового робота с использованием контекстных графов.
  15. http://grub.org/ -- официальный сайт проекта, посвященного разработке открытого поискового робота.
  16. http://nutch.apache.org/ -- Поисковый робот с открытыми исходными кодами на языке Java.
  17. http://yacy.net/ -- Децентрализованный P2P поисковый робот с открытым кодом.
  18. http://crawler.archive.org/ -- Поисковый робот, используемый проектом Internet Archive. Написан на языке Java и имеет открытый исходный код.
  19. http://www.open-search-server.com/ -- официальный сайт проекта Open Search Server, целью которого является создание открытого ПО для поисковых систем.
  20. http://www.seeks-project.info/site/ -- официальный веб-сайт открытой P2P поисковой системы Seeks.
  21. http://www.google.com/bot.html -- FAQ по поисковому роботу Googlebot, используемому поисковой системой Google.
  22. http://www10.org/cdrom/papers/pdf/p208.pdf -- В статье рассматривается стратегия поиска в ширину для использования в поисковых роботах.
  23. http://infolab.stanford.edu/~backrub/google.html -- В этой статье рассматривается архитектура и алгоритмы Googlebot по состоянию на 2001 год.
  24. http://code.google.com/web/ajaxcrawling/docs/specification.html -- проект, посвященный разработке стандарта, регламентирующего обход поисковыми роботами AJAX-приложений.
  25. http://www2003.org/cdrom/papers/refereed/p007/p7-abiteboul.html -- в данной статье предлагается новая метрика для оценки качества страницы -- Adaptive On-Line Page Importance Computation.
  26. http://www.dcc.uchile.cl/~ccastill/papers/baeza05_crawling_country_better_breadth_first_web_page_ordering.pdf -- статья рассматривает различные политики выбора страниц и сравнивает их с общепринятым поиском в ширину.
  27. http://oak.cs.ucla.edu/~cho/papers/cho-tods03.pdf -- статья, рассматривающая политики обновления веб-страниц, загруженных поисковым роботом.
  28. http://web.archive.org/web/20020506051802/www-diglib.stanford.edu/cgi-bin/WP/get/SIDL-WP-1997-0072?1 -- Статья, предлагающая алгоритм Pagerank для определения степени важности страницы.
  29. http://dollar.biz.uiowa.edu/~pant/Papers/crawling.pdf -- в данной статье представлен обзор современных поисковых роботов и рассмотрены основные методы, применяющиеся при их создании.
  30. http://blog.marc-seeger.de/2010/12/09/my-thesis-building-blocks-of-a-scalable-webcrawler -- данная работа рассматривает создание специализированного поискового робота и предлагает подробное описание структур данных, используемых при поиске во Всемирной паутине.

    31. Конкуретные и параллельные вычисления, исчисление процессов

  31. http://en.wikipedia.org/wiki/Concurrency_(computer_science) -- Материал Wikipedia -- свободной интернет-энциклопедии.
  32. http://usingcsp.com/ -- веб-сайт, посвященный языку описания взаимодействий CSP(Communicating Sequential Processes).
  33. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.10.5572&rep=rep1&type=ps -- книга о π-исчислении от создателя.
  34. http://en.wikipedia.org/wiki/Pi-calculus -- Материал Wikipedia -- свободной интернет-энциклопедии о π-исчислении.
  35. http://www.lfcs.inf.ed.ac.uk/reports/91/ECS-LFCS-91-180/ECS-LFCS-91-180.ps -- данная работа представляет собой введение в полиадическое π-исчисление.
  36. http://lamp.epfl.ch/~michelou/links/lath/files/pict-design.pdf -- статья описывает экспериментальный язык программирования Pict, основанный на π-исчислении.
  37. http://occam-pi.org/ -- веб-сайт языка программирования occam-π, в основе которого лежит π-исчисление.
  38. http://ls14-www.cs.tu-dortmund.de/images/f/fa/Abehavioralmodulesystem.pdf -- в этой статье рассматривается система типов для π-исчисления, позволяющая производить статический анализ поведения процессов.
  39. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.3.853&rep=rep1&type=pdf -- Статья предлагает общую систему типов для π-исчисления.
  40. http://en.wikipedia.org/wiki/Join_Calculus -- Исчисление процессов, принадлежащее к семейству π-исчислений, которое было разработано как формальный базис для конкуретных языков программирования.

    41. Функциональное программирование

  41. http://en.wikipedia.org/wiki/Lambda_calculus -- Статья Wikipedia о лямбда-исчислении.
  42. http://mitpress.mit.edu/sicp/ -- классическое учебный курс по функциональному программированию с примерами на языке Scheme.
  43. http://haskell.org/ -- функциональный язык программирования Haskell, официальный сайт.
  44. http://learnyouahaskell.com/ -- свободно доступная книга по языку Haskell для начинающих.
  45. http://book.realworldhaskell.org/ -- книга по языку Haskell, посвященная практическим аспектам использования языка.
  46. ftp://ftp.supelec.fr/lsi/pub/lambda/haskell/doc/concurrent-haskell.ps -- Статья, описывающая Concurrent Haskell -- средства языка Haskell для конкурентности.
  47. http://research.microsoft.com/en-us/um/people/simonpj/papers/parallel/remote.pdf -- данная статья представляет Cloud Haskell, расширения языка Haskell, реализующее модель взаимодействующих процессов из Erlang.
  48. http://www.haskell.org/ghc/ -- Официальный веб-сайт проекта GHC(Glasgow Haskell Compiler)
  49. http://www.yesodweb.com/ -- Официальный веб-сайт проекта Yesod, продвинутого веб-фреймворка для языка Haskell.
  50. http://www.erlang.org/ -- Официальный веб-сайт языка программирования Erlang, предназначенного для построения надежных конкурентных систем.