Назад в библиотеку

Энтропия как индикатор возникновения аномалий сетевого трафика

Авторы: Борисов Д.Н.
Источник: Наукові праці Донецького національного технічного університету. Серія: “Обчислювальна техніка та автоматизація”. Випуск 12(118) — Донецьк: ДонНТУ, 2007, ст.43-49

Описание предметной области.

Глобальная сеть передачи данных Интернет заняла прочное место в современной жизне. Без этого средства связи невозможно представить себе современные телекоммуникации. Такие средства, казавшиеся экзотикой еще несколько лет назад, как видеоконференции, обмен мгновенными сообщениями, дешевые (относительно классических) средства междугородней и международной голосовой связи, прочно вошли в повседневную жизнь. Следует отметить все большую конвергенцию сетей: уже сейчас многие национальные и транснациональные операторы связи осуществляют передачу международного трафика через каналы глобальной сети. Сети с коммутацией пакетов постепенно вытесняют сети с коммутацией каналов, а самой большой такой сетью и является Интернет (или просто Сеть).

В основу сети Интернет при разработке были положены принципы децентрализации и самоуправлясмости. Это связано с тем, что сеть разрабатывалась военным ведомством США как средство связи на случай ядерной войны. Однако, аналитики не предполагали повсеместного распространения сети. Согласно некоторым исследованиям [1] количество пользователей сети Internet в мире на 2005 год составило 167 на 1000 человек населения Земли. Аналогичная статистика на 2000 год составила 69 пользователя на 1000 человек, а к 2010 году эта цифра должна увеличиться до 262 человек. Сейчас стали проявляться негативные аспекты такого подхода. Одна из проблем, связанных с таким подходом и рассматривается в этой работе.

DDoS атаки как объект исследования.

Объектом исследования данной работы являются возникающие в работе Сети аномалии трафика. К ним можно отнести внезапные всплески активности пользователей (примером служит перегрузка основных магистральных каналов и информационных сайтов 11-12 сентября 2001 года), атаки хакеров на сервера гигантов 1Т-индустрии (таких как Sun Microsistems, Microsoft и др). Сущность этих возмущений состоит в изменении структуры трафика таким образом, что бы занять максимальное количество ресурсов серверов, обрабатывающих запросы пользователей. Такой тип атаки называют «отказом в обслуживании» (DoS — Denial of Service). Рассматриваемый в этой работе вариант такой атаки основывается на принципе, который получил название «распределенной атаки типа отказ в обслуживании» (DDoS — Distributed Denial of Service). Во время такой атаки множество хостов-агентов из Сети генерируют трафик, нацеленный на хосты-жертвы. Если ресурсы, необходимые для обработки такого объема трафика превышают ресурсы хоста-жертвы, происходит отказ в работе жертвы, что и является целью атаки. Такая атака может быть вызвана как действиями легальных пользователей, так и намеренно причиняющих вред.

Определимся с основными терминами:

Исходя из всего вышеописанного, сформулируем объект и предмет исследования. Объектом исследования будут каналы передачи данных и сетевой трафик в них.

Предметы исследования: общая энтропия заголовков сетевых пакетов как индикатор возникновения аномалий сетевого трафика; выявление потоков, которые могут привести к отказу в работе маршрутизатора илк его клиентов (“вредоносных”).

Основными задачами данного исследования являются:

Для решения поставленных задач предлагаегся использовать общее значение энтропии заголовков сетевых пакетов для определения степени “нормальности” сетевого трафика в канале передачи данных. В случае обнаружения аномалии сетевого трафика, выделять пакеты, дестабилизирующие ситуацию в канале передачи данных и строить правила фильтрации таких пакетов.

Актуальность проблемы. Возраст большинства научных разработок по этой теме невелик - 1-3 года, так как ранее эта проблема не имела практической ценности. В данный же момент большинство производителей сетевого оборудования и поставщики крупных сетевых решений ищут эффективные пути решения проблем, связанных с DDoS. С этим и связан взрывной рост количества работ и публикаций, посвященных этой теме. Наиболее полно данная проблема освещается в книге «Internet Denial of Service: Attack and Defense Mechanisms» (Отказ в обслуживании в Интернет: механизмы агаки и защиты) [2]. Авторы этой книги активно разрабатывают направление сетевой безопасности, связанное с DDoS. Так, перу Елены Мирковик и Пигера Райхера принадлежит работа по систематизации механизмов атаки и защиты, рассмотренная в статье «А Taxonomy of DDoS Attack and DDoS Defense Mechanisms» (Систематика механизмов распределенных атак типа «отказ в обслуживании» и механизмов защиты) [3]. Эта систематика наиболее комплексно освещает проблемы организации и реализации таких атак. Ведущие мировые поставщики сетевого оборудования, консалтинговые фирмы, специализирующиеся на IT, поставщики сетевого IIO, специализирующиеся на сетевой безопасности, предлагают решения, снижающие риск и ущерб от таких атак. Однако, до сих пор не предложено решения со 100%-й вероятностью идентифицирующего данный тип сетевой активности. В этой работе предлагается один из возможных методов, повышающих вероятность обнаружения такой атаки.

Методология исследования.

В качестве исходных данных в данном исследовании будем использовать информацию, предоставляемую протоколом NetFlow v.5.

Описанные выше данные несут полную информацию о сетевом трафике в канале передачи данных, обслуживаемом маршрутизатором.

Общий смысл подхода к выявлению степени «нормальности» сетевых потоков изложен ниже и основывается на применении понятия энтропии к информации о сетевых потоках, обрабатываемых маршрутизатором.

Согласно теории информации, энтропия “служит мерой неопределенности сообщений данного источника (сообщения описываются множеством величин xl, х2,..., хп, которые могут быть, например, словами какого-либо языка, и соответствующих вероятностей pi, р2,..., рп появления величин xl, х2,..., хп в сообщении). В качестве такой "меры неопределенности" в теории информации принимается число двоичных знаков, необходимое для фиксирования (записи) произвольного сообщения данного источника. Для определённого (дискретного) статистического распределения вероятностей информационной Энтропией называют величину не меньшую, чем

и равную среднему числу двоичных знаков, необходимых для записи сообщений.” [4].

Предлагаемый метод базируется на предположении, что энтропия параметров - случайная величина, при чем её плотность распределения подчиняется какому-то закону. А её резкое изменение можно рассматривать как аномалию, в большинстве случаев вызванную аномалией трафика.

Промежуток времени, на основе данных которого будут строиться измеряемые параметры, предполагается определить эмпирически. Однако, этот промежуток времени должен предоставлять полную информацию о состоянии канала передачи данных. Поэтому определим границы этого промежутка.

Минимальное время, которое проходит между экспортом данных об одном и том же потоке на маршрутизаторах Cisco по умолчанию равняется 30 секундам. Логично принять этот промежуток времени, как минимальный возможный, поскольку за 30 секунд маршрутизатор экспортирует данные обо всех сетевых потоках, проходящих через него. По описанным выше причинам, любой взятый промежуток времени для анализа должен быть кратен 30 секундам.

Максимальный промежуток времени, за который целесообразно обрабатывать информацию, определим исходя из практических соображений: DDoS атака обнаруживается в ручном режиме (в зависимости от квалификации персонала) не более чем за пол часа. Это время включает в себя время реакции на снижение качества обслуживания или отказ в работе канального оборудование, коммуникации между пострадавшим и персоналом провайдера, и время, необходимое на локализацию и устранение причины неполадки. Tаким образом, система обнаружения и локализации DDoS атаки будет полезна, если поможет снизить время обнаружения и реакции. Поэтому установим верхнее ограничение промежутка анализа трафика в 30 минут.

Следует отметить, что чем меньший промежуток времени анализируется, тем больше будет разрыв в параметрах между соседними промежутками. Практика показывает, что среднее время жизни одного потока не превышает 30 секунд. На существующих полосах пропускания каналов передачи данных основные всплески сглаживаются очередями. Но стандартная длинна очереди на канале передачи данных в 1 Мбит/сек такова, что трафик сглаживается на промежутке времени менее 1 секунды (не более 1000 пакетов, не более 25600 байт).

Для определения энтропии воздействия потоков в канале на маршрутизатор нам необходимы сообщения и вероятности их возникновения в канале. Будем считать, что кроме существующих сообщений, никаких других в канале передачи данных быть не может. В качестве сообщения возьмем информацию о потоке. В качестве вероятности сообщения будем считать количество ресурсов маршрутизатора, используемых потоком, деленных на общее количество используемых маршрутизатором ресурсов:

На основе этих данных вычисляется энтропия сетевого потока в канале передачи данных:

Примем энтропию канала передачи данных за случайную величину. На основе реальных данных выберем закон распределения. Предположим, что она подчиняется выбранному закону распределения. В случае резкого её возмущения, определим, какие именно поля вносят наибольшее возмущающее воздействие.

Одним из возможных методов определения потоков, вносящих возмущение, может быть вычисление энтропии по разному количеству полей. Каждое поле, включая дополнительное - случайная величина с определенной вероятностью возникновения.

Дополнительным полем, участвующим в вычислении энтропии, будем считать часть ширины пропускания канала, используемая потоком, деленное на всю используемую полосу пропускания канала:

Полями в этом случае являются изначальные значения полей (за исключением полей 5- 8 и неиспользуемых полей). За сообщение примем составную случайную величину, вероятность возникновения которой рассчитывается как произведение вероятностей значений каждого составляющего её поля. За вероятность примем суммарные ресурсы маршрутизатора, используемые потоками с равными значением поля деленные на общие занятые ресурсы маршрутизатора. Рассчитаем энтропию для каждой комбинации полей. Опять примем каждое вычисленное значение энтропии за случайную величину. Наибольший возмущающий фактор вносят те поля, энтропия комбинации которых максимально возмущена.

Еще один предлагаемый метод состоит в хранении сигнатур законов распределения значений энтропии в момент атак. В текущее время, в связи со снижением квалификации интернет-нарушителей (назовем их «хакерами»), большинство DDoS атак производится дилетантами с низким уровнем подготовки. Для этого ими используется доступное в Сети ПО. Атаки, генерируемые одним и тем же ГІО аналогичны друг другу но структуре трафика. Таким образом, получив величину энтропии, значительно отличающуюся от нормальной, но подходящей под одну из сигнатур можно с большей уверенностью говорить о наличии вредоносного трафика в канале передачи данных.

Выводы

В этой статье нами был предложен метод выявления аномалий сетевого трафика на основе информации об упорядоченности трафика в канале передачи данных. Основная идея этого метода (идея об относительной стационарности параметров сетевого трафика) была почерпнута из работы [5]. Однако, автор этого труда акцентируется на корпоративных сетях и в качестве основы для анализа сетевых потоков использует базу знаний о поведении сетевых потоков. На наш взгляд, этот подход слишком ресурсоемок для применения в магистральных сетях передачи данных, поскольку требует хранения больших объемов информации и больших объемов вычислений. Поэтому была найдена такая характеристика сетевых потоков, которая не требует для вычисления больших объемов вычислений и предварительного накопления больших объемов информации. Однако, полностью отказаться от хранения данных не удастся, поскольку сети передачи данных являются динамически изменяемыми объектами и без постоянного обучения предложенные методы не будет работать.

Литература

1. "Europe #1 in Per Capita Cell Phone Usage", 2006,http://www.c-i-a.com/pr02Q6.htm
2. Jelena Mirkovic, Sven Dietrich, David Dittrich, Peter Reiher;"Internet Denial of Service: Attack and Defense Mechanisms",Prentice Hall PTR,2004,ISBN: 0131475738.
3. Jelena Mirkovic, Peter Reiher "A Taxonomy of DDoS Attack and DDoS Defense Mechanisms",2004.
4. Яглом А. М., Яглом И. М., Вероятность и информация, 2 изд., М., 1960.
5. Seong Soo Kim, «Real-time analysis of aggregate network traffic for anomaly detection»,2005.