Проектирование кампусных сетей


Автор: PLUS Communications
Copyright (C) Cisco Systems, Inc., (С) PLUS Communications, 1998 

Первоисточник

 

Введение

Данный материал представляет собой переработанное руководство по проектированию крупных кампусных сетей фирмы Cisco Systems. В решениях, заложенных в основу настоящего руководства, использовано существующее на данный момент оборудование, программное обеспечение и технологии, разработанные фирмой Cisco Systems.

Ниже приводятся описания специализированных примеров и приемов проектирования, основанных на конкретном пакете требований заказчиков. Рассматриваются две базовые модели построения крупных корпоративных сетей:

  • коммутируемая сеть Ethernet с ядром, основанным на применении технологии Fast Ethernet.
  • коммутируемая сеть Ethernet с ядром, основанным на применении технологии ATM (Asynchronous Transfer Mode).

Методология, представленная в настоящем руководстве, отражает традиционный и практический подходы к проектированию систем такого класса, однако изложенные здесь принципы и пути реализации проекта не являются единственно правильным решением проблемы. Фактически руководство можно рассматривать как свод общих рекомендаций по проектированию, основанных на собственных аппаратных и программных разработках фирмы Cisco Systems. Многие технические решения явились прямым следствием ранних наработок инженеров и разработчиков компании. Так, например, сетевая операционная система Cisco IOS™, под управлением которой работают все устройства фирмы, содержит в себе полный набор средств, позволяющих осуществлять функции конфигурирования аппаратуры, оптимизации сетевого трафика, обеспечения защиты данных от несанкционированного доступа и т.д.

Итак, перейдем к обсуждению проектных решений.


 

Содержание

Существующая сетевая система

Требования заказчика

Методы проектирования

Сеть, основанная на Ethernet

Уровень доступа

Адресация IP и разбиение на подсети (структура VLAN)

Уровень распределения

Масштабирование полосы пропускания

Назначение серверов рабочих групп

Принципы организации уровня ядра сети

Ядро сети с использованием выделенных маршрутизаторов

Обеспечение увеличения полосы пропускания на уровне ядра

Соединения внутри ядра системы

Ядро системы с применением аппаратуры маршрутизации, встроенной

в коммутаторы уровня распределения

Корпоративные серверы

Поддержка мультикастинга IP

Поддержка других технологий и подключение к внешним сетям

Итоги рассмотрения проекта сети на основе Fast Ethernet

Анализ отказоустойчивости

Общие комментарии

Сеть, основанная на ATM

Уровень доступа и структура VLAN

Соединения уровня доступа с уровнем распределения

Анализ отказоустойчивости

Масштабирование полосы пропускания между уровнями доступа

и распределения

Серверы рабочих групп

Ядро на основе ATM

Масштабирование ядра системы

Маршрутизация Inter-ELAN

Подключение к внешним сетям

Расчет количества виртуальных подключений LANE

Анализ отказоустойчивости

Переход к сетям ATM, использующим MPOA

Общие замечания

Преимущества проекта на Fast Ethernet

Преимущества проекта на ATM

 

Существующая сетевая система

Существующая сетевая система заказчика переживает трудные дни. Будучи основанной на использовании традиционной технологии shared Ethernet (разделяемая сеть Ethernet), эта система уже не в состоянии обрабатывать все возрастающие объемы данных. Рост объема передаваемых по сети данных связан с появлением приложений, работающих с данными мультимедиа, а также с развитием технологий обработки и представления данных. В качестве примеров таких технологий можно привести приложения клиент/сервер, позволяющие производить обработку данных большим числом конечных пользователей.

В основе существующей сетевой системы находятся такие устройства, как сетевые концентраторы (повторители), составляющие сильно загруженное ядро системы, и маршрутизаторы, обеспечивающие соединения отдельных сегментов сети.

Характеристики сети, взятой нами для примера, следующие:

  • Количество рабочих мест – 6000, из которых большинство оборудовано компьютерами, совместимыми с IBM PC, 95% всех сетевых соединений работают по технологии Ethernet, 5% составляет Token Ring.
  • Используемые сетевые протоколы – IP, IPX, ограниченное количество станций используют AppleTalk, некоторые станции и сегменты – NetBIOS.
  • В сети имеется несколько больших корпоративных серверов, а также достаточно большое количество серверов рабочих групп.
  • Вся сеть имеет IP-адрес 10.0.0.0 (см. RFC-1918).
  • Ядро системы составляют концентраторы (повторители) и маршрутизаторы AGS+/Cisco 7000 series.
  • В сети наблюдается высокая загруженность активного сетевого оборудования, сетевых соединений, начиная от серверных сегментов и заканчивая пользовательскими подсетями.

Текущее распределение трафика невозможно отследить, однако считается, что основной его объем создают приложения клиент/сервер с небольшим добавлением трафика, возникающего при обращении к серверам и службам WWW.

Требования заказчика

Известно, что для того чтобы повысить эффективность работы конечных пользователей сети, серверы должны иметь высокоскоростные подключения к ядру (центральному коммутатору) сетевой системы. Для удовлетворения возрастающих требований приложений к пропускной способности сетевых систем необходим некоторый запас быстродействия, который обеспечил бы нормальное функционирование системы в течение нескольких лет. В связи с этим заказчики предъявляют к проектируемым сетям следующие обязательные требования:

  • Наличие коммутируемых портов Ethernet на каждом рабочем месте сети.
  • Функционирование серверов под управлением ОС Microsoft Windows NT, использующих в качестве основного протокол IP.
  • Функционирование корпоративных серверов вспомогательного назначения (электронная почта, обработка сообщений, WWW), а также высокопроизводительных серверов рабочих групп, интенсивно использующих полосу пропускания, и мультимедиа-серверов для осуществления мультикастинговой трансляции по протоколу IP.
  • Поддержка принципов “plug-and-play” при добавлении, перемещении и изменении конфигурации узлов сети (рабочих станций, групп, серверов и т.п.).
  • Отсутствие так называемых единичных точек сбоя в системе (single point of failure), при котором выход из строя любого компонента активного сетевого оборудования приводит к отключению не более чем 100 рабочих станций сети;
  • Возможность проведения контрольных измерений нагрузки на сетевые соединения и оборудование, а также управления потоками данных с целью оптимизации работы сети.
  • Возможность увеличения полосы пропускания некоторых участков сети при использовании имеющегося оборудования.
  • Возможность подключения системы к внешним сетям, в том числе к таким, которые используют другие технологии передачи данных (другие реализации ЛВС, глобальные сети, Интернет).
  • Возможность эффективного роста сетевой системы при минимальном вложении средств в оборудование и каналы связи.

Методы проектирования

Процесс проектирования сетевой системы основывается на функциональных строительных блоках, которые не могут быть строго классифицированы по своей иерархической принадлежности, однако обеспечивают сходные процедуры по управлению и поиску и устранению возможных неисправностей. Такой подход обеспечивает разработку системы, которая будет иметь при эксплуатации единое управление, систему контроля и устранения неисправностей и узких мест в сетевых магистралях.

Для простоты картины мы не будем привязываться к конкретным монтажным помещениям и их физическому расположению. Примем как данное, что каждое здание заказчика имеет похожие кабельные системы и аппаратные помещения, обеспечивающие установку и работу всего необходимого оборудования. Однако на практике часто бывает так, что физические ограничения имеют место, и, более того, оказывают непосредственное влияние на выбор того или иного типа оборудования. И тем не менее предположим, что:

  • При наличии на предприятии заказчика 6000 сотрудников имеется необходимость предоставления сетевой системой 8000 конечных пользовательских портов. Это связано с тем, что некоторые рабочие места должны быть оборудованы более чем одной розеткой для подключения к системе, и, кроме того, есть различные учебные и конференц-залы и т.п.
  • Каждый кабельный узел обеспечивает в среднем по 100 кабельных линий, выполненных из кабеля с витыми парами 5-й категории (UTP5), сходящихся к этому узлу.
  • Оптоволоконные кабельные линии связывают каждый кабельный узел с промежуточным аппаратным помещением.

Сеть, основанная на Ethernet

Разработку проекта мы будем рассматривать начиная с кабельных узлов, обеспечивающих физическое подключение рабочих мест пользователей, и заканчивая ядром системы. Для этого разобьем систему на три иерархических уровня: уровень доступа, уровень распределения и уровень ядра системы.

Уровень доступа

Для обеспечения 8000 пользовательских портов (по 100 портов на каждый кабельный узел) необходимо установить 80 коммутаторов Ethernet (см. рис. 1).

image1.gif (5460 bytes)

Рис. 1. Подключение конечных узлов

Для этой цели мы выбираем две модели коммутаторов Cisco Systems - Catalyst 5000 или Catalyst 5500. Выбор той или иной модели коммутатора в каждом конкретном случае зависит от числа и типа пользовательских портов, подключенных к данному кабельному узлу. Зная о возможном скором переходе на высокоскоростные сетевые соединения, многие заказчики выбирают в качестве основных порты с разными скоростями передачи – 10 и 100 Мбит/с (Ethernet и Fast Ethernet). В качестве коммутатора для уровня доступа рекомендуется использовать именно модель Catalyst 5500 (или 550х), способную резервировать коммутирующий процессор (Supervisor Engine Module), что позволит значительно повысить отказоустойчивость системы уже на уровне доступа.

Адресация IP и разбиение на подсети (структура VLAN)

Для достижения основной цели -- сделать адресацию IP настолько простой, насколько это возможно, - необходимо минимизировать затраты на добавление, перемещение и модификацию узлов сети при эксплуатации. В еще сравнительно недавнем прошлом каждая рабочая станция сети имела статические значения “IP address”, “address mask” и “default gateway”. Всякий раз, когда пользователь или компьютер менял свое местоположение внутри предприятия заказчика, сетевому администратору приходилось вручную на рабочей станции менять значения этих параметров.

В настоящее же время общение сотрудников компаний происходит между удаленными офисами и зданиями, многие работают дома, имея подключение к корпоративной сети через обычные телефонные каналы или через каналы цифровой сети ISDN (Integrated Services Digital Network). При такой организации работы администрирование всех рабочих станций становится практически невозможным.

В связи с этим был разработан протокол DHCP (Dynamic Host Configuration Protocol), позволяющий удаленным пользователям подключаться к любому месту сети, использующей этот протокол, и получать соответствующие значения параметров настройки IP-адреса автоматически, без вмешательства администратора системы. Таким образом, пользователи получили возможность свободно перемещаться как внутри здания предприятия, так и между удаленными офисами, и даже работать дома. Все, что им нужно - это подключиться к системе. Данная схема в настоящее время используется многими крупными корпорациями (в том числе и Cisco Systems). Следует отметить, что такая возможность появилась уже несколько лет назад в сетях AppleTalk, объединявших компьютеры Apple Macintosh.

Благодаря протоколу DHCP решается проблема с добавлениями, перемещениями и удалениями узлов сети. Заказчики теперь не испытывают трудностей при разработке и модернизации собственных сетей, связанных со схемой IP-адресации.

Теперь перед нами возникает следующий вопрос - какого размера должны быть подсети IP? До недавнего времени общепринятыми средними размерами подсетей были большие, затем все чаще стали применять подсети небольшого размера. Это было связано с появлением в составе локальных корпоративных сетей таких устройств, как маршрутизаторы, ранее применявшихся только для связи с глобальными сетями и для управления потоками данных в самих глобальных сетях. С появлением в составе ЛВС коммутаторов размеры подсетей вновь стали увеличиваться для обеспечения работы новых приложений, связанных с организацией видеоконференций, использующих принцип IP-мультикастинга.

В настоящее время нет какого-то одного ответа на вопрос о размерах подсетей. Единственным критерием выбора того или иного способа разделения сети на подсети можно считать требования заказчиков и приложений, работающих на предприятиях.

Для упрощения будем считать, что сеть 10.0.0.0 разбита на подсети, имеющие адресную маску 255.255.255.0. Такая конфигурация подсетей позволяет иметь в каждой из них по 254 активных узла. Кроме того, отметим, что с этого момента мы будем пользоваться термином “VLAN” (Virtual LAN - виртуальная ЛВС) по отношению к подсетям. Позднее, при использовании протокола DHCP, это количество может быть уменьшено с целью разделения VLAN на более мелкие подсети, однако в настоящем руководстве эта проблема не рассматривается.

В связи с тем, что в нашем примере мы используем не более 100 узлов на одну VLAN, 154 адреса из каждой подсети всегда будут оставаться свободными (незанятыми). Однако решение этого вопроса не является целью настоящего руководства.

Расположение VLAN между коммутаторами уровня доступа показано на рис. 2.

image2.gif (5847 bytes)

Рис. 2. Распределение VLAN по коммутационным узлам

Половина всех портов в одном из коммутаторов будет принадлежать, например, VLAN#2, а другая половина – VLAN#3. Все VLAN будут распределяться также между остальными коммутаторами уровня доступа. Таким образом, мы имеем 80 VLAN. Так как каждая VLAN соответствует одной подсети IP, то сеть 10.0.0.0 получается разделенной на 80 подсетей.

Как будет показано ниже, такое решение по организации VLAN позволит масштабировать соединения устройств уровня доступа с устройствами следующего уровня нашей модели – уровня распределения. Кроме того, членство каждого коммутатора в двух VLAN обеспечит дополнительную степень отказоустойчивости и облегчит сопровождение каждого коммутатора и VLAN. Напомним, что принадлежность стоящих рядом рабочих станций к одной VLAN не имеет основополагающего значения. Главной целью является обеспечение надежного и эффективного подключения пользователя к ресурсам сети. Каким образом происходит коммутация на втором и третьем уровне модели OSI, будет объяснено дальше по ходу обсуждения проекта.

Уровень распределения

Каждый коммутатор Catalyst 5000 уровня доступа имеет по две восходящие связи Fast Ethernet ISL. Для повышения степени надежности системы каждая из этих связей подключается к разным коммутаторам Catalyst 5000, образующим уровень распределения в нашей модели (см. рис. 3).

image3.gif (15066 bytes)

Рис. 3. Уровень распределения

Каждый из 14 коммутаторов Catalyst 5000, образующих уровень распределения, имеет по 12 восходящих портов Fast Ethernet. Наша модель сети состоит из семи функциональных строительных блоков, имеющих сходную структуру и состав оборудования. Каждый из этих блоков обеспечивает работу 12 VLAN и состоит из 12 коммутаторов уровня доступа и двух коммутаторов уровня распределения. Далее по ходу обсуждения проекта, мы рассмотрим, каким образом происходит взаимодействие VLAN внутри блока и как блоки взаимодействуют между собой.

Необходимо отметить, что в большинстве случаев из-за физических ограничений, таких как размеры зданий, корпусов, аппаратных помещений и пр., размер функциональных блоков может быть различным. Однако на общей модели сети это никак не отражается.

image4.gif (10040 bytes)

 

Рис. 4. Уровень распределения (детали)

На рис. 4 уровень распределения показан более подробно; здесь отражены разные пути передачи трафика в зависимости от его принадлежности той или иной VLAN, основанные на использовании протокола Spanning Tree.

Рациональное распределение функций основного коммутатора (root) для каждой VLAN позволит наилучшим образом использовать обе связи, обеспечивающие физическое соединение уровней доступа и распределения. Также правильное конфигурирование избыточности повышает отказоустойчивость соединений уровней доступа и распределения – при обрыве одной из связей трафик обеих VLAN будет автоматически переключен на альтернативный путь передачи. На рис. 4 показано состояние всех линий связи при нормальном функционировании всех кабельных соединений. При помощи настроек параметров протокола Spanning Tree также можно обеспечить балансирование нагрузки между параллельными путями.

Для того чтобы установить левый нижний коммутатор в качестве основного для VLAN#2, необходимо при конфигурации коммутатора задать команду

Switch>set spantree priority 500 2,

где 500 – это значение приоритета, а 2 соответствует VLAN#2.

На другом коммутаторе уровня распределения надо задать команду

Switch>set spantree 1000 2,

где 1000 – приоритет, больший, чем 500, но меньший, чем значение по умолчанию (32768). Таким образом, второй коммутатор станет основным в том случае, если выйдет из строя первый или случится обрыв линии связи между первым коммутатором и уровнем доступа.

Протокол ISL (Inter-Switch Link) используется для передачи трафика двух VLAN по одному магистральному соединению между коммутаторами уровней доступа и распределения.

image5.gif (10509 bytes)

 

Рис. 5. Анализ избыточности по протоколу Spanning Tree

Для того чтобы убедиться, как эта схема будет работать на практике, рассмотрим случай, при котором соединение между левыми коммутаторами в обоих уровнях было удалено или оборвано (см. рис. 5). В такой ситуации вторая связь с уровнем распределения становиться путем передачи трафика VLAN#2 и VLAN#3.

Масштабирование полосы пропускания

Достаточно важным аспектом на начальном этапе проектирования является оценка инструментальных средств, позволяющих контролировать и изменять поведение сети в реальных условиях при передаче больших объемов пользовательского трафика. Одним из основополагающих мест в сети, где необходимость управления трафиком велика, являются соединения между уровнем доступа и уровнем распределения. Один из подходов к масштабированию соединений этого уровня сети показан на рис. 6.

image6.gif (11072 bytes)

Рис. 6. Масштабирование производительности соединений

В связи с тем, что ранее мы уже разработали для сети гибкую схему распределения VLAN и их соответствия подсетям, в данном примере мы просто организуем новую VLAN (VLAN#100 в данном случае), которая позволит передавать большее количество трафика при взаимодействии двух уровней сети. Фактически исследование трафика на этапе взаимодействия двух уровней может привести к необходимости дополнительного физического соединения между коммутаторами и создания на его основе выделенного соединения для группы пользователей, требующих более широкой полосы пропускания. Этот случай как раз и показан на рис. 6.

На практике создать такое соединение не сложно: используя протокол DHCP можно легко и безболезненно присвоить новые адреса клиентам VLAN#100. При этом обслуживающему персоналу даже не потребуется изменеять в конфигурацию конечных пользовательских рабочих станций.

Другим способом увеличения полосы пропускания соединений уровней доступа и распределения является применение технологии Fast EtherChannel. Применение этой технологии показано на рис. 7.

image7.gif (11392 bytes)

 

Рис. 7. Масштабирование производительности соединений с применением Fast EtherChannel

Объединение двух или четырех параллельных соединений Fast Ethernet позволяет существенно увеличить производительность соединений между коммутаторами в пределах одной VLAN. При взаимодействии двух узлов сети технология Fast EtherChannel предотвращает передачу пакетов по разным физическим каналам путем закрепления адресов источника и приемника пакетов за одной линией связи. В случае ее отключения или выхода из строя весь трафик автоматически переключается на параллельное соединение.

Назначение серверов рабочих групп

В корпоративных сетях все сетевые приложения выполняются на серверах. В связи с этим одним из важнейших факторов, способствующих правильному распределению потоков данных в сети, является определение местоположения того или иного сервера в сетевой иерархии.

В настоящем руководстве серверы рабочих групп рассматриваются как специализированные вычислительные мощности, призванные обслуживать определенную часть пользователей. Примером применения сервера рабочей группы можно считать сервер электронных сообщений, обеспечивающий передачу информации внутри группы, а также файловый сервер и сервер печати, предоставляющий пользователям группы сервисы хранения файлов и групповой печати. Обычно при такой организации появляется возможность предотвращения передачи всего трафика группы в корпоративную сеть, что существенно снижает нагрузку на основные магистрали.

Для этих целей необходимо создать прямое физическое соединение второго уровня модели OSI сервера рабочей группы с соответствующим коммутатором уровня распределения. На рис. 8 показано прямое подключение серверов к коммутаторам уровня распределения при использовании технологии Fast Ethernet.

image8.gif (7684 bytes)

 

Рис. 8. Расположение серверов рабочих групп

При использовании сетевых адаптеров, поддерживающих функции ISL, имеется возможность включить один сервер сразу в несколько VLAN. Такое подключение серверов обеспечивает прямое соединение второго уровня с любым местом рассматриваемого строительного блока сети (для VLAN#2 – VLAN#13), показанного на рис. 8. Как правило, на практике нет необходимости предоставлять один сервер только одной рабочей группе. Это связано с тем, что современные серверы по своим аппаратным ресурсам в состоянии обеспечить качественное обслуживание сразу нескольких групп. Такой подход к проблеме организации серверов рабочих групп позволяет снизить затраты на их установку и сопровождение.

Другим решением организации взаимодействия сервера рабочих групп сразу с несколькими VLAN можно считать конфигурирование сетевого адаптера сервера на принадлежность нескольким подсетям. Количество подсетей, поддерживаемое сетевыми адаптерами разных производителей, не ограничивается каким-либо стандартом и зависит от конкретной модели адаптера (особенно в случае с множественными эмулированными сетями (ELAN) при использовании технологии LANE). Следовательно, при выборе какого-то конечного решения по применению данного подхода необходимо обратить внимание на документацию к сетевому адаптеру. На практике конфигурирование сетевого адаптера на принадлежность нескольким VLAN эквивалентно наличию нескольких обычных адаптеров в сервере. На основе этого в применяемых решениях используют от 6 до 10 различных VLAN на одном сетевом интерфейсе.

Принципы организации уровня ядра сети

На рис. 9 показана текущая (по мере обсуждения в настоящем руководстве) конфигурация нашей сети.

image9.gif (11188 bytes)

 

Рис. 9. Уровни доступа и распределения

Все 14 коммутаторов уровня распределения образуют семь функциональных строительных блоков сети. В каждом блоке имеются все возможности и реализованы все функции для обеспечения взаимодействия всех узлов и VLAN внутри блока. Уровень ядра должен предоставлять три типа функций по объединению имеющихся блоков в единую сетевую систему:

  • Взаимодействие VLAN за пределами строительных блоков сети (Inter-VLAN communication).
  • Взаимодействие оборудования из разных строительных блоков, необходимое для определения оптимальных маршрутов следования потоков данных в разных направлениях.
  • Обеспечение связи всех конечных узлов сети с корпоративными серверами и внешними сетями (частные глобальные сети и Интернет).

Для обеспечения всех этих функций ядром системы мы рассмотрим два подхода к построению самого ядра:

  • Ядро с использованием выделенных маршрутизаторов.
  • Ядро с использованием аппаратуры маршрутизации, встроенной в коммутаторы уровня распределения.

Оба подхода обеспечивают достижение поставленных задач, выбор того или иного решения в каждом конкретном случае зависит от требований заказчика, типа используемого оборудования и от особенностей аппаратных и кабельных помещений.

 

Ядро сети с использованием выделенных маршрутизаторов

Наиболее приемлемое решение для достижения поставленных задач при использовании выделенных маршрутизаторов показано на рис. 10. В нашем проекте для создания ядра корпоративной сетевой системы используются четыре маршрутизатора Cisco 7500 с шестью или восемью портовыми адаптерами Fast Ethernet.

image10.gif (18455 bytes)

 

Рис. 10. Ядро системы с отдельно стоящими маршрутизаторами

Более подробно принципы связи между ядром системы и уровнями распределения и доступа показаны на рис. 11.

image11.gif (10304 bytes)

 

Рис. 11. Резервирование Inter-VLAN маршрутизации

Для обеспечения избыточности в оборудовании и коммуникациях между уровнями ядра и распределения имеются два пути следования потоков данных. Чтобы эти пути одновременно использовались для передачи трафика, необходимо ввести некоторые соглашения. Разделим условно все VLAN в каждом из строительных блоков на четные и нечетные. Для первого строительного блока, который, как описано выше, необходим для передачи трафика четных VLAN, левый маршрутизатор используется в качестве основного для трафика VLAN#2 - VLAN#12.

При использовании маршрутизатора с протоколом HSRP (Hot Standby Router Protocol) необходимо обратить внимание на назначение его (маршрутизатора) интерфейсов в качестве основных и резервных. В сущности, вся маршрутизация Inter-VLAN для подсетей 2–13 в первом функциональном блоке осуществляется левым маршрутизатором, а маршрутизация подсетей 14–25 - правым. Применение HSRP позволяет маршрутизаторам уровня ядра резервировать друг друга, что дает возможность снизить количество единиц оборудования в системе и соответственно избежать дополнительных расходов.

В заключение добавим, что эффективность маршрутизации IP может быть увеличена за счет использования дополнительных функций распределенной коммутации, встроенных в программное обеспечение маршрутизаторов Cisco 7500 (начиная с Cisco IOS 11.2.(7)F). При использовании этих функций вся маршрутизация IP выполняется одним модулем Cisco 7500 -VIP 2 (Versatile Interface Processor), что обеспечивает снижение нагрузки на центральную шину маршрутизатора и существенно увеличивает его производительность. В нашем проекте мы будем использовать 14 таких модулей для обеспечения всех функций распределенной коммутации.

Обеспечение увеличения полосы пропускания на уровне ядра

Как и на уровне распределения, рассмотрим два способа увеличения полосы пропускания соединений на уровне ядра (см. рис. 12).

image12.gif (7602 bytes)

 

Рис. 12. Масштабирование соединений с маршрутизаторами

Наиболее простым решением является разбиение одной VLAN на более мелкие подсети и группы и передача их трафика по разным физическим соединениям. Это решение показано на рис. 12 в части передачи трафиков четных VLAN#2 – VLAN#12. Эта группа подсетей разбивается на две (VLAN#2 – VLAN#6 и VLAN#8 – VLAN#12), и суммарный трафик передается по двум независимым физическим соединениям. Второй способ увеличения полосы пропускания соединений на уровне ядра - применение технологии Fast EtherChannel является более простым, по сравнению с первым, так как не требует разбиения групп VLAN на подгруппы. Однако применение технологии Fast EtherChannel требует наличия ее поддержки и маршрутизатором уровня ядра, и коммутатором уровня распределения.

 

Соединения внутри ядра системы

В предыдущих разделах руководства мы рассматривали наш проект как две большие составляющие единой сетевой системы. Теперь настало время обсудить, каким образом происходит взаимодействие этих частей.

Взаимодействие отдельных частей уровня ядра системы показано на рис. 13.

image13.gif (9899 bytes)

Рис. 13. Ядро системы (детали)

Рассмотрим, какие функции выполняют соединения между различными аппаратными компонентами ядра системы. Между маршрутизаторами и коммутаторами Catalyst на уровне ядра организованы две подсети. Наличие протокола ISL в этих подсетях не обязательно; физические соединения для них выполняются на обычных интерфейсах Fast Ethernet. В частности, VLAN#100 предназначена для передачи трафика левому коммутатору Catalyst, а VLAN#101 - правому. Для передачи трафика между двумя частями сети имеется два возможных маршрута. Каким именно образом будет проходить трафик, определяется используемым протоколом маршрутизации. Чтобы обеспечить наиболее быстрое переключение передачи данных на резервный канал, рекомендуется использовать протокол с минимальным временем сходимости. В IP-сетях обычно применяют протоколы OSPF (Open Shortest Path First) или EIGRP (Enhanced Interior Gateway Routing Protocol).

Показанные на рис. 13 корпоративные серверы подключаются к коммутаторам уровня ядра по линиям Fast Ethernet и принадлежат одной VLAN. Серверы, как и рабочие станции, нуждаются в настроенных параметрах IP address, address mask и default gateway. Это необходимо для обеспечения связи на третьем уровне модели OSI для обеспечения функций взаимодействия серверов с остальными участниками сетевой системы. Применение протокола DHCP в этом случае невозможно, поэтому мы рассматриваем два возможных пути решения проблемы: статическая конфигурация серверов и использование протоколов ARP (Address Resolution Protocol) и ICMP (Internet Control Message Protocol), обеспечивающих поддержку корректных таблиц маршрутизации.

Более подробно на функциях корпоративных серверов и проблемах, связанных с их подключением, мы остановимся позднее, а пока рассмотрим альтернативный вариант построения ядра системы.

Ядро системы с применением аппаратуры маршрутизации, встроенной в коммутаторы уровня распределения

Как альтернативный путь построения ядра сетевой системы мы рассмотрим вариант с использованием в качестве ядра аппаратуры коммутации третьего уровня модели OSI, встроенной в коммутаторы уровня распределения. Такая аппаратура доступна в качестве модулей расширения к коммутаторам Catalyst 5xxx и называется RSM (Route Switch Module). Использование модулей RSM в каждом из 14 коммутаторов Catalyst 5000 уровня распределения позволит избежать необходимости установки 14 маршрутизаторов Cisco 7500 с модулями VIP 2 (см. рис. 14).

image14.gif (13696 bytes)

 

Рис. 14. Уровень ядра с использованием модулей Route Switch Module (RSM)

Объединение коммутации второго и третьего уровня в одном устройстве позволяет осуществлять передачу до 2 миллионов пакетов в секунду. Более подробно работа оборудования показана на рис. 15.

image15.gif (11058 bytes)

 

Рис. 15. Резервирование ядра на основе RSM

Модули RSM имеют внутренние интерфейсы с внутренней шиной коммутаторов, по одному интерфейсу на каждую VLAN. Например, левый коммутатор с модулем RSM имеет внутренние интерфейсы для VLAN#2–VLAN#13 и функционирует как основной HSRP-маршрутизатор для четных VLAN, а правый коммутатор с модулем RSM также имеет внутренние интерфейсы для VLAN#2–VLAN#13, но функционирует как основной HSRP-маршрутизатор для нечетных VLAN. Каждый из коммутаторов в паре выполняет функции резервного маршрутизатора для своего соседа.

Так же как и в случае с выделенными маршрутизаторами, внутренние соединения аппаратуры ядра системы выполнены с применением коммутаторов Catalyst (см. рис. 16).

image16.gif (18274 bytes)

 

Рис. 16. Схема соединений ядра на основе RSM

 

Корпоративные серверы

Корпоративными обычно называют серверы, обеспечивающие выполнение приложений масштаба организации заказчика. Такие серверы поддерживают большое число одновременно подключенных пользователей и имеют возможность обрабатывать большое число пользовательских транзакций за единицу времени. Примерами таких серверов могут служить серверы электронной почты, серверы WWW, серверы мультикастовой трансляции, серверы DHCP и DNS (Domain Name System) и т.д. В процессе эксплуатации серверы могут наращиваться, и их статус в системе может изменяться, например сервер рабочей группы может “дорасти” до корпоративного сервера.

 

Поддержка мультикастинга IP

Приложения, работающие по принципу многоцелевой рассылки данных (мультикастинга), такие как Microsoft NetShow и Precept IP/TV, требуют от сетевой системы возможности такой рассылки в реальном времени. И такая возможность обеспечивается за счет поддержки протокола IGMP (Internet Group Management Protocol) на рабочих станциях и протокола CGMP (Cisco Group Management Protocol) на коммутаторах и маршрутизаторах. Как это все происходит, показано на рис. 17. (На рисунке показаны выделенные маршрутизаторы, однако такая структура в равной степени относится и к варианту с использованием модулей RSM).

image17.gif (19349 bytes)

 

Рис. 17. Поддержка IP-multicasting

Для правильного функционирования приложений многоцелевой рассылки данных необходимо, чтобы протокол CGMP был запущен на устройствах уровней распределения и доступа, обеспечивая оптимальную передачу пакетов. В данном случае коммутаторы Catalyst распространяют мультикастовый трафик только на выходные порты, принадлежащие группе рассылки.

 

Поддержка других технологий и подключение к внешним сетям

Как уже отмечалось в самом начале данного руководства, требования заказчика заключаются в необходимости подключения создаваемой сети к внешним сетям, а также в обеспечении функционирования внутри сетевой системы участков, созданных по другим технологиям организации локальных сетей. Так, в нашей сети необходимо обеспечить функционирование протоколов IPX, NetBIOS и AppleTalk, а также подключить к общим ресурсам рабочие группы, использующие технологию Token Ring. Кроме того, такой подход позволит создавать новые рабочие группы без необходимости применения какой-то определенной модели их (групп) организации. Для большей наглядности проблема показана на рис. 18 в виде ядра с выделенными маршрутизаторами.

image18.gif (21937 bytes)

 

Рис. 18. Соединения с внешними сетями с другой топологией

Уровень ядра поддерживает следующие типы подключений:

  • Доступ в Интернет через маршрутизатор (или через маршрутизаторы, если требуется резервирование) с обеспечением функций трансляции адресов и обеспечения безопасности (firewall).
  • Подключения к глобальным сетям через маршрутизатор уровня ядра включая постоянное подключение, доступ по коммутируемым каналам тональной частоты и по цифровым каналам ISDN.
  • Подключение к сетям, выполненным по другим технологиям передачи данных (Token Ring, AppleTalk) через маршрутизаторы уровня ядра. Необходимо отметить, что при использовании других технологий передачи рабочая группа, например Token Ring, должна быть организована в соответствии со стандартом и иметь возможность подключения к нашей системе.

Для обеспечения работы протокола Token Ring NetBIOS в новой сети Ethernet необходимо обеспечить прозрачную трансляцию (бриджинг) пакетов из Token Ring в Ethernet и наоборот. Эта трансляция выполняется на уровне распределения при помощи либо выделенного маршрутизатора Cisco 4000 или коммутатора Catalyst 1800 через транспортную сеть FDDI (Fiber Distributed Data Interface).

 

Итоги рассмотрения проекта сети на основе Fast Ethernet

Итак, подведем итоги. Мы имеем две базовые модели построения коммутируемой сети на базе технологии Fast Ethernet. Выбор подходящего варианта построения зависит от конкретных требований заказчиков и многого другого. На рис. 19 показан проект сети с использованием выделенных коммутаторов Cisco 7500, обеспечивающей функции масштабирования на уровне ядра системы.

image19.gif (23185 bytes)

 

Рис. 19. Окончательная топология сети с использованием выделенных маршрутизаторов

Проект сети с использованием модулей RSM показан на рис. 20.

image20.gif (20697 bytes)

 

Рис. 20. Окончательная топология сети с использованием модулей RSM

 

Анализ отказоустойчивости

Теперь рассмотрим поведение системы при возникновении различного рода сбоев и неполадок. Это необходимо для того, чтобы предотвратить возможную потерю данных при авариях и сократить время простоя системы при локализации и устранении неисправностей.

Напомним, что начальные условия проектирования предусматривали, что при выходе из строя любого компонента активного сетевого оборудования или линии связи должно произойти отключение не более чем 100 конечных пользовательских рабочих мест. Следует отметить, что отключение конечных пользователей произойдет только в случае сбоя на уровне доступа (как это и происходит в сетях shared Ethernet/Fast Ethernet).

Рассмотрим проблему на примере. Имеется взаимодействие между рабочими станциями, входящими соответственно к VLAN#2 и VLAN#5. На рис. 21 показан нормальный путь следования трафика между взаимодействующими станциями на основе информации, ранее описанной в настоящем руководстве. Для более детального и понятного рассмотрения ситуации показан вариант с выделенными маршрутизаторами.

image21.gif (20327 bytes)

 

Рис. 21. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов)

На рис. 22 показан маршрут следования трафика при сбое основного маршрутизатора для соответствующих VLAN.

image22.gif (22007 bytes)

 

Рис. 22. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов).
Сбой основного маршрутизатора уровня ядра для маршрутизации VLAN#2 – VLAN#5

В данном случае механизм HSRP автоматически определит сбой в основном маршрутизаторе и переключит передачу трафика на резервный маршрутизатор с использованием резервных линий связи.

В следующем примере (см. рис. 23) рассматривается ситуация, когда выходит из строя коммутатор уровня распределения.

image23.gif (23019 bytes)

 

Рис. 23. Анализ отказоустойчивости (с использованием выделенных маршрутизаторов).
Сбой одного из коммутаторов уровня распределения для маршрутизации VLAN#2 – VLAN#5

В данном случае сбой ликвидируется при помощи протокола Spanning Tree, функционирующего на соединениях уровней доступа и распределения, и протокола HSRP, функционирующего между маршрутизаторами уровня ядра. На рис. 23 показан один из возможных путей, который маршрутизаторы могут выбрать в качестве основного при выходе из строя коммутатора уровня распределения. Использование параметров конфигурации портов маршрутизаторов (в частности, административная стоимость интерфейсов) позволяет настроить автоматическое перераспределение маршрутов и нагрузки на маршрутизаторы оптимальным образом. Следует отметить, что при использовании модулей RSM эти процессы будут выполняться значительно быстрее за счет использования внутренних шин коммутаторов.

Общие комментарии

Проекты сетей, которые рассматриваются в этой части руководства, значительно упрощены для облегчения понимания самого механизма проектирования больших масштабируемых сетей. Рассмотренные нами функциональные логические блоки, состав оборудования и его назначение могут изменяться в каждом конкретном случае. Это зависит не только от потребностей заказчика, но и от объемов финансирования, физических и прочих ограничений и т.п.

Разбиение крупной сети на более мелкие функциональные блоки и участки делает процесс установки и эксплуатации значительно проще. Упрощаются также и задачи по подключению к работающим системам новых рабочих групп, зданий и удаленных офисов - все это не вызовет глобальных изменений в логической структуре сети.

Окончательный выбор варианта проекта (выделенные маршрутизаторы или модули RSM) зависит от типа используемого оборудования и других факторов, которые учитываются в каждом конкретном случае.

Сеть, основанная на ATM

Проекты сетей на основе Ethernet и ATM на уровне доступа похожи друг на друга, поэтому мы не будем еще раз останавливаться на описании этого уровня. Однако вопросы, касающиеся АТМ, будут рассматриваться подробно.

Уровень доступа и структура VLAN

Уровень доступа, как уже было сказано, построен точно так же, как и в проекте на основе Fast Ethernet. Сеть на уровне доступа состоит из 80 коммутаторов Catalyst 5000, по 100 пользователей на каждом коммутаторе. На уровне доступа конфигурируется 80 VLAN, по два коммутатора на каждую VLAN (см. рис. 24).

image24.gif (5847 bytes)

 

Рис. 24. Уровень доступа и распределение VLAN

Соединения уровня доступа с уровнем распределения

Каждый коммутатор уровня доступа имеет соединение с коммутатором уровня распределения LightStream 1010 по оптической линии связи ATM OC-3 (155 Мбит/с). Структура соединений показана на рис. 25.

Модуль OC3 ATM в коммутаторе Catalyst 5000 имеет два физических подуровня (PHY), которые обеспечивают подключение одного коммутатора уровня доступа к двум коммутаторам уровня распределения.

image25.gif (16137 bytes)

Рис. 25. Схема соединений уровня распределения АТМ

В нашем случае каждый из восьми коммутаторов LightStream 1010 использует 20 интерфейсов OC-3 ATM (максимальное число таких интерфейсов для коммутатора LightStream 1010 - 32). Позднее, когда потребуется соединить эти коммутаторы с другими устройствами, можно воспользоваться незанятыми интерфейсами.

Рассмотрим такую конфигурацию более подробно (см. рис. 26) и обсудим расположение компонентов технологии LANE.

image26.gif (7420 bytes)

 

Рис. 26. Уровень распределения (детали) с применением компонентов LEC

На каждом коммутаторе Catalyst 5000 на интерфейсе ATM необходимо создать LEC (LAN Emulation Client) для каждой из VLAN, присутствующих на интерфейсах Ethernet. В нашем случае, например, первый и второй коммутаторы Catalyst 5000 на уровне доступа должны иметь сконфигурированные LEC только для VLAN#2 и VLAN#3. Линии связи от интерфейсов ATM будут подключены к разным коммутаторам ATM. При возникновении неисправности в основной линии связи произойдет автоматическое переключение передачи данных на резервную линию. При этом резервная линия автоматически становится основной без дополнительных изменений в конфигурации LEC.

Необходимо отметить, что в случаях, если коммутаторы ATM связаны между собой дополнительными линиями связи (о чем мы расскажем позже), следует избегать возникновения петель. Зачастую происходит так, что при эксплуатации сетевые администраторы отключают протокол Spanning Tree на коммутаторах с модулями ATM, при этом образуются кольцевые маршруты, что приводит к снижению скорости передачи и ставит под вопрос саму передачу данных по сети. Само собой разумеется, что если на коммутаторах выключен протокол Spanning Tree, то администратор сети должен быть абсолютно уверен в том, что кольцевые соединения второго уровня отсутствуют на всех участках сетевой системы, за исключением тех мест, где этого не позволяет топология (например, рабочие группы Token Ring).

Технология LANE, а точнее ее функционирование, строится на таких компонентах, как LECS (LAN Emulation Configuration Server), LES (LAN Emulation Server), BUS (Broadcast and Unknown Server). Каждый из этих компонентов должен присутствовать в сети. Проблему конфигурирования LECS мы рассмотрим позднее, а вот конфигурация LES/BUS показана на рис. 27.

image27.gif (9631 bytes)

 

Рис. 27. Распределение сервисов LANE

Наилучшим местом для расположения серверов LES/BUS являются модули ATM LANE, установленные в коммутаторы Catalyst 5000 уровня доступа. Каждый модуль ATM LANE является основным сервером LES/BUS для одной ELAN (Emulated LAN) и резервным для другой. При этом мы будем рассматривать пары коммутаторов, в которых один коммутатор является резервным для другого (см. рис. 28). Протокол SSRP (Simple Server Redundancy Protocol) используется для обеспечения резервирования компонентов LANE и организации взаимодействия между коммутаторами в паре.

 

Анализ отказоустойчивости

При возникновении сбоя в соединении между уровнями доступа и распределения будут запущены два механизма восстановления связи (см. рис. 28).

image28.gif (8922 bytes)

 

Рис. 28. Анализ отказоустойчивости

Во-первых, два физических подуровня интерфейса ATM LANE на коммутаторах Catalyst 5000 автоматически определят сбойную линию связи и произведут переключение трафика на резервную линию. Так как сервисы LANE сконфигурированы для этого интерфейса, то протокол SSRP обеспечит автоматическое перемещение всех этих сервисов на второй коммутатор Catalyst.

В случае выхода из строя самого коммутатора LightStream 1010 на уровне распределения интерфейсы dual PHY произведут физическое переключение, однако, без предварительной конфигурации LEC на коммутаторах Catalyst, на другом коммутаторе уровня распределения восстановление связи не произойдет. В связи с этим при проектировании сети необходимо распределить резервирование всех компонентов LANE по имеющемуся оборудованию. Также отметим, что коммутаторы LightStream могут служить резервными серверами LANE и для других пар коммутаторов Catalyst (не показано на рис. 28).

 

Масштабирование полосы пропускания между уровнями доступа и распределения

Масштабирование (увеличение) полосы пропускания между уровнями доступа и распределения можно производить двумя способами. Первый из них показан на рис. 29. При добавлении дополнительной физической линии связи можно сконфигурировать клиента LEC таким образом, чтобы две линии связи использовались как единый канал для обеспечения передачи трафика VLAN#2 и VLAN#3. Другим решением является использование линий ATM с пропускной способностью 622 Мбит/с.

image29.gif (8107 bytes)

 

Рис. 29. Масштабирование пропускной способности соединений

 

Серверы рабочих групп

Назначение и местоположение серверов рабочих групп аналогичны рассмотренным проектам сети на основе Fast Ethernet (см. рис. 30).

image30.gif (11787 bytes)

 

Рис. 30. Серверы рабочих групп

 

Большинство сетевых адаптеров ATM поддерживают возможность конфигурации, при которой адаптер становится членом сразу нескольких ELAN. Смысл использования этой возможности адаптеров заключается в создании соединений второго уровня между серверами и клиентами, необходимых для повышения пропускной способности и эффективности сетевого взаимодействия. Так же как и в случае с Fast Ethernet, адаптеры обеспечивают одновременное подключение серверов к 6-10 ELAN.

Некоторые сетевые администраторы не хотят включать серверы по технологии ATM. В этом случае можно подключать серверы рабочих групп по технологии Fast Ethernet. Для того чтобы обеспечить такую возможность, необходимо вместо коммутаторов LightStream 1010 устанавливать на уровне распределения коммутаторы Catalyst 5500, объединяющие в себе все возможности Catalyst 5xxx и LightStream 1010. В этом случае серверы могут быть подключены линиями Fast Ethernet (также обеспечивается поддержка ISL) и быть доступны по сети через линии ATM OC-3 или OC-12 (622 Мбит/с) при использовании соответствующих интерфейсных модулей в коммутаторах.

Ядро на основе ATM

Уровень распределения нашей сети построен на восьми коммутаторах LightStream 1010. Теперь необходимо объединить все это оборудование в единую отказоустойчивую сетевую систему. Для этого мы будем использовать избыточные соединения OC-12, как показано на рис. 31.

image31.gif (17238 bytes)

 

Рис. 31. Схема ядра на основе АТМ

 

Каждый коммутатор ATM уровня распределения имеет две связи OC-12 с каждым из двух коммутаторов уровня ядра. Каждый из этих двух коммутаторов имеет две связи OC-12 с двумя другими коммутаторами в пределах ядра системы, которые образуют собственно ядро системы, обладающее отказоустойчивостью и работающее по протоколу маршрутизации PNNI (Private Network-Network Interface). Этот протокол обеспечивает автоматическое восстановление соединения за счет резервных линий связи при выходе из строя основных магистралей сети.

 

Масштабирование ядра системы

Как показано на рис. 32, полоса пропускания на уровне ядра может быть увеличена за счет добавления дополнительных линий связи в тех местах, где это необходимо. Протокол PNNI автоматически определит наилучший маршрут следования потоков данных и обеспечит балансирование нагрузки между параллельными линиями связи.

image32.gif (13488 bytes)

 

Рис. 32. Масштабирование ядра на основе АТМ

 

Маршрутизация Inter-ELAN

На данном этапе проектирования наша сеть не обеспечивает взаимодействия между различными VLAN. Для решения этой проблемы нам необходимы маршрутизаторы, которые поддерживают функции взаимодействия между ELAN в составе сети ATM. На рис. 33 показаны четыре маршрутизатора Cisco 7500, которые обеспечивают все необходимые функции.

image33.gif (20991 bytes)

 

Рис. 33. Маршрутизация Inter-ELAN

 

При определении размеров маршрутизации Inter-ELAN необходимо обратить внимание на два параметра:

  • Общая полоса пропускания, необходимая для передачи маршрутов Inter-ELAN.
  • Общая пропускная способность, измеряемая в пакетах в секунду, необходимая для передачи трафика между ELAN.

Для имеющейся на данном этапе проектирования сетевой системы мы рассмотрим четыре магистральных соединения ATM OC-3 со следующими характеристиками (указаны значения, полученные при измерениях количества передач пакетов в обоих направлениях):

  • Маршрутизатор Cisco 7500 series с модулем AIP (ATM Interface Processor) ? 55 тысяч пакетов в секунду.
  • Маршрутизатор Cisco 7500 series с модулем VIP (Versatile Interface Processor) ? от 80 до 85 тысяч пакетов в секунду.

На рис. 35 показано, каким образом происходит распределение ELAN по маршрутизаторам и как разделяются нагрузки между устройствами. Однако сначала мы рассмотрим, как ELAN расположены в сети на уровне распределения.

В левой части сети (см. рис. 34) каждая ELAN закреплена за определенным коммутатором уровня распределения. Правая часть сети (не показана на рисунке) использует ту же схему распределения ELAN.

image34.gif (13372 bytes)

 

Рис. 34. Ядро на основе АТМ (детали)

Мы специально используем такой подробный уровень детализации в обсуждении проектных решений - это в дальнейшем поможет лучше понять, какой из маршрутизаторов, подключенных к ядру системы, должен обеспечивать работу той или иной ELAN и являться для нее основным маршрутизатором HSRP по умолчанию (Primary HSRP Default Gateway), и сделать правильный выбор.

При конфигурировании маршрутизации Inter-ELAN необходимо убедиться, что каждый из маршрутизаторов (см. рис. 35) подключен к каждой из 80 ELAN. Каждый из маршрутизаторов выбирается в качестве основного HSRP-маршрутизатора по умолчанию для группы из 20 ELAN. Эти группы составляются таким образом, чтобы от коммутаторов уровня распределения (см. рис. 34) до соответствующих маршрутизаторов был наиболее короткий путь.

image35.gif (9254 bytes)

 

Рис. 35. Маршрутизация Inter-ELAN (детали)

При использовании четырех маршрутизаторов для управления 80 VLAN нагрузка на каждый маршрутизатор будет достаточно большой. Кроме того, каждый маршрутизатор будет обрабатывать информацию не только о VLAN, так или иначе к нему относящихся, но и информацию о маршрутах соседей. Для оптимизации такой ситуации маршрутизаторы ставятся в пассивный режим по отношению ко всем ELAN, кроме тех, которые он обязан обслуживать.

Необходимо добавить, что здесь также располагается компонент LECS технологии LANE, о которой мы упоминали ранее. Каждый из маршрутизаторов выполняет функции сервера LECS, а благодаря использованию протокола SSRP только один из них является основным.

Подключение к внешним сетям

Оглядываясь назад на процесс проектирования сети, можно сказать, что проект сетевой системы, представленной в этом разделе руководства, обеспечивает такие же возможности по подключению внешних сетей, что и проект, основанный на технологии Fast Ethernet (см. рис. 36).

Как видно из диаграммы, некоторые маршрутизаторы, осуществляющие маршрутизацию Inter-ELAN, сконфигурированы таким образом, чтобы заниматься еще и маршрутизацией в глобальные сети. В данном случае такая конфигурация достаточно удобна, однако прежде чем конфигурировать маршрутизатор для выполнения обеих функций, необходимо как следует рассмотреть вопросы, касающиеся полосы пропускания маршрутизатора, его быстродействия, загрузки процессора и нагрузки на интерфейсные порты.

Корпоративные серверы могут быть подключены по интерфейсам ATM или LAN к маршрутизаторам или коммутаторам уровня ядра системы.

Расчет количества виртуальных подключений LANE

При построении сетей ATM не самой плохой идеей является предварительный расчет количества возможных коммутируемых виртуальных соединений (Switched Virtual Circuit, SVC), которое может понадобиться для нормальной работы сети. SVC используются для создания логической связи между компонентами активного сетевого оборудования в системе.

Рассмотрим порядок проведения расчетов.

Для каждой ELAN конфигурируются следующие компоненты LEC:

  • 2 клиента LEC на коммутаторах Catalyst 5000;
  • 4 клиента LEC на маршрутизаторах Cisco 7500;
  • 4 (предположительно) клиента LEC на серверах рабочих групп.

Максимальное число виртуальных канальных соединений (Virtual Channel Connection, VCC) определяется формулой (10*9)/2, т.е. равно 45. Сверху на VCC накладываются 20 SVC типа “точка-точка” и 2 SVC типа “точка-много точек”.

Так как общее количество VLAN - 80, то общее количество SVC определяется следующим образом:

  • общее количество SVC типа “точка-точка” равно 80*(45+20) = 5200
  • общее количество SVC типа “точка-много точек” равно 80*2 = 160
  • общее количество SVC на один маршрутизатор равно 80 + 80 + (80*9) = 880.

image36.gif (22938 bytes)

 

Рис. 36. Окончательная схема ядра на основе АТМ

Максимальное число SVC, поддерживаемое одним коммутатором LightStream 1010, - 32 000, поэтому наши 5200 SVC на 12 коммутаторов очень хорошо вписываются в это число. Количество SVC на каждый маршрутизатор также посчитано, так как именно маршрутизаторы являются теми точками сети, где происходит объединение большого количества ELAN. Модуль AIP обеспечивает поддержку не более 2048 SVC, что также подходит для данного случая.

Для обеспечения контроля над числом соединений SVC на этапе эксплуатации сетевой системы при проектировании необходимо учесть следующие рекомендации:

  • Необходимо вести строгий контроль за членством пользователей в определенных VLAN. Если для одной VLAN продолжать создавать LEC на каждом коммутаторе, то число возникающих при этом соединений SVC очень скоро выйдет из-под контроля. Это связано с тем, что количество SVC, открываемых при создании LEC, в 4 раза превосходит количество самих LEC для каждой VLAN. Если же необходимость в создании LEC на каждом коммутаторе все-таки есть, то нужно рассмотреть вопрос о переходе на протокол MPOA (Multiprotocol Over ATM). Более подробно об этом мы скажем чуть позже.
  • Необходимо убедиться в том, что протокол VTP (VLAN Trunking Protocol) запущен на всех коммутаторах Catalyst в прозрачном режиме. Такой подход гарантирует, что количество LEC не будет расти катастрофически, что приведет к уменьшению общего количества SVC.
  • При необходимости, в целях уменьшения общего числа SVC, можно уменьшить размеры VLAN и тем самым увеличить количество ELAN, что приведет к снижению числа LEC на одну VLAN (для сети, которую мы рассматриваем в данной статье, это не нужно).

Анализ отказоустойчивости

Теперь рассмотрим, как будет вести себя оборудование при различных сбоях в работе сетевой аппаратуры и линий связи.

Нормальное функционирование сети при взаимодействии между клиентами VLAN#2 и VLAN#5 показано на рис. 37.

image37.gif (24555 bytes)

 

Рис. 37. Анализ отказоустойчивости

Трафик от клиента VLAN#2 передается через соединение SVC маршрутизатору по умолчанию (основному маршрутизатору), а затем маршрутизатор перенаправляет его по другому SVC коммутатору Catalyst, обслуживающему VLAN#5.

При сбое в работе одного из коммутаторов ATM на уровне ядра происходит перераспределение маршрутов и создание новых SVC, как показано на рис. 38.

В связи с тем, что основной HSRP-маршрутизатор для этого маршрута оказался отключенным от сети, протокол HSRP перенаправит потоки данных следующему маршрутизатору. Новое соединение SVC необходимо для создания логического пути следования трафика через коммутаторы ядра. Восстановление соединений ATM осуществляется протоколом PNNI.

image38.gif (25176 bytes)

 

Рис. 38. Сбой коммутатора АТМ на уровне ядра

Вернемся к рис. 37. При сбое одного из коммутаторов ATM на уровне распределения происходит перенаправление потоков данных, показанное на рис. 39.

image39.gif (25573 bytes)

 

Рис. 39. Сбой коммутатора АТМ на уровне распределения

Интерфейс dual PHY на коммутаторе Catalyst, обслуживающем VLAN#5, так же как и протокол PNNI на коммутаторах LightStream, автоматически перенаправит потоки данных по наиболее короткому из имеющихся маршрутов. В этом случае для правильного функционирования протокола SSRP необходимо сконфигурировать резервные серверы LES/BUS для ELAN#5 на соседних с коммутатором Catalyst устройствах.

Переход к сетям ATM, использующим MPOA

Технология MPOA основывается на использовании технологии LANE для обеспечения взаимодействия между ELAN. ATM-интерфейсы коммутаторов Catalyst могут выступать в качестве клиентов MPOA (MPC), а маршрутизаторы Cisco 7500 - в качестве серверов MPOA (MPS).

При использовании MPOA взаимодействие между различными VLAN происходит, как показано на рис. 40.

image40.gif (23935 bytes)

 

Рис. 40. Применение маршрутизации MPOA

 

Общие замечания

Мы рассмотрели два альтернативных подхода к организации корпоративных сетей, основанных на современном сетевом оборудовании. Один из этих подходов предоставляет порты коммутируемого Ethernet на каждое рабочее место и использует в качестве технологии ядра системы Fast Ethernet. Другой подход основан на применении для построения ядра системы технологии ATM.

Оба рассмотренных проекта позволяют достичь целей, поставленных заказчиком при проектировании.

Преимущества проекта на Fast Ethernet

  • Простая технология.
  • Высокая плотность портов при сравнительно небольшой стоимости.
  • Простое подключение серверов по технологии Fast Ethernet.
  • Возможность миграции на технологии Fast EtherChannel и Gigabit Ethernet.

Преимущества проекта на ATM

  • Быстрое восстановление функционирования ядра системы при возможных сбоях.
  • Поддержка передачи разнородного трафика (голос, видео) на уровне ядра системы.
  • Поддержка линий связи со скоростью передачи 622 Мбит/с
  • Поддержка стандартов LANE и MPOA.

Оба проекта независимо от применяемых технологий обеспечивают наращиваемость, гибкость и единое управление сетевым оборудованием. Это достигается благодаря разделению сетевой системы на функциональные блоки и объединения коммутации пакетов второго и третьего уровня в одном оборудовании.