1. Введение
Информации, хранящейся в компьютерных системах, угрожает множество опасностей. Данные могут быть утеряны по причинам ошибок программного обеспечения, неумелой работы пользователей, сбоев физических носителей и средств связи, злонамеренной порчи данных. Абсолютной защиты от всех этих угроз не существует, риск утраты данных существует всегда.
Как показывает общемировая статистика [16], основными причинами потерь данных являются неисправная работа аппаратных средств (44%) и человеческие ошибки (32%), в основном тех, кто имеет максимальный уровень доступа к системам хранения данных компании. 14% всех случаев потерь данных происходят вследствие ошибок программного обеспечения, другие 7% происходят из-за компьютерных вирусов, а вследствие стихийных бедствий – только 3%.
Сбои приводят к приостановлению бизнес-процессов и потере данных, тем самым ставят под вопрос существование бизнеса в целом. Пожалуй, единственный способ надежно сохранить нужную информацию - периодически создавать резервные копии [43].
Внедряя системы хранения данных и резервного копирования, компания сталкивается со сложными задачами оценки ее текущих потребностей, планировании будущих объемов данных, выбора технологий и архитектур, которые должны максимально соответствовать требованиям безопасности, возможности последующего масштабирования, удовлетворять техническим требованиям скорости записи, чтения, восстановления данных и многим другим условиям. Выявить оптимальное решение очень непросто, особенно учитывая широкое многообразие существующих путей реализации систем хранения и резервного копирования, а также довольно высокую динамику изменения цен и появления новых технологий на IT рынке.
У клиентов разные приоритеты, однако, существует общая для всех проблема – стремительный рост объемов, хранимых данных, составляющий 50-100% в год [52]. Так по результатам исследования компании IDC – совокупный объем информации, хранящейся в электронном виде, в 2006 году составил 161 эксабайт (1 эксабайт равен 1018 байт). Аналитики предполагают, что за период с 2006 по 2010 годы общий объем информации увеличится, по крайней мере, в шесть раз. Соответственно, все серьезнее становится проблема надежного хранения данных и скорости доступа к ним [53].
При таких темпах роста традиционные системы становятся неэффективными, необходима оптимизация процессов хранения, создания резервных копий, внедрение решений класса ILM (Information Lifecycle Management - управление жизненным циклом информации) [52].
Резервное копирование в глазах большинства специалистов все еще не является достаточно надежным. 45% респондентов заявили, что в примерно 10% случаях испытывали неудовлетворительный результат при использовании всякого рода систем резервного копирования, причем по сравнению с данными опроса 2004 года этот показатель удвоился [8].
Отчасти это объясняется неверным выбором инструментов. По данным компании IDC, причиной 40% случаев полной утраты данных американскими компаниями является пренебрежительное отношение к технологиям хранения. При этом только 10% из этих компаний смогли вернуться к бизнесу и лишь 4% из них выжили в течение последующих трех лет [58].
Действительно, построение высокоэффективной системы хранения данных, отвечающих реальным требованиям организации, а также выбор наиболее подходящей системы резервного копирования – процесс весьма сложный и трудоемкий.
В данной статье представлена информация о широком спектре современных технологий хранения и резервного копирования данных, о тенденциях их развития и областях применимости, представлена ситуация на соответствующем сегменте рынка.
2. Сущность систем резервного копирования
Рассмотрим определение понятия резервного копирования по версии SNIA (Storage Networking Industry Association) [36].
Резервная копия (англ. backup copy) – данные, хранимые на энергонезависимых носителях, обычно удаленно, предназначенные для восстановления, в случае если оригинал копии данных утерян или недоступен.
Резервное копирование (англ. backup) – процесс создания резервных копий.
Все системы резервного копирования данных можно разделить на три типа согласно используемому методу копирования: это может быть пофайловое копирование, блочное или копирование данных на уровне приложений.
Система блочного резервного копирования (англ. image-level или block-level backup) работает напрямую с носителем, игнорируя файловую структуру, и сохраняя всѐ содержимое полностью – операционную систему, рабочие данные, настройки и прочее. Преимуществом выполнения данного вида резервного копирования является высокая скорость. Однако обычно при выполнении операций копирования требуется приостановить работу приложений, чтобы копия была целостной (англ. consistent). Некоторые системы (англ. sparse image backup) обнаруживают неиспользуемые блоки и исключают их копирование. При использовании блочного резервного копирования, довольно затруднительным является восстановление частных файлов.
При выполнении операций резервного копирования на файловом уровне (англ. file-level или file-based backup) используется файловая система. В этом случае относительно простой задачей является восстановление некоторых конкретных файлов. В целом же операции резервного копирования длятся дольше, возникает дополнительная загрузка операционной системы, а также появляется проблема доступа к открытым файлам.
Резервное копирование может производиться на уровне приложений (англ. application-level backup). Операции копирования и восстановления производятся посредством использования, специально предусмотренного в резервируемом приложении программного интерфейса API (англ. Application Programming Interface). Резервная копия представляет собой набор файлов и возможно других объектов, определяемых самим приложением, которые вместе являются отображением состояния приложения на некоторый момент времени. При данном способе резервного копирования может иметь место проблема совместимости между разными версиями приложений и систем резервного копирования, реализующих соответствующий интерфейс.
Современные системы резервного копирования реализуются как программно (англ. software-based), так и аппаратно (англ. hardware-based), а также в сочетании программных и аппаратных компонентов.
Использование чисто программных средств относительно более дешево и универсально. Они выполняют свои задачи вне зависимости от того, где и как расположено помещение для серверов, или от того, как осуществляется доступ к корпоративным приложениям с рабочих станций сотрудников. Программные решения слабо зависят от принятой архитектуры хранения и защиты данных.
Выделенные аппаратные мощности для резервного копирования позволяют не загружать основные сервера компании. Чисто аппаратные методы резервного копирования, а также другие аппаратные способы предотвращения сбоев, такие, как кластеризация серверов или использование RAID-массивов с горячей заменой дисков, довольно дороги, и предъявляют особые требования к используемому аппаратному и программному обеспечению. Подобные системы также весьма требовательны к квалификации обслуживающего персонала. Аппаратные системы резервного копирования обычно составляют часть масштабных систем хранения данных, развертываемые крупными компаниями.
Программно-аппаратная система резервного копирования состоит из аппаратных и программных компонентов. Вся логика резервного копирования, как правило, сосредоточена в программных компонентах и реализуется ими. Они управляют устройствами, процессом резервного копирования и восстановления данных, поддерживают расписание работ и реализуют дополнительные сервисные функции. Аппаратные компоненты предназначены для выполнения операций записи, хранения резервных копий и восстановления данных.
2.1. Архивирование. Отличие от резервного копирования
Большинство домашних пользователей и малых компаний не различают резервное копирование и архивирование, для них резервные копии являются и архивом [11, 8]. Рассмотрим определения понятия архивирования по версии SNIA (Storage Networking Industry Association) [36].
Архив (англ. archive) – данные, хранимые в течение длительного количества времени, в целях ведение контроля, анализа, справочных целей.
Архивирование (англ. archive) – процесс создания архивов; копирование или перемещение данных в целях хранения.
Архивирование отличается от резервного копирования, прежде всего тем, что направлено на длительное хранение информации и не предусматривает требований к скорому доступу при необходимости [11].
Если к данным архива доступ может быть получен относительно быстро, то архив называют «активным» (англ. active archive), а в случае, когда доступ требует значительного количества времени – «не активным» или «холодным» (англ. cold archive). См. [9].
Зачастую «активные» архивы используются совместно с «не активными», образуя иерархические структуры. К примеру, на «переднем крае», для частого использования могут находиться массивы дисковых накопителей, при этом менее востребованные данные хранятся на магнитных лентах.
Для «не активных» архивов практически всегда используются накопители на магнитных лентах, прежде всего из-за очень длительного срока службы.
В дисковых архивах обычно используются жесткие SATA диски, как правило, их объединяют вместе так, чтобы большая часть находилась в отключенном состоянии, и активизировалась при необходимости. Такие массивы жестких дисков называют MAID (англ. Massive Array of Inactive Disks).
Факторы, учитываемые при выборе носителей, включают не только цену на объем хранимых данных, но и, конечно же, ожидаемы срок годности носителей. Ставя задачу хранения данных в течение ста лет, и предполагая срок полезной службы используемых носителей равный 8-10 годам, нужно ожидать, что будет необходимо произвести замену оборудования как минимум 10 раз [9].
2.2. Приоритеты, учитываемые при выборе систем резервного копирования
При выборе систем резервного копирования выставляется ряд требований к характеристикам процессов резервирования и хранения, которые описываются в контракте с поставщиком и называются, как правило, SLA (англ. Service Level Agreement) - соглашением об уровне услуг. При постановке и анализе общих технических требований обычно оперируют такими понятиями как RPO, RTO, Backup Window и т.д. См. [11].
Backup Window (окно резервного копирования) – количество времени, необходимое для выполнения операций резервного копирования на целевой системе.
RPO (англ. Recovery Point Objective) – момент времени к которому требуется восстановить данные. RPO определяет насколько часто требуется производить операции резервного копирования и какое количество резервных копий требуется хранить.
RTO (англ. Recovery Time Objective) – время в течении которого требуется восстановить систему в случае необходимости. RTO будет низким в случае если существует локальная копия всех необходимых данных. Использование технологии CDP также характеризуется низким RTO.
RTA (англ. Recovery Time Actual) – действительное время восстановления. Используется в сочетании с поставленным временем RTO. Определяется экспериментально, при проведении тестирования.
Data security (безопасность данных) – уровень защиты от неавторизованного доступа к хранимой информации. Это может подразумевать как шифрование данных, так и защиту от физического доступа к системам хранения и т. п. Ограничивающие факторы
Внедряя, какую-либо систему резервного копирования необходимо понимать, что это скажется тем или иным образом на производительности обслуживаемой системы, к примеру, выбирая распределенное хранение резервных копий нужно предполагать рост трафика в сети.
Каждый подход в построении системы предполагает определенное соотношение между объемом хранимых данных, скоростью создания копий, скоростью восстановления, количеством специально обученного персонала, стоимостью приобретения и обслуживания. При этом увеличение скорости создания копий на 10% может увеличить расходы в два раза, поэтому при выборе систем нужно тщательно выбирать требования к характеристикам и планировать их изменение в будущем, чтобы предусмотреть возможность масштабирования.
Все технические характеристики системы, а также стоимость внедрения и владения существенно зависят от применяемых технологий хранения и резервного копирования.
3. Современные технологии в системах хранения и резервного копирования
Резервное копирование, являясь составной частью единой системы хранения данных компании, всецело зависит от совокупности используемых технологий, поэтому будем рассматривать технологии резервного копирования совместно с технологиями хранения.
3.1. Типы носителей данных
Выбор носителей данных непосредственно влияет на главные характеристики процессов создания копий, хранения и восстановления.
С течением времени, появляется масса новых технологий, изменяются технические характеристики носителей, цены за единицу объема, стоимость обслуживания, устаревают форматы хранения данных и интерфейсы устройств. Это обуславливает одну из проблем при хранении данных, ведь зачастую носители заменяются не потому, что закончился их срок службы, а потому, что появляются новые технологии с гораздо лучшими характеристиками или с меньшими эксплуатационными расходами [9].
В системах хранения и резервного копирования чаще других используются три вида носителей данных. Остановимся на каждом из них.
3.1.1. Магнитные ленты
Первоначально магнитные ленты (англ. magnetic tape) начали использоваться в 50-х годах, и практически с этого момента этот тип носителей данных является наиболее используемым для архивного хранения данных и резервного копирования.
Современные ленточные накопители могут вмещать до терабайта неупакованных данных (к примеру, DLT-S4, LTO-4, SAIT-2 хранят 800 Гб). Обычно библиотеки магнитных лент используются 10-15 лет до последующей замены на более новые [9].
3.1.2. Жесткие диски
Ещѐ несколько лет назад жесткие диски (англ. hard disk) очень редко применялись в масштабных системах резервного копирования, и практически не использовались при архивировании данных. Соотношение емкости и цены с каждым годом становится все более выигрышным. В настоящее время использование массивов жестких дисков в качестве основных накопителей при хранении данных уже не редкость. По прогнозам ожидается, что в ближайшее время будет наблюдаться постепенный переход от использования магнитных лент в качестве основного носителя к использованию жестких дисков.
По прогнозу IDC общемировой рынок дисковых систем хранения будет продолжать бурный рост, общий объем продаваемых накопителей данных будет увеличиваться на 50% ежегодно [23, 19].
На сегодняшний день капитальные вложения для внедрения систем резервного копирования с использованием жестких дисков выше, чем с применением магнитных лент. В то же время, эксплуатационные расходы сравнимы, а во многих случаях ниже, при использовании решений на базе жестких дисков [3]. Считается, что срок службы массивов активных жестких дисков равен 5-7 годам [9].
3.1.3. Оптические накопители
Оптические диски первого и второго поколения, такие как CD и DVD используются повсеместно. Такие оптические накопители имеют срок службы до 10 лет при соблюдении специальных условий хранения [9]. Широкое распространение постепенно получает новое поколение оптических дисков - Blu-ray Disc и HD DVD, имеющих многократно большие емкости. Все же можно с уверенностью сказать, что на сегодня оптические диски довольно плохо подходят для создания массивных хранилищ ни их основе. Все может измениться с появлением новых технологий. Уже существуют прототипы дисков с применением технологии голографической памяти (англ. holographic memory).
К примеру, оптические диски HVD (англ. Holographic Versatile Disc), созданные HSD Forum могут теоретически хранить до 3.9 Тб.
Tapestry Media – оптические диски, уже производимые американской компанией InPhase Technologies, имеют емкость 300 Гб при теоретически максимальной емкости в 1,6 Тб.
Разрабатывается технология, при которой, теоретически, может быть сохранено до 50 Тб данных на один оптический диск PCD (англ. Protein-Coated Disc). Идея заключается в покрытии диска специальным, светочувствительным белком.
3.2. RAID
Дисковые массивы с избыточностью данных, которые принято называть RAID (англ. Redundant Array of Independent/Inexpensive Disks - избыточный массив независимых/недорогих дисков) были впервые представлены в 1987 году.
В Калифорнийском университете в Беркли RAID 1 был определен как зеркальный дисковый массив, RAID 2 как массив, в котором применяется код Хемминга. Уровни RAID 3, 4, 5 используют четность для защиты данных от одиночных неисправностей. RAID 0 был представлен индустрией как не отказоустойчивый дисковый массив. Эта систематика RAID была фактически принята как стандарт [55]. Для стандартизации продуктов RAID в 1992 году был организован промышленный консорциум – RAID Advisory Board.
3.2.1. Реализация
Выделяют три основных варианта реализации RAID систем: программную (англ. software-based); аппаратную - шинно-ориентированную (англ. bus-based); аппаратную - автономную подсистему (англ. subsystem-based).
Отличаются они фактически тем, где исполняется код: в центральном процессоре компьютера (программная реализация) или в специализированном процессоре на RAID контроллере (аппаратная реализация). См. [55].
Главное преимущество программной реализации - низкая стоимость. При этом у нее довольно много недостатков: во-первых, низкая производительность; во-вторых, дополнительная загрузка центрального процессора; в-третьих, увеличение шинного трафика. Программно реализуют простые уровни RAID 0 и 1, так как они не требуют значительных вычислений. Учитывая данные особенности, RAID системы с программной реализацией используются в серверах начального уровня.
Аппаратные реализации стоят дороже, чем программные, ибо используют дополнительную аппаратуру для выполнения операций ввода-вывода, при этом они разгружают системную шину и ЦП, увеличивая тем самым быстродействие.
3.2.2. Комбинированные уровни
Разнообразие пользовательских сценариев породило множество уровней RAID, список модификаций которых продолжает пополняться. В литературе предлагается более десятка уровней, широкое практическое применение имеет в лучшем случае половина из них, а чаще всего используются RAID 1, отчасти RAID 10 (с распределением зеркалированных данных) и RAID 5 [60].
В последние годы получили распространение комбинированные уровни RAID. Общая их идея – сохранение возможно более высокой доступности данных и производительности после отказа одного из дисков. В отличие от изначально созданных уровней, описывающих алгоритмы обработки одиночных ошибок, в комбинированных основное внимание уделяется сокращению времени восстановления и снижению рисков потери данных от повторных сбоев. Комбинированные уровни реализованы в немногих изделиях, прежде всего потому, что появились относительно недавно [60].
Комбинированные уровни RAID 1+0, RAID 3+0, RAID 5+0, RAID 1+5, различные производители интерпретируют каждый по-своему. Суть таких комбинаций вкратце заключается в следующем.
RAID 1+0 (или RAID 1E) – это комбинация распределения информации по дискам (англ. striping) от RAID 0 и зеркалирования – от RAID 1. Нынешние контроллеры используют этот режим по умолчанию для RAID 1. То есть, 1 диск основной, 2-й диск – зеркало, причем чтение производится с них поочередно, как для RAID 0. Собственно, сейчас можно считать, что RAID 1 и RAID 1+0 – это просто разное название одного и того же метода аппаратного зеркалирования дисков. RAID 5+0 – это чередование томов 5-го уровня. RAID 1+5 – зеркалирование RAID 5.
Комбинированные уровни наследуют как преимущества, так и недостатки своих
«родителей»: появление чередования в уровне RAID 5+0 нисколько не добавляет ему надѐжности, но зато положительно отражается на производительности. Уровень RAID 1+5, более надѐжный, но не самый быстрый и, к тому же, крайне неэкономичный: полезная ѐмкость тома меньше половины суммарной ѐмкости дисков.
3.2.3. Matrix RAID
Matrix RAID – это технология, реализованная фирмой Intel в своих чипсетах. Строго говоря, эта технология не является новым уровнем RAID, она просто позволяет, например, используя лишь 2 диска, организовать одновременно один или несколько массивов уровня RAID 1 и один или несколько массивов уровня RAID 0. Это позволяет за сравнительно небольшие деньги обеспечить для одних данных повышенную надѐжность, а для других высокую скорость доступа.
Таким образом, обладатели SATA-контроллеров с поддержкой Matrix RAID (такие контроллеры встроены в южные мосты ICH6R и ICH7R от компании Intel) могут воспользоваться преимуществами массивов RAID-0 и RAID-1, имея всего два диска, а те, у кого есть плата с ICH7R, могут объединить RAID-5 и RAID-0, если у них есть четыре одинаковых накопителя.
3.3. Технологии соединения систем хранения с вычислительными системами
DAS, SAN, NAS – основные типы соединения систем хранения с вычислительными системами. См. [57].
3.3.1. DAS
DAS (англ. Direct Attached Storage) – устройство внешней памяти, напрямую подсоединенное к основному компьютеру и используемое только им. Простейший пример DAS – встроенный жесткий диск. Для связи хоста с внешней памятью в типовой конфигурации DAS обычно используется SCSI (англ. Small Computer Systems Interface).
Конфигурация DAS приемлема для применений, нетребовательных к объемам, производительности и надежности систем хранения. Много DAS-устройств в масштабе предприятия означают разрозненные хранилища, при этом избытки памяти на одном хост-компьютере не могут использоваться другими. Это приводит к неэффективной трате емкости хранения в целом, а в результате общая стоимость владения может оказаться значительно выше, чем для изначально более дорогой, более сложной сетевой системы.
3.3.2. SAN
Говоря о системах хранения корпоративного уровня, имеют в виду, прежде всего, сетевое хранение (англ. storage networking), или другими словами – сети хранения SAN (англ. Storage Area Network). SAN представляет собой выделенную сеть устройств хранения, которая позволяет множеству серверов использовать совокупный ресурс внешней памяти без нагрузки на локальную сеть.
На данный момент фактическим стандартом передачи данных для среды SAN является технология Fibre Channel (FC), обеспечивающая скорость 1-2 Гбит/с. Fibre Channel позволяет работать на удалении до 100 км.
В сеть хранения могут быть подключены дисковые массивы RAID, простые массивы дисков JBOD (англ. Just a Bunch of Disks), ленточные или магнитооптические библиотеки для резервирования и архивирования данных. Основными компонентами для организации сети SAN являются сами устройства хранения, адаптеры НВА (англ. Host Bus Adapter) для подключения серверов к сети Fibre Channel, сетевые устройства для поддержки той или иной топологии FC-сети и специализированный программный инструментарий. Задача программного обеспечения для SAN – централизованное управление сетью хранения, включая конфигурирование, мониторинг, контроль и анализ компонентов сети. Иногда часть функций ПО управления сетью SAN, выносится на специализированный тонкий сервер для управления сетью хранения (англ. SAN appliance).
Выделенная сеть хранения разгружает основную сеть. Этот фактор, а также высокоскоростная среда передачи, используемая в сети хранения SAN, обеспечивают высокую производительность процессов обмена данными с внешними системами хранения.
Единый пул ресурсов, консолидированный в SAN, разделяется всеми вычислительными мощностями, и в результате необходимая емкость обеспечивается меньшим числом подсистем.
3.3.3. NAS
NAS (англ. Network Attached Storage) обозначает сетевое устройство хранения, точнее выделенный файловый сервер, с подсоединенной к нему дисковой подсистемой. В конфигурацию NAS может входить и ленточная библиотека. NAS-устройство (англ. NAS appliance) напрямую подключается в сеть и предоставляет хостам доступ к данным на своей интегрированной подсистеме внешней памяти на уровне файлов (а не блоков данных).
В отличие от сетей хранения, NAS прост в установке и управлении. При подключении NAS-устройств не требуется специального планирования и затрат на дополнительное управляющее ПО.
Обмен данными с NAS-устройствами идет по локальной сети общего назначения и их подключение увеличивает трафик. Несколько NAS-устройств нельзя объединить в единый ресурс хранения, а потому увеличение числа NAS-узлов усложняет задачу управления.
3.3.4. Объединение NAS и SAN
NAS и SAN часто сосуществуют в распределенной ИТ-инфраструктуре компании. Это неизбежно порождает проблемы управления и оптимального использования ресурсов хранения.
Конвергенция NAS и SAN – одна из важнейших тенденций последнего времени. Производители ищут пути объединения обеих технологий в единую сетевую инфраструктуру хранения, которая обеспечит консолидацию данных, централизацию резервного копирования, упростит администрирование, увеличит масштабируемость и защиту данных.
Для того чтобы добавить в сеть хранения возможность разделения логической структуры файловых систем, необходим промежуточный управляющий сервер для реализации всех функций сетевых протоколов обработки запросов на уровне файлов. Общий подход к объединению SAN и NAS - использование NAS-устройства без интегрированной дисковой подсистемы, но с возможностью подключения компонентов сети хранения. Эти устройства являются своеобразным буфером между локальной сетью и SAN, обеспечивая разделение информации в сети хранения и доступ к данным на уровне файлов. Такие устройства, у одних производителей называются NAS- шлюзами, у других головными NAS-устройствами.
3.4. Виртуализация систем хранения
Ведущие игроки рынка систем хранения не просто объединяют свои продукты, как например TotalStorage у IBM, или SureStore у НР, а формулируют собственные стратегии создания консолидированных, сетевых инфраструктур хранения и защиты корпоративных данных. Ключевую роль в этих стратегиях играет идея виртуализации, поддержанная главным образом на уровне мощных программных решений централизованного управления распределенными хранилищами [57].
Виртуализация систем хранения обычно определяется как комплекс мер для представления ресурсов различных систем хранения в виде объединенного виртуального хранилища. Фактически виртуализация разделяет логический и физический уровни доступа к данным, позволяя объединять физические устройства хранения в виртуальные пулы. Процессы взаимодействия с физическими носителями и распределения емкости становятся прозрачными для серверов и приложений и не требуют их участия. При этом сервер непосредственно работает не с системой хранения, а с абстрактной виртуальной системой ввода-вывода.
Концепция виртуализации в ее современном виде появилась почти 10 лет назад. Но, рынок не был к ней готов, а коммерческим решениям по виртуализации немногим более 5-ти лет, поэтому пока можно говорить о начальном этапе развития технологии [53].
3.5. Концепция многоярусных хранилищ
Концепция хранения данных в несколько ярусов (англ. staging) основана на том, что существует несколько уровней хранилищ с разными характеристиками, объединенными в одно [20].
Обычно изначально данные копируются в хранилища с высокой скоростью доступа, но ограниченной вместимостью (как правило, какие-либо массивы жестких дисков). После некоторого периода времени, данные копируются на носители с более низкой скоростью доступа, но с большим объемом [20].
Метод резервного копирования, при котором данные копируются или архивируются изначально в хранилище на базе жестких дисков, а затем, периодически, некоторые части хранимых данных переносятся в хранилища с применением ленточных накопителей, обозначают disk-to-disk-to-tape (D2D2T). Так могут обозначать также те решения, где в качестве вторичных накопителей используются оптические носители данных.
Данные опроса Excillio Group Inc. [15] показали, что 33% из опрошенных респондентов в 2008 году планируют внедрить резервное копирование disk-to-disk-to- tape.
3.6. Виртуальные ленточные библиотеки
Виртуальная ленточная библиотека VTL (Virtual Tape Library) – выделенное вычислительное оборудование, которое эмулирует накопители физической ленточной библиотеки. См., например, [20, 41].
VTL обычно состоят из трех компонентов: компьютерного оборудования, программного обеспечения, и RAID массива жестких дисков. Программное обеспечение эмулирует ленточную библиотеку, RAID массив обеспечивает высокую надежность хранения. Приложения резервного копирования используют эмулированные ленты, хотя фактически данные хранятся на дисковом массиве.
Виртуальные ленточные библиотеки дополняют решения для хранения данных на физических лентах и обеспечивают два уровня хранения: первичная резервная копия размещается на жестком диске, вторичная – на магнитной ленте. Внедрение VTL позволяет сократить время операций копирования и восстановления, не требуя изменения имеющихся процессов или рабочих нагрузок.
Данные опроса Excillio Group Inc [15] показали, что 14% респондентов планируют внедрить VTL в 2008 году.
3.6.1. Принцип работы
Все системы VTL эмулируют работу одного или нескольких ленточных накопителей. Однако это не означает, что возможна запись сохраняемых данных непосредственно на ленточные устройства.
Системы работают в соответствии с разными технологиями. В рамках одной из них программное обеспечение виртуальной ленты управляет только устройством хранения на жестких дисках, но не физическими ленточными накопителями. В рамках другой технологии виртуальная ленточная библиотека предусматривает использование процессоров аппаратного обеспечения для перемещения данных между жестким диском и лентой.
3.6.2. Масштабируемость
Как правило, виртуальные ленточные библиотеки довольно легко интегрируются в имеющуюся инфраструктуру резервного копирования. VTL предоставляют возможность постепенного перехода с ленточных накопителей на решение хранения данных, полностью базирующееся на жестких дисках.
На рынке представлены самые разные виртуальные ленточные решения – от отдельных библиотек для небольших вычислительных центров, до систем, предназначенных для предприятий с большим количеством серверов.
3.6.3. Производительность
Преимущество виртуальных ленточных систем состоит в ускорении процессов резервного копирования и восстановления данных.
Общая производительность системы и ее пропускная способность зависят от многих факторов. К ним относятся вычислительная мощность контроллеров систем хранения, скорость жестких дисков, метод управления жесткими дисками, количество и виды маршрутов к жестким дискам сервера баз данных, эффективность встроенного программного обеспечения. На скорость оказывает также влияние функция интегрированного сжатия данных.
VTL не эмулирует полностью работу ленточных накопителей, скорость и чтение происходит настолько быстро, насколько могут работать жесткие диски в массиве виртуальной библиотеки. А поскольку VTL лишь эмулируют ленты, поэтому они обычно работают с, гораздо меньшими окнами резервного копирования, чем решения на базе реальных магнитных лент.
Восстановление специфичных данных с использованием VTL будет работать быстрее, чем при использовании реальной библиотеки ленточных накопителей. В тоже время восстановление больших объемов данных наоборот будет, скорее всего, быстрее с использованием реальных магнитных лент, ибо чтение будет происходить параллельно.
3.7. Шифрование резервных копий
Раньше защита хранилищ данных c применением шифрования считалась излишней, ибо хранилища как таковые были ―скрыты‖. С появлением новых технологий хранения данных все изменилось, сети хранения SAN стали управляются посредством IP-соединений [25].
Магнитные ленты более других носителей подвержены опасности краж и потерь [2]. К примеру, известный случай с украденной магнитной лентой с незашифрованными данными, принадлежащей Bank of America, а также случаи с другими крупными компаниями такими, как Time Warner, Ameritrade, DSW Shoe Warehouse [25].
Однако многие компании по-прежнему не шифруют резервные копии на магнитных лентах. В соответствии с исследованиями ESG (Enterprise Strategy Group)
[24] 60% опрошенных компаний никогда не шифровали создаваемые резервные копии, причем относительно компаний финансового сектора этот показатель составляет 65%, для правительственных – 77, здравоохранения – 67%.
Шифрованием пренебрегали, прежде всего, из-за сильной загрузки ресурсов, а также из-за довольно трудной задачи управления ключами доступа [25]. Защита данных непростая задача, однако не может быть проигнорирована.
Системы хранения, обычно обеспечены устройствами аппаратного сжатия данных. Важно отметить, что предварительно зашифрованные данные плохо поддаются последующему сжатию. Пользователь может отключить практически бесполезное аппаратное сжатие шифрованных данных, тем самым многократно увеличив требуемый объем для хранения.
Не самым простым решением является изначальное сжатие данных, а затем последующее их шифрование. Возможно, наиболее практичным в общем случае решением является выбор для шифрования только наиболее важных в смысле безопасности данных [2].
3.8. Технология непрерывной защиты данных
SNIA (Storage Networking Industry Association) в официальном определении технологии непрерывной защиты данных CDP (англ. Continuous Data Protection) указывает, что система резервного копирования, реализующая CDP, должна быть способна восстановить любую версию каждого хранимого файла на любой момент времени. Это очень жесткое определение и многие системы, называющие себя CDP- решениями, не удовлетворяют таким требованиям [11]. В связи с этим системы делятся на «настоящие» CDP (англ. pure CDP или true CDP), и на псевдо-CDP решения (англ. near CDP).
Near CDP решения сходны по принципу работы с традиционными, однако спроектированы так, что позволяют производить операции резервного копирования очень часто, поэтому такого рода решения тоже помечаются производителями как реализующие подход непрерывной защиты данных.
Технология «настоящей» непрерывной защиты данных true CDP отличается от
традиционных подходов и near CDP, прежде всего тем, что операции резервного копирования проходят не по заданному расписанию, а сразу при изменении данных.
В 2004 году еще практически никто еще даже не слышал о технологии непрерывной защиты данных CDP. В обзоре электронного журнала ― «InfoStor» 2005 года [34], выяснилось, что в 29% опрошенных компаний не знают какие ключевые проблемы решаются посредством использования данной технологии, а среди тех, кто смогли назвать хоть что-то - ответы сильно разнились. 15,7% вообще не знали, что такое CDP.
В настоящее время о данной технологии знают практически все специалисты в области систем хранения и защиты данных как об эффективном и легком в использовании инструменте резервного копирования критически важных данных [8].
Решения на базе технологии CDP являются довольно надежными и предоставляют, как правило, богатый функционал, однако требуют специально обученный персонал и их внедрение обуславливает приобретения дорогой инфраструктуры. Крупные компании могут установить собственное выделенное оборудование для CDP. Для частных лиц и небольших компаний является более предпочтительным использование онлайн-сервисов резервного копирования базирующихся на технологии CDP [11].
3.9. Технология исключения дублирования данных
По данным Seagate [33], за последние два десятка лет производительность процессоров увеличилась более чем в два миллиона раз, в тоже время производительность жестких дисков – только лишь в одиннадцать. В настоящее время производительность нарастает путем увеличения количества ядер в процессорах.
Очевидно, что разработчики систем резервного копирования стараются теперь в большей степени использовать ресурсы процессоров, нежели чем привязывать производительность работы систем к характеристикам устройств накопителей [31].
Дедубликация (англ. de-duplication) – процесс определения идентичных элементов во многих разных версиях и копиях данных, и последующего удаления избыточных копий.
Основная идея внедрения дедубликации – уменьшение объемов, хранимых данных, не ухудшая при этом прочие характеристики. Однако, дедубликация – сложный процесс, который довольно затруднительно реализовать, так что бы он ни снижал производительность. Использование дедубликации может существенно ухудшить показатели скорости восстановления данных. См. [31, 4].
Непосредственно процесс дедубликации может происходить до того, как данные будут записаны в целевое хранилище (англ. in-line de-duplication) или уже после записи (англ. post-process de-duplication). Решения, которые выполняют процесс дедубликации после записи, требуют большего объема хранилищ, ибо данные изначально сохраняются полностью [4].
Главным преимуществом внедрения дедубликации является существенная экономия дискового пространства. По данным исследований компаний ESG Lab и Excillio Group Inc. [4, 15], в ходе тестирования технологии дедубликации различных производителей, включая Avamar (EMC), Data Domain, Diligent, было выявлено, что в среднем объем данных для хранения снижается в 10-20 раз, при этом иногда удается достигнуть снижения в 40 раз.
В результате недавних исследований ESG [3] было выявлено, что 33% респондентов считают, что технология дедубликации является важной составной частью внедренных систем резервного копирования на базе жестких дисков (D2D – Disk-to-disk). Это особенно высокий показатель, учитывая, что данная технология появилась относительно недавно. Опрос [15] показал, что 17% респондентов планируют внедрить технологию дедубликации в 2008 году.
3.10. Технология теневого резервного копирования
3.10.1. Проблема открытых файлов. Традиционные пути решения
Для большинства компаний не представляется возможным остановить работу систем, чтобы выполнить целостную копию всех данных. То есть операции резервного копирования должны производиться, когда все системы запущены и работают.
Открытые файлы были всегда проблемой для процесса резервирования. Зачастую системы резервного копирования пропускают такие файлы, или сохраняют копию непригодную для использования после восстановления.
Одним из существующих подходов является принудительное закрытие файлов или выдача сообщения пользователю с просьбой закрыть используемые программы.
При создании резервных копий также могут возникнуть проблемы синхронизации. К примеру, компания использует систему управления взаимоотношениями с клиентами CRM (англ. Customer Relationship Management), которая работает непосредственно с бухгалтерскими системами. Может так случиться, что во время создания резервных копий баз данных CRM были сделаны изменения в связанных базах данных бухгалтерии, которые будут копированы позже. При восстановлении окажется, что совокупность всех данных не является целостной.
Существует два традиционных пути решения проблемы открытых файлов.
Во-первых, некоторые компании производители систем резервного копирования предоставляют инструменты, интегрируемые в целевые приложения (англ. application agents), для обеспечения возможности создания целостных резервных копий по требуемому расписанию [30].
Во-вторых, разработчики систем резервного копирования создают специфичные для их продуктов, в некотором роде универсальные системы, позволяющие работать с любыми открытыми файлами в системе (англ. generic open file utilities). Большинство универсальных систем ограничены в своих возможностях создавать синхронизированные копии в масштабе всей системы. Проблема в данном случае сопряжена с данными, распределенными на разных физических носителях [30].
3.10.2. Microsoft Volume Shadow-Copy Service
Microsoft Volume Shadow-Copy Service (VSS) – это инфраструктура операционных систем Microsoft для работы систем резервного копирования с открытыми в системе файлами.
Первоначально подобная технология была реализована в ОС Windows XP, и носила название Volume Snapshot Service, которая работала только с программой резервного копирования поставляемой в комплекте с ОС. В операционной системе Windows Server 2003 функциональность данной технологии была значительно расширена.
VSS обращается к приложениям, чтобы определить может ли быть выполнена копия, другими словами – снимок данных (англ. snapshot). Снимок данных – это копия данных на некоторый момент времени. Далее VSS обращается к ОС и к работающему с данными приложению, чтобы «заморозить» выполнение задач и скопировать необходимые данные. Если не приостановить выполнение, копируемые данные могут стать непригодными для работы после восстановления, потому что копирование может произойти в процессе работы программы с данными. После этого VSS дает возможность работать программе резервного копирования со снятой копией. См. [30].
Для работы описанного процесса резервного копирования, необходимо, чтобы приложение, работающее с данными, и система резервного копирования были «VSS совместимыми». VSS совместимость означает что компонент, участвующий в процессе резервного копирования, специально спроектирован в соответствии с предоставленной Microsoft документацией, описанной в SDK (англ. Software Development Kit – набор средств для разработки) [30].
Не все приложения могут быть, и будут интегрированы в инфраструктуру VSS. Существует ряд приложений, которые принципиально не могут поддерживать VSS. К примеру, клиент-серверные приложения, которые хранят свои данные на одной системе, а исполняются на другой (e.g. «толстый клиент»).
В некоторые приложения разработчики могут вообще никогда не внедрять поддержку VSS просто по своему усмотрению.
VSS не является простым решением для внедрения, ибо приложения должны реализовывать определенные интерфейсы и протоколы. В силу выше упомянутых сложностей уровень адаптации технологии VSS невысок [30].
3.11. Сервисы удаленного резервного копирования
Сервисы удаленного резервного копирования (англ. remote backup или online backup) позволяют создавать копии данных и хранить их удаленно, при этом доступ к файлам можно получить в любом месте, где есть подключение к сети Интернет (иногда требуется установка соответствующего ПО).
Большинство компаний, поставляющих данного рода услуги, появились в конце 1990-х годов, в течение нескольких последних лет их число намного выросло.
Сегодня большинство провайдеров online-сервисов резервного копирования позиционируют свои услуги используя модель SaaS (Software as a Service – программное обеспечение как услуга). SaaS – это такая форма предложения программного обеспечения потребителю, при которой поставщик разрабатывает веб- приложение, размещает его и управляет им для того, чтобы предоставлять возможность его использования заказчиками через Интернет. Заказчики платят не за владение программным обеспечением как таковым, а за возможность его использование через Интернет. Оплата взимается обычно как ежегодная или ежемесячная абонентская плата с учетом объемов хранимых данных.
Несомненным преимуществом сервисов удаленного резервного копирования является то, что их использование огораживает пользователя от необходимости устанавливать и поддерживать собственные системы хранения, а удаленное размещение увеличивает их безопасность.
Однако скорость создания резервных копий и восстановления значительно ограничена пропускной способностью подключения к Интернету.
4. Алгоритмы резервного копирования
Вместе c быстрым ростом объемов, хранимых данных возрастает сложность их защиты, используя стандартные традиционные алгоритмы резервного копирования. Каждый алгоритм резервного копирования делает компромисс между основными характеристиками процессов создания копий и операций восстановления данных. Важнейшими из них являются скорость репликации, требуемый объем памяти для хранения резервных копий, скорость восстановления [6, 27].
4.1. Моделирование алгоритмов резервного копирования
Для возможности формального описания различных схем резервного копирования необходимы понятия состояния данных и элементов репозитория. Итак, рассмотрим некоторую систему резервного копирования, которая создает копии данных в последовательные запланированные моменты времени {tk, где k=0,1,2,…,T}. Систему данных для резервного копирования на момент времени tj Î tk обозначим как Dj. При описании алгоритмов будем предполагать, что начальное состояние данных D0
– пустое, а D1 нет.
Каждая сделанная копия данных сохраняется в некотором хранилище данных - репозитории. Каждую такую копию будем называть элементом репозитория. Элемент репозитория, который содержит изменения между состояниями данных с момента tl до момента tl+n, то есть от Dl до Dl+n обозначим как Rn , где l и n – целые, причем n>0, l≥0. Учитывая, что начальное состояние данных пустое, Rn фактически означает полную
резервную копию состояния данных в момент tn, то есть копию Dn.
Рассмотрим различные алгоритмические подходы в системах резервного копирования, как традиционные, так и нетривиальные; используя введенную терминологию, дадим определения и запишем общий вид, который может быть использован для дальнейшего количественного анализа.
4.1.1. Полное резервное копирование
Полное резервное копирование (англ. full backup) является традиционным подходом в резервном копировании. Процесс резервирования включает копирование всех данных, выбранных для резервного копирования, вне зависимости изменились они или же нет, в каждый момент резервирования tjÎtk, как показано на рисунке 1.
Рисунок 1
Определение. Алгоритм резервного копирования, в процессе работы которого последовательно в моменты времени {tk, где k=0,1, 2, …,T} создается набор элементов
репозитория вида R={
;
;
}, называется алгоритмом полного
резервного копирования.
Такой метод является простейшим алгоритмическим подходом. Следует заметить следующие недостатки: копирование всех файлов является медленным, а хранение полных резервных копий на каждый момент времени требует много места. См. [28].
4.1.2. Инкрементное резервное копирование
Инкрементное резервное копирование (англ. incremental
backup) также является традиционным алгоритмическим подходом. Изначально, в
момент времени t1 создается
полная резервная копия данных , а затем, в последующие моменты, создаются копии файлов,
измененных с момента последнего резервирования, то есть 
;
и так далее. Рисунок 2 иллюстрирует данную схему.
Рисунок 2
Определение.
Алгоритм резервного копирования, в процессе работы которого последовательно в моменты
времени {tk, где k=0,1,2,…,T} создается набор элементов репозитория вида R={;
;
}, называется инкрементным.
Инкрементное резервирование занимает меньше времени, так как данных копируется меньше. Однако процесс восстановления данных занимает значительное количество времени, так как требуется доступ к большим объемам данных, ибо должны быть восстановлены данные из полной резервной копии, плюс данные всех последующих инкрементных резервирований. См. [13]
Возможен еще один вариант
работы, когда каждая создаваемая инкрементная копия тут же применяется к
существующей полной резервной копии, в этом случае называемой зеркало (англ.
мirror), и затем создается обратная инкрементная копия (англ. reverse
incremental). В результате работы такой схемы в наличии всегда
существует полная резервная копия и набор обратных
инкрементных, содержащих данные об изменениях для возможного восстановления на
предыдущие моменты времени.
4.1.3. Дифференциальное резервное копирование
При дифференциальном резервном копировании (англ.
differential backup) изначально, в
момент времени t1 создается полная резервная копия данных , а затем, в последующие
моменты, создаются копии, содержащие данные, измененные с момента последнего полного резервирования, то есть ,
и так далее. Данная схема проиллюстрирована
на рисунке 3.
Рисунок 3
Определение. Алгоритм резервного копирования, в процессе работы которого последовательно в моменты времени {tk, где k=0,1,2,…,T} создается набор элементов
репозитория вида R = {;
;
}, называется дифференциальным.
Дифференциальное резервирование ускоряет процесс восстановления – для восстановления необходимо восстановить данные из полной резервной копии и последней дифференциальной [28].
4.1.4. Мультиуровневое резервное копирование
Между крайностями традиционных алгоритмов полного и инкрементного копирования есть другие алгоритмы, позволяющие найти нужный баланс между основными характеристиками процессов резервного копирования.
Мультиуровневая схема (англ. multi-level backup) работает таким образом: резервное копирование ведется в несколько уровней: на 0-ом уровне создаются полные резервные копии; на последующих – копируются файлы, модифицированные с момента предыдущего резервного копирования более низкого уровня.
Рисунок 4
На рисунке 4 представлена иллюстрация работы алгоритма мультиуровневой схемы для трех уровней и 12-ти периодов резервного копирования. Сплошными линиями на рисунке обозначены операции резервного копирования нулевого уровня, пунктиром – первого, пунктиром с точками – второго.
Опустим запись работы в общем виде для этой и последующих схем, потому что они довольно сложны и каждая требует дополнительных пояснений.
В общем, данный алгоритм обладает хорошими характеристиками по сравнению с традиционными алгоритмами полного и инкрементного копирования. Для восстановления данных необходимо воспользоваться последними элементами репозитория каждого уровня. Время необходимое для восстановления к исходному состоянию не на много превосходит время для схемы полного резервного копирования. Общее количество места необходимое для хранения резервных копий сравнимо с требованиями инкрементного подхода.
Уровневая схема имеет недостаток – неравномерное во времени использование памяти для создания резервных копий. Так на некоторые дни выпадает необходимость сохранять в десятки раз больше данных, чем в другие, то есть пользователь должен содержать оборудование, которое должно справляться с потребностями нулевого уровня, и которое будет простаивать большую часть времени. См. [27].
4.1.5. Схема А.М. Костелло, К. Юманса, Ф. Ву
Рассмотрим схему резервного копирования, разработанную А.М. Костелло, К. Юмансом и Ф. Ву в Университете Калифорнии в Беркли, США.
При работе данного алгоритма копирование ведется параллельно, в несколько уровней, в результате создается совокупность наборов элементов репозитория. На 0-ом уровне создание резервных копий идентично инкрементной схеме. Все прочие уровни избыточны – создаются для увеличения скорости восстановления.
Рисунок 5
На рисунке 5 представлена иллюстрация схемы Костелло-Юманса-Ву для трех уровней и 12-ти периодов резервного копирования (параметр схемы «база» b=2).
Частичное создание на рисунке обозначено элементами репозитория в скобках. Сплошными линиями на рисунке обозначены операции резервного копирования нулевого уровня, пунктиром – первого, пунктиром с точками – второго.
Элементы резервного копирования создаются постепенно в несколько подходов, за несколько моментов резервного копирования, что обеспечивает ровное использование объема репозитория во времени и делает пригодным для online-режима работы [7].
4.1.6. Алгоритм «Z scheme»
Алгоритм резервного копирования «Z scheme» разработан в Технологическом Институте в Джорджии, США. «Z scheme» осуществляет параллельные операции резервного копирования также в несколько потоков, в результате создается совокупность наборов элементов репозитория. На нулевом уровне создание резервных копий идентично инкрементной схеме. Все прочие уровни избыточны и создаются для увеличения скорости восстановления.
Файлы копируются некоторым потоком уровня i если только он был изменен bi моментов создания резервных копий (например, дней) назад, где b – внешний параметр схемы, называемый базой (англ. base). Нулевой уровень есть не что иное, как инкрементная схема. См. [26].
Алгоритм «Z scheme» близок по основным характеристикам к мультиуровневой схеме, но лишен недостатка, связанного с неравномерным использованием памяти.
4.2. Получение количественных характеристик моделируемых алгоритмов
В результате работы схем резервного копирования создаются наборы элементов репозитория. Для того чтобы получить количественные характеристики объема репозитория, требуемого для работы того или иного алгоритма, необходимо каждому элементу репозитория поставить в соответствие некоторое действительное число, обозначающее его объем.
Прежде всего, необходимо ввести предположения о начальном состоянии данных, а также о характере их роста и изменения, затем нужно ввести функцию, которая будет ставить в соответствие каждому элементу репозитория положительное действительное число, обозначающее объем требуемой памяти для хранения этого элемента. Значение функции складывается из объема прибавленных данных и объема измененных данных за промежуток, соответствующий рассматриваемому элементу репозитория.
Используя записи алгоритмов в общем виде, мы можем составить совокупность хранимых элементов репозитория на каждый момент времени работы алгоритма. Далее, поставив в соответствие каждому элементу репозитория число, обозначающее его объем, и просуммировав их все, мы получим оценку места, требуемого для хранения резервных копий, необходимого для работы рассматриваемой схемы.
Нужно, однако, заметить, что каждый алгоритм резервного копирования в такого рода модели будет давать несколько меньшие значения, что объясняется отсутствием учета наличия служебной информации необходимой в реальных системах резервного копирования для работы. Чтобы это компенсировать, нужно ввести корректирующие коэффициенты.
Данный подход построения оценок был проверен путем сопоставления модельных данных с результатами экспериментов, проведенных в Университете Мериленда в Балтиморе, США [27], где испытывались системы резервного копирования в реальных условиях.
Для иллюстрации работы схем приведем данные одного из модельных экспериментов на рисунке 6.
Рисунок 6
Анализ показал, что этот подход имеет достаточную точность не только для сравнительной оценки алгоритмов, но и для вычисления абсолютных величин объемов репозитория. К примеру, отличие модельных данных от экспериментальных для схемы полного резервного копирования составило менее 3%.
Описанный метод применим при проектировании новых схем резервного копирования, ибо помогает априорно аналитически оценивать одну из основных характеристик процессов резервирования – объем требуемого места для хранения. Таким образом, создаваемый алгоритм резервного копирования сначала исследуется в модели, затем уже реализуется программно и тестируется. Описанный метод пригоден также для построения системы прогнозирования в современных системах резервного копирования.