Федухин А.В., Муха А.А.

УДК 681.3; 004.274

А.В. ФЕДУХИН, А.А. МУХА, А.А. МУХА

ПЛИС-СИСТЕМЫ КАК СРЕДСТВО ПОВЫШЕНИЯ ОТКАЗОУСТОЙЧИВОСТИ

Abstract. In this paper, we consider there are trends in the development of management information systems in the

context of the acquisition of the properties of fault tolerance when used for their construction FPGA-based systems. It

is investigated the benefits of FPGAs to the MP in terms of possible risks and their compliance with international

standards of the industry. Examples of the use of FPGA-based in various fields of science and technology are given.

Key words: FPGA, FPGA-based systems, fault tolerance.

Анотація. У статті розглянуті тенденції розвитку інформаційно-управляючих систем у контексті

набуття ними необхідних чинників відмовостійкості при використанні ПЛІС для їх побудови. Досліджено

переваги ПЛІС перед МП з погляду можливих ризиків та їх відповідності міжнародним стандартам галузі.

Наведено приклади використання ПЛІС-систем у різних областях науки і техніки.

Ключові слова: ПЛІС, ПЛІС-система, відмовостійкість.

Аннотация. В статье рассмотрены тенденции развития информационно-управляющих систем в

контексте приобретения ими необходимых свойств отказоустойчивости при использовании для их

построения ПЛИС-систем. Исследованы преимущества ПЛИС перед МП с точки зрения возможных рисков

и их соответствия международным стандартам отрасли. Приведены примеры использования ПЛИС-

систем в различных областях науки и техники.

Ключевые слова: ПЛИС, ПЛИС-система, отказоустойчивость.

1. Введение

В связи с большими темпами развития микропроцессорной техники становятся доступными все

новые и новые возможности реализации многих, до сих пор невозможных, проектов. Уже не

вызывает сомнения и то, что в подходах к проектированию микропроцессоров происходят большие

изменения, связанные с организацией внутренней структуры. Все эти изменения не могут быть не

отмеченными научным сообществом. В связи с этим проводились многочисленные исследования

одного из таких относительно новых подходов к реализации отказоустойчивых систем, как

программируемые логические интегральные схемы (ПЛИС, англ. Programmable logic device, PLD), а

именно ПЛИС такого вида, как программируемые пользователем вентильные матрицы (ППВМ,

англ. Field

- programmable gate array, FPGA), которые, благодаря своей гибкой структуре,

позволяют не только реализовывать сложные проекты на одном кристалле и проводить

многоуровневую верификацию на всех этапах разработки [1], но и позволяют осуществлять

оперативную реконфигурацию внутренней архитектуры в процессе их функционирования. Именно

поэтому использование ПЛИС-систем дает возможность по-новому подойти к решению вопросов

резервирования и распараллеливания процессов управления, тем самым совершив переход на

новую фазу развития многоверсийных систем

(МВС) и технологий

(МВТ), обеспечивающих

отказоустойчивость информационно-управляющих систем

(ИУС)

[2]. В частности, над такими

проектами работали и работают в настоящее время ряд отечественных организаций, среди

которых ИПММС НАН Украины, НАУ им. Н.Е. Жуковского "ХАИ", НТСКБ "Полисвит" и др. Ими был

проведен обширный анализ применения ПЛИС и микропроцессоров при разработке систем,

влияющих на безопасность АЭС. В печати опубликован ряд работ [3] по использованию ПЛИС-

систем для различных критических приложений. В выполненных работах ПЛИС-системы

рассматриваются как основной элемент ИУС АЭС. Однако сферы применения ПЛИС-систем могут

быть значительно шире. Поэтому данный вопрос требует дальнейшего детального анализа

возможностей применения этой технологии для построения отказоустойчивых и гарантоспособных

198

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

информационно-управляющих компьютерных систем (ИУКС) в ракетно-космической, транспортной,

энергетической, машиностроительной отраслях, в средствах связи, военном деле и т.д.

Целью данной работы является анализ и исследование актуальности и перспективности

использования ПЛИС-систем для построения автономных (закрытых) ИУКС в условиях критических

инфраструктур и технологий.

2. Тенденции развития

Анализ основных тенденций и перспективных направлений построения отказоустойчивых и

гарантоспособных объектов ИТ-технологий показывает, что они направлены в первую очередь на

предупреждение появления отказов (сбоев) системы средствами оперативной (автоматической) их

нейтрализации и устранения внутри функциональных блоков системы, а также на предотвращение

непреднамеренных и злонамеренных вторжений в процесс работы систем за счет аппаратной,

программной и временной избыточности. Все это существенно усложняет структуру и архитектуру

системы, с одной стороны, а, с другой, - требует эффективных мер по обеспечению достаточного

уровня надежности за счет:

а) микроминиатюаризации аппаратно-программных вычислительных средств;

б) частичной передачи системных технологий обеспечения отказоустойчивости из области

чисто аппаратных средств в сферу программного обеспечения;

в) частичной интеллектуализации логики процессов противостояния негативным влияниям.

Дискретные системы.

Поколение 1

Модульная организация электронной аппаратуры

Процессоры с интерфейсом для дискретной логики.

Поколение 2

Модульная организация электронной аппаратуры

Контроллеры с интерфейсом из ПЛИС низкой интеграции.

Поколение 3

Модульная организация электронной аппаратуры

Поколение 4

Контроллеры с интерфейсом из ПЛИС низкой интеграции.

Одномодульная организация электронной аппаратуры

Поколение 5

Построение SОC (ПЛИС высокой интеграции).

Одноплатная/однокристальная организация электронной аппаратуры

Рис. 1. Эволюция развития электронной аппаратуры

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

199

В этом контексте ПЛИС-технология выходит на передний план и становится одним из

ключевых элементов концепции построения "системы на кристалле" (System on Chip-SOC) [4].

Новые поколения таких микросхем способны конкурировать со сверхбольшими интегральными

схемами

(СБИС) как по числу вентилей, производительности и надежности, так и по

функциональности. Кроме того, уже сегодня существуют ПЛИС, не требующие внешних средств

для хранения и загрузки базовой конфигурации и готовые к работе с момента подачи питания.

Таким образом, внедрение концепции "системы на кристалле" является одним из приоритетных

направлений развития современной электроники, что, по сути, определяет технологию построения

электронной аппаратуры будущих поколений (рис. 1).

Среди основных преимуществ "системы на кристалле", спроектированной на базе ПЛИС,

следует выделить глубокую оптимизацию внутренней структуры и отсутствие чрезмерной

избыточности, характерной для систем, построенных на основе универсальных компонентов. Так,

например, поток данных организовывается непосредственно между контроллерами, а не через

микропроцессорную шину. В таких системах за счет высокой оптимизации достигается снижение

энергопотребления, повышение надежности и производительности, уменьшение объема

аппаратной отладки.

3. Анализ надежности ПЛИС

В процессе разработки отказоустойчивых и гарантоспособных систем, который начинается с

тщательной подготовки к проекту и заканчивается многоуровневой верификацией и тестированием,

так или иначе ключевым является момент выбора оптимальной элементной базы, которая должна

удовлетворять определенным требованиям.

Самые высокие требования предъявляются, например, к электронным компонентам

бортовых систем космических аппаратов. В [3] приведены результаты исследований по анализу

применения ПЛИС и микропроцессоров в разработке ИУС, обеспечивающих безопасность АЭС. В

работе был проведен анализ рисков (Hazards Analysis) для сравнительного анализа ПЛИС и

микропроцессоров и анализ применения (Service Analysis) для демонстрации соответствия ПЛИС

предъявляемым требованиям по безопасности и реализации необходимых функций. Такие

методики анализа рисков и анализа применения, рекомендованные международными стандартами

[5] и апробированные многолетней практикой использования для оценки ИУС, широко

используются в таких критических областях применения, как авиационная и космическая, атомная

энергетика и транспорт.

В табл. 1 подведены итоги сравнительного анализа рисков, связанных с применением

ПЛИС и микропроцессоров [3].

Таким образом, применение ПЛИС позволяет снизить риски десяти из шестнадцати видов

общих рисков, которые возникают как в случае применения ПЛИС, так и в случае применения

микропроцессоров. В то же время рассмотрение специфических рисков, возникающих в случае

применения ПЛИС, позволило сделать вывод, что риски данной группы незначительны и могут

быть снижены с использованием стандартных или специальных апробированных решений.

200

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

Таблица 1. Результаты сравнения рисков, связанных с применением ПЛИС и микропроцессоров

Вид риска

Результаты сравнительного анализа

Для данной групы рисков применение ПЛИС позволяет понизить

1. Риски, связанные со свойставами

значения для четырех видов рисков из девяти. Для остальных

объектов (ПЛИС и микропроцессоров)

трех видов значения рисков идентичны для ПЛИС и MП

Применение ПЛИС позволяет снизить риски данного вида по

риски нарушения требований к

возникновению отказов по общей причине

сравнению с рисками для ИУС на базе МП

Применение ПЛИС позволяет снизить риски данного вида по

риски нарушения требований к временным

характеристикам

сравнению с рисками для ИУС на базе МП

Применение ПЛИС позволяет снизить риски данного вида по

риски нарушения требований к надежности

сравнению с рисками для ИУС на базе МП

риски нарушения требований к защите от

Значения данных рисков идентичны для ПЛИС и MП

искажения входной информации

риски нарушения требований к защите от

Значения данных рисков идентичны для ПЛИС и MП

несанкционированного доступа

риски нарушения требований по стойкости к

Значения данных рисков идентичны для ПЛИС и MП

внешним воздействиям

риски нарушения требований по стойкости к

Значения данных рисков идентичны для ПЛИС и MП

изменению параметров электропитания

риски нарушения требований к

Значения данных рисков идентичны для ПЛИС и MП

электромагнитным воздействиям

риски нарушения требований по

Применение ПЛИС позволяет снизить риски данного вида по

сравнению с рисками для ИУС на базе МП

техническому диагностированию

2. Риски, связанные с реализацией

Для данной групы рисков применение ПЛИС позволяет

процессов жизненного цикла (ПЛИС и

понизить значения для шести видов рисков из семи. Для

микропроцессоров)

седьмого вида значения рисков идентичны для ПЛИС и MП

риски нарушения требований к процессу

Применение ПЛИС позволяет снизить риски данного вида по

разработки

сравнению с рисками для ИУС на базе МП

риски нарушения требований к процессу

Применение ПЛИС позволяет снизить риски данного вида по

верификации

сравнению с рисками для ИУС на базе МП

риски нарушения требований к процессу

Значения данных рисков идентичны для ПЛИС и MП

эксплуатации

риски, связанные с применением ранее

Применение ПЛИС позволяет снизить риски данного вида по

разработанных проектов

сравнению с рисками для ИУС на базе МП

риски, связанные с применением

Применение ПЛИС позволяет снизить риски данного вида по

системного программного обеспечения

сравнению с рисками для ИУС на базе МП

риски, связанные с применением

Применение ПЛИС позволяет снизить риски данного вида по

прерываний

сравнению с рисками для ИУС на базе МП

риски, связанные с применением

Применение ПЛИС позволяет снизить риски данного вида по

инструментальных средств разработки и

сравнению с рисками для ИУС на базе МП

верификации

3. Специфические риски, связанные с

Отсутствуют специфические риски, связанные с применением

реализацией схемотехнических решений

ПЛИС, которые не могут быть снижены до приемлемого уровня

на базе ПЛИС

с использованием стандартных или специальных решений

4. Соответствие стандартам области применения

Для использования ПЛИС в различных отраслях техники необходимо их соответствие

технологическим требованиям, стандартам и нормам надежности и унификации. Поэтому в

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

201

настоящее время продукция таких компаний, как Actel, Xilinx, Altera, отвечает одним из самых

высоких квалификационных стандартов: стандарту MIL-Std 883 класса B, задающему методы

контроля и процедуры проверки микроэлектронных устройств, применяемых в военных и

аэрокосмических системах, и стандарту MIL-PRF-38535 класса Q и N, устанавливающему нормы

производительности, эффективности (performance), качества (quality) и надежности (reliability). В

соответствии с этими стандартами микрокристаллы, которые были сертифицированы на этапах

серийного производства, успешно прошли ряд тестов и испытаний, а именно: климатические

испытания, механические, электрические

(аналоговые, цифровые) и функциональные.

Удовлетворив поставленным требованиям стандартов, ПЛИС достигают показателя надежности в

10 FIT (failure in time), что соответствует 10 отказам за 10⁹ часов работы, который на несколько

порядков выше, чем у обычных полупроводниковых элементов.

5. Примеры использования ПЛИС

ПЛИС получили применение в системах управления военной техникой, например, авиационных и

ракетно-космических системах управления APACHE, COMANCHE, B-52, F-14, F-15, F-16, F-18,

системах радиоэлектронной борьбы, управления запуском и наведением ракет, системах

управления радарами, системе управления танком ABRAMS, системе запуска и наведения ракет

PATRIOT, TOMAHAWK, STINGER и др. Наиболее значимыми и масштабными примерами

применения ПЛИС-систем в управлении космической техникой являются системы управления

ARIAN-5 и Space-Shuttle и др. [6].

ПЛИС находят широкое применение в авиационных системах, разработанных в Украине и

других странах. Компания Boeing имеет опыт применения микросхем Xilinx в самолетах Boeing 737,

777 в системе обработки изображения. Одно из ведущих национальных предприятий-

разработчиков систем управления для авиационных проектов

- Научно-техническое

специализированное конструкторское бюро "Полисвит"

(объединение "Коммунар", г. Харьков)

более 6 лет использует для разработок бортовых цифровых систем ПЛИС производства фирм

Altera, Xilinx. К настоящему времени накоплен многолетний опыт их применения в различных

модификациях бортовых систем управления и контроля в самолетах Ан-70, Ан-140.

6. Особенности технических решений на основе ПЛИС

Как известно из [7], основными причинами отказов устройств являются дефекты разработки (ДР)

(development faults), физические дефекты (ФД) (physical faults) и дефекты взаимодействия (ДВ)

(interaction faults). Учитывая вышеприведенные преимущества ПЛИС-систем над МП по снижению

потенциальных рисков и малую частоту отказов

(10 FIT), в дальнейшем мы не будем

рассматривать их отказы по причине ФД как чисто аппаратные. Вместо этого более подробно

рассмотрим причины и последствия возникновения неисправностей по причине ДР.

Как отмечено в [8], недостатками МП являются ограничение их структуры с точки зрения

выявления ошибок и способности их исправления, а также многочисленные неисправности,

вызванные ДР. К тому же сложная арифметика и инструкции обработки остаются не

контролируемыми. Такие особенности накладывают ряд ограничений, одним из которых является

202

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

необходимость применения исключительно внешней структуры обеспечения отказоустойчивости,

что может привести к малоэффективному использованию аппаратных средств. В этом аспекте, в

отличие от МП, ПЛИС имеют преимущество в гибкости разработки системы на кристалле и наличии

внутренней памяти. Такие преимущества могут быть использованы для:

1) расширения структуры обеспечения отказоустойчивости и обеспечения широкого охвата

ошибок вычислительного процесса на базе кристалла;

2) обеспечения последовательности восстановления типа "остановка

- фиксация

перезапуск";

3) отключения не всего вычислителя, а его частей, являющихся причиной ошибок.

Перечисленные выше решения являются также удобными с учетом большой гранулярности

ПЛИС, благодаря чему можно достичь высокой элементарности действий. Такие элементарные

действия являются алгоритмическими средствами, с помощью которых еще при проектировании

разработчик системы может определить, какие взаимодействия и пересечения процессов нужно

предотвратить (по возможности), чтобы сохранить целостность работы системы. Таким образом,

разделяя главный вычислительный процесс и формируя его в определенной последовательности

элементарных действий, проектировщик получает возможность создавать сложные вычислители с

необходимой степенью обнаружения ошибок в его вычислительном процессе и управления их

распространением.

Учитывая гибкость проектирования с использованием ПЛИС-технологии, становится

возможным и удобным не только построение условно-распределенного вычислительного

комплекса, но и построение модуля обнаружения неисправности и управления переключением на

базе одного кристалла. Это, в свою очередь, позволит реализовать аппаратно-управляемое

восстановление, которое не будет выходить за рамки кристалла (системного модуля) [9].

Также, учитывая то, что на сегодняшний день фундаментальным решением проблемы

защиты от ДР вычислительных систем является принцип многоверсионности

[9], то,

руководствуясь этим принципом, можно достичь высоких показателей отказоустойчивости систем

за счет использования N-версионных ПЛИС-проектов, которые будут базироваться на различных

вариантах реализации многопроцессорных схем, основанных на технологии "soft" и «зашиваемых»

в кристалл в виде IP-ядер [10].

Такой подход позволит частично избавиться от чрезмерной аппаратной избыточности за

счет "усовершенствования" алгоритма вычислений по сравнению с простым «копированием»

вычислительных каналов. А также за счет независимо разработанных, отличных друг от друга,

симплексных блоков решения и выполнения перекрестного контроля и / или приемо-сдаточного

теста станет возможным получение частичной отказоустойчивости благодаря отладке или

маскировке неправильных исходных результатов, которые могут быть произведены одним из

блоков. Выполнение такого подхода на одном кристалле позволяет достичь высокой скорости

передачи данных и избавиться от дополнительных роутеров и синхронизаторов сигнала.

Отдельным вопросом при решении проблемы обеспечения отказоустойчивости является

обслуживаемость (maintability), особенно в бортовых комплексах

(БК) космических аппаратов.

Разработчики таких систем почти не имеют возможности исправить ошибки проектирования и не

ISSN 1028-9763. Математичні машини і системи, 2010, № 1

203

могут бороться с моральным старением этих систем. Данная проблема осложняется тем, что срок

использования некоторых таких систем достигает 20 - 40 лет. В этом контексте технология ПЛИС-

систем, имеющих возможность перепрограммирования, позволяет частично решить такую

проблему. Данный путь ее решения состоит в использовании дистанционного

перепрограммирования или частичного перепрограммирования вычислителей путем изменения их

логической структуры через интерфейс JTAG, без изъятия ПЛИС из состава схемы ISP (In System

Programming)

[12]. Таким образом, получаем возможность выполнять "динамическое

реконфигурирование",

за

счет

которого

становится

возможным автоматическое

перераспределение функций отказавшего устройства среди исправных.

7. Выводы

На основе приведенных выше исследований можно сделать вывод, что одним из дальнейших и

эффективных путей решения проблем построения отказоустойчивых систем является

использование ПЛИС-технологий. Большая гранулярность и высокая гибкость данной технологии

позволяют достигать максимально необходимой элементарности действий, что дает возможность

проектировщику эффективно проводить структурирование и распределять ресурсы

вычислительного процесса. Таким образом, появляется дополнительная возможность реализации

аппаратно-управляемого восстановления, частичной блокировки и маскировки отказавших

функциональных блоков, дистанционного перепрограммирования и т.д. Основным

доказательством эффективности применения ПЛИС-технологий при построении отказоустойчивых

систем являются примеры их успешной эксплуатации в различных областях науки и техники.

СПИСОК ЛИТЕРАТУРЫ

1. Палагин А.В. Cистемы верификации на основе реконфигурируемых устройств

/ А.В. Палагин, В.Н.

Опанасенко, В.Г. Cахарин // Математичні машини і системи. - 2004. - № 2. - С. 100 - 113.

2. Харченко В.С. Парадигмы и принципы гарантоспособных вычислений: состояние и перспективы развития /

В.С. Харченко // Радіоелектронні і комп’ютерні системи. - 2009. - № 2. - С. 91 - 100.

3. Сравнительный анализ применения ПЛИС и микропроцессоров при разработке информационно-

управляющих систем, важных для безопасности АЭС // Научно-технический отчет. НАУ им. Н.Е. Жуковского

«ХАИ», НТСКБ «Полисвит», ИПМЭ им. Г.Е. Пухова НАН Украины, ИПММС НАН Украины. - 2005. - С. 47.

4. Попович А.В. ПЛИС Actel - платформа для «систем на кристалле» бортовой аппаратуры / А.В. Попович //

ЭЛЕКТРОНИКА: Наука, Технология, Бизнес. - 2004. - № 4. - С. 34 - 37.

5. МЭК 61508 «Функциональная безопасность электрических / электронных / программируемых электронных

схем, относящихся к безопасности» (в семи частях). - 2007.

6. http://www.klabs.org.

7. Avizienis А. Fundamental Concepts of Dependability / A. Avizienis, J.-C. Lnprie, B. Randell // Technical Report:

UCLA CSD Report no. 010028, LAAS Report no. 01-145, Newcastle Report no. CS-TR-739. - 2002. - 31 p.

8. Avizienis А. A Fault Tolerance Infrastructure for Dependable Computing with High-Performance COTS

Components / A. Avizienis and Associates. - Washington Avenue Santa Monica, CA 90403, USA, 2000. - 9 p.

9. Randell В. Reliability Issues in Computing System Design / B. Randell, P.A. Lee, P.C. Treleaven // Computing

Laboratory, University of Newcastle upon Tyne, Newcastle upon Tyne, NE1 7R U UK. - 1978. - P. 124 - 165.

10. ЄфімоваТ.І. Відмовостійкість програмного забезпечення гарантоздатних комп’ютерних систем

/ Т.І.

Єфімова, Б.Г. Мудла, О.М. Шалейко // Математичні машини і системи. - 2009. - № 4. - С. 200 - 209.

11. http://www.actel.com.

12. http://www.fastwel.ru.

Стаття надійшла до редакції 04.02.2010

204

ISSN 1028-9763. Математичні машини і системи, 2010, № 1