| ДонНТУ | Портал магистров ДонНТУ | Главная | Реферат | Ссылки | Отчет о поиске | Индивидуальное задание |
Назад в Библиотеку
Критерии оценки надежности биометрических систем
автор: Петрова Т.В.
|
Принципиальной проблемой построения биометрических систем является отсутствие единой системы определения надежности биометрической системы, главной ее характеристики. Это заставляет разработчиков все время искать компромисс, «играя» чувствительностью системы [1]. Поэтому для оценки точности биометрических систем применяют следующие характеристики: FRR (False Rejection Rate) - ошибка первого рода, представляющая собой процент ошибочных отказов (вероятности ложного не распознавания), когда система отказывает в доступе авторизованному пользователю, то есть принимается решение «чужой», хотя на самом деле субъект присутствует в списке зарегистрированных пользователей. FAR (False Acceptance Rate) - ошибка второго рода, представляющая собой процент ошибочных допусков (вероятность ложного распознавания), когда доступ к системе ошибочно предоставляется неавторизованному пользователю, то есть принимается решение «свой», хотя, на самом деле, субъект отсутствует в списке зарегистрированных пользователей. Любую биометрическую систему можно настроить на разную степень «бдительности», то есть на разное значение вероятности ложного распознавания FAR. На практике уменьшение FAR (то есть увеличение бдительности системы) всегда приводит к уменьшению чувствительности метода или, что эквивалентно, к увеличению FRR [2]. Таким образом, минимально достижимое значение FAR соответствует очень высокому значению FRR и не является показательным. В зависимости от конкретной задачи система настраивается на определенный компромисс между допустимыми значениями FAR и FRR. Также следует упомянуть EER (Equal error rate) — количественная мера усредненной ошибки распознавания, представляющая собой равный процент ошибок (FAR=FRR), отображающий вероятность соответствия FAR и FRR. Риск принятия ложной регистрации так же мал, как риск отказа зарегистрированному пользователю [3]. Для оценки точности работы любой биометрической системы принято использовать характеристическую кривую. Характеристическая кривая, или ROC-кривая (Receiver Operating Characteristic) устанавливает зависимость между ошибками первого и второго рода [2]. При анализе и сравнении ROC-кривых очень важно понимать, по какой методике тестирования они получены, в частности, каковы были условия, обстоятельства тестирования, сценарий использования системы, исходная совокупность тестируемых людей и т. д. В зависимости от методики различают технологическое, сценарное и операционное тестирование. Результаты, полученные по разным методикам тестирования, могут сильно различаться для одной и той же системы. Обычно для любого конкретного приложения можно зафиксировать допустимое значение FAR, и тогда значение FRR будет служить интегральным критерием точности для данной системы. В случае идентификации вероятность ложного распознавания FAR увеличивается пропорционально количеству человек в базе данных системы при той же чувствительности (FRR). Так, если при FRR, равном 1,3%, лучший пальцевой сканер в режиме верификации обеспечивает значение FAR 0,001% (один шанс из 100 000), то в режиме идентификации при том же FRR и базе данных в 10 000 человек FAR составляет 10% (один шанс из 10), что уже недопустимо для большинства приложений. Таким образом, в режиме идентификации при базах данных до 1000 или 2000 человек некоторые алгоритмы могут обеспечить приемлемую точность для систем контроля доступа. При базах данных объемом более 1000-2000 человек ни один из биометрических методов в чистом виде неприменим для большинства задач. Для увеличения точности в режиме идентификации целесообразно использовать несколько биометрических методов одновременно. Для оценки измеримости биометрических систем применяют следующие количественные характеристики: Порог уровня защиты обуславливается базой данных отпечатков пальцев и подтверждается тестированием. Использование базы данных для определения уровней FAR является стандартной методикой в индустрии биометрических характеристик. Это сложный метод, который прекрасно подходит для повседневного использования системы. Однако использование базы данных для определения FRR не всегда является методом, соотносимым с использованием системы. Одной из причин является то, что в базе данных отпечатки пальцев статичны, поэтому иногда обратная связь с пользователем не может быть сымитирована. Обычный уровень FAR составляет 1:10 000, но в новых системах значение FAR меньше одной десятимиллиардной. Уровень FRR равен 2-5%. Это означает, что в одном из 20-50 случаев проверку придется пройти повторно, после чего доступ будет разрешен [3]. За то, какая ошибка будет встречаться в данной системе чаще всего, отвечает чувствительность данной системы, чем она больше, тем дольше будут обрабатываться результаты и тем вероятнее будет ложный отказ. Если же чувствительность будет слишком низкая, то будет возрастать вероятность допуска ненужного человека. Все существующие системы биометрической идентификации являются компромиссом в выборе соответствующей чувствительности прибора. Кроме того, какими-то характерными вероятностями возникновения той или иной ошибки обладают различные методы. К сожалению, пока не выработана единая система оценки надежности биометрических систем, поэтому трудно, а иногда даже некорректно сравнивать надежность различных методов. Пока возможно только субъективное сравнение различных методов, т.е. только опытным путем убеждаться в их надежности или нет. [1] Зиятдинов А. И., "Принципы построения систем биометрической аутентификации"/ МФТИ, 2005, 8 с.; [3] Технология биометрической аутентификации Precise BioMatch |
ВВЕРХ
| ДонНТУ | Портал магистров ДонНТУ | Главная | Реферат | Библиотека | Ссылки | Отчет о поиске | Индивидуальное задание |