Обзор методов оценки производительности обучения по прецедентам

Аннотация

Майданюк К.Д., Боднар А.В. Обзор методов оценки производительности обучения по прецедентам. Обучение по прецедентам (ОП) – это метод машинного обучения, который использует прошлый опыт для обучения решению новых задач. ОП широко используется в различных задачах, таких как классификация, прогнозирование и принятие решений. В статье рассмотрены различные методы оценки производительности ОП, приведены их преимущества и недостатки и предоставлены рекомендации по выбору подходящего метода для конкретной задачи.

Введение

Обучение по прецедентам – это мощный метод машинного обучения, который позволяет системам учиться на примерах. В отличие от других методов машинного обучения, ОП не требует явной функции модели, а вместо этого учится на основе набора примеров, называемых прецедентами. Каждый прецедент состоит из пары входных данных и соответствующего выходного значения. ОП использует эти прецеденты для обучения модели, которая может предсказывать выходные значения для новых, невиданных ранее входных данных [1].

1. Методы оценки производительности ОП

Существует множество методов оценки производительности ОП, которые можно разделить на две категории:

- методы на основе обучения: эти методы оценивают производительность модели на наборе данных обучения. Обычно эти методы делят набор данных обучения на два поднабора: обучающий набор и тестовый набор. Модель обучается на обучающем наборе, а затем ее производительность оценивается на тестовом наборе;

- методы на основе тестирования: эти методы оценивают производительность модели на наборе данных, который не использовался для обучения модели. Обычно эти методы используют набор данных тестирования, который является независимым от набора данных обучения.

1.1 Методы на основе обучения

Методы на основе обучения включают в себя:

- перекрестная проверка – это метод оценки производительности модели, который многократно делит набор данных обучения на поднаборы обучения и тестирования. Модель обучается на каждом поднаборе обучения, а затем ее производительность оценивается на соответствующем поднаборе тестирования. Средняя производительность модели по всем поднаборам тестирования используется в качестве оценки производительности модели;

- оценка на основе подвыборки – это метод оценки производительности модели, который использует подмножество набора данных обучения для оценки производительности модели. Обычно этот метод используется, когда набор данных обучения очень большой;

- оценка на основе оставленных данных – это метод оценки производительности модели, который удаляет часть данных из набора данных обучения и использует эти оставленные данные для оценки производительности модели.

1.2 Методы на основе тестирования

- независимый набор данных тестирования – это набор данных, который не использовался для обучения модели. Этот метод является наиболее надежным методом оценки производительности модели, но он требует наличия независимого набора данных тестирования;

- перекрестная проверка — она также можно используется для оценки производительности модели на наборе данных тестирования. Этот метод позволяет оценить производительность модели на различных поднаборах данных тестирования.

Преимущества и недостатки методов оценки производительности ОП

Преимущества методов на основе обучения

- вычислительная эффективность — методы ОП обычно более вычислительно эффективны, чем методы на основе тестирования, поскольку они не требуют использования независимого набора данных тестирования;

- возможность использования небольших наборов данных — методы можно использовать с небольшими наборами данных, поскольку они не требуют наличия независимого набора данных тестирования.

2.2 Недостатки методов на основе обучения

- переоценка — методы могут привести к переоценке производительности модели, если набор данных обучения не является репрезентативным для реальных данных;

- неспособность обнаружить проблемы с обобщением — методы не всегда могут обнаружить проблемы с обобщением модели, т.е. способность модели делать точные прогнозы для новых, невиданных ранее данных.

2.3 Преимущества методов на основе тестирования:

- надежность — методы на основе тестирования являются более надежными, чем методы на основе обучения, поскольку они используют независимый набор данных тестирования;

- способность обнаружить проблемы с обобщением — данные методы могут обнаружить проблемы с обобщением модели.

2.4 Недостатки методов на основе тестирования:

- вычислительная трудоемкость — методы на основе тестирования обычно более вычислительно трудоемки, чем методы на основе обучения, поскольку они требуют использования независимого набора данных тестирования;

- необходимость наличия независимого набора данных тестирования

3. Выбор подходящего метода оценки производительности ОП

Выбор подходящего метода оценки производительности ОП зависит от нескольких факторов: размера набора данных, доступность независимого набора данных тестирования и вычислительных ресурсов.

4. Дополнительные метрики оценки производительности ОП

Помимо методов оценки производительности, описанных выше, существует ряд дополнительных метрик, которые можно использовать для оценки производительности ОП. Некоторые из них представлены ниже:

- точность – это доля правильно классифицированных объектов;

- полнота – это доля фактически положительных объектов, которые были правильно классифицированы как положительные;

- ошибка классификации – это доля неправильно классифицированных объектов;

- F1-мера – это гармоническое среднее между точностью и полнотой;

- среднеквадратичная ошибка (RMSE) – это метрика, которая часто используется для оценки производительности моделей регрессии, она измеряет среднюю величину разницы между прогнозируемыми значениями и фактическими значениями;

- среднее абсолютное отклонение (MAE) – это метрика, которая также часто используется для оценки производительности моделей регрессии, она измеряет среднюю величину абсолютной разницы между прогнозируемыми значениями и фактическими значениями.

5. Экспериментальная оценка производительности ОП

Оптимальным способом оценки производительности ОП является проведение экспериментальной оценки. В этом эксперименте модель обучается на наборе данных обучения, а затем ее производительность оценивается на наборе данных тестирования. Эксперимент можно повторить несколько раз с использованием различных наборов данных обучения и тестирования. Средняя производительность модели по всем экспериментам используется в качестве окончательной оценки производительности модели.

6. Перспективы использования новых методов оценки производительности

Использующиеся на данный момент методы оценки производительности обучения по прецедентам несовершенны, что говорит о необходимости использования более точных методов [2]. Наиболее перспективными считаются следующие методы:

- использование кросс-валидации [3] с расслоением, которая делит набор данных на подгруппы, основанные на определенных признаках, кросс-валидация с расслоением позволит гарантировать, что каждый поднабор данных содержит репрезентативную выборку данных из всех классов;

- оценка на основе учета неопределенности с использованием доверительных интервалов;

- использование методов, основанных на мета-обучении.

7. Разработка новых методов оценки производительности

В области искусственного интеллекта обучение по прецедентам стало доминирующим подходом к разработке интеллектуальных агентов. Оценка производительности моделей ОП имеет решающее значение для определения их эффективности и выбора лучших моделей для конкретных задач.

Традиционные методы оценки производительности ОП, такие как точность на тестовом наборе данных, часто оказываются недостаточными. Они не учитывают важные факторы, такие как обобщаемость, надёжность, справедливость, объяснимость. В связи с этим необходимо разрабатывать новые методы оценки производительности ОП, которые решают эти проблемы.

7.1. Разработка методов оценки производительности для специфических задач обучения по прецедентам

7.1.1. Для обучения с рейтингами необходимо:

- использование метрик, основанных на рангах, т.к. они учитывают порядок элементов в списке, а не только то, совпадают ли элементы;

- использование методов, основанных на оценке индивидуальных элементов, оценивающих производительность модели для каждого элемента в списке.

7.1.2. Для обучения с многозначными классификациями необходимо:

- использование метрик, учитывающих взаимосвязь между классами, т.к. они учитывают, что некоторые классы могут быть более тесно связаны друг с другом, чем другие;

- использование методов, основанных на разложении на бинарные задачи.

7.1.3 Для обучения с неполными данными:

- использование методов, устойчивых к отсутствующим значениям;

- использование методов, основанных на импутации данных (заполнение отсутствующих значений в данных).

7.3 Разработка методов автоматической настройки параметров оценки производительности ОП.

Методы автоматической настройки параметров оценки производительности ОП должны в себя включать:

- использование методов поиска в пространстве параметров;

- использование методов машинного обучения для прогнозирования производительности;

- использование методов, основанных на байесовской оптимизации.

7.5. Изучение этических последствий оценки производительности ОП

Оценка производительности обучения по прецедентам играет все более важную роль в области искусственного интеллекта, позволяя сравнивать эффективность различных моделей ОП. Однако с этой оценкой связаны некоторые этические проблемы, которые нельзя игнорировать. Наборы данных, используемые для оценки ОП, могут быть предвзятыми, что приводит к несправедливой оценке некоторых моделей. Важно использовать разнообразные и репрезентативные наборы данных, отражающие реальный мир, чтобы минимизировать предвзятость. Алгоритмы ОП могут быть "черными ящиками", что затрудняет понимание их работы и принятия решений. Это может привести к потере доверия к системам ПП и отсутствию подотчетности. Разработка прозрачных и интерпретируемых алгоритмов ПП необходима для обеспечения доверия и подотчетности.

Только комплексный подход, учитывающий этические последствия, позволит сделать оценку производительности ОП справедливой, прозрачной и подотчетной, а также минимизировать риски, связанные с ее использованием.

Заключение

Оценка производительности методов обучения по прецедентам является важной областью исследований, которая имеет большое значение для практического применения ОП. Разработка новых методов оценки производительности, которые более устойчивы к переоценке и способны лучше обнаруживать проблемы с обобщением, имеет большое значение для повышения надежности и точности ОП. Разработка методов оценки производительности, которые подходят для специфических задач обучения по прецедентам, также имеет большое значение для расширения области применения ОП. Разработка методов автоматической настройки параметров оценки производительности ОП может упростить процесс оценки и сделать его более надежным. Использование методов оценки производительности ОП для разработки новых алгоритмов может привести к разработке более эффективных и надежных алгоритмов ОП. Изучение этических последствий оценки важно для обеспечения того, чтобы ОП использовалось справедливо и непредвзято.

Список использованной литературы

1. Машинное обучение [электронный ресурс]. – Режим доступа: https://ru.wikipedia.org/wiki/Машинное_обучение
2. Воронцов, К.В. Вычислительные методы обучения по прецедентам [электронный ресурс] / К.В. Воронцов. – Режим доступа: http://www.machinelearning.ru/wiki/images/6/6d/voron-ml-1.pdf
3. Кросс-валидация [электронный ресурс]. – Режим доступа: https://neerc.ifmo.ru/wiki/index.php?title=%D0%9A%D1%80%D0%BE%D1%81%D1%81-%D0%B2%D0%B0%D0%BB%D0%B8%D0%B4%D0%B0%D1%86%D0%B8%D1%8F