Рекурсивное устранение признаков: что это такое и почему это важно?

Данные — это основа современного процесса принятия решений, и компании всегда ищут способы извлечь из них ценную информацию. Машинное обучение является одним из наиболее распространенных методов, используемых в организациях для анализа данных, который включает обучение алгоритмов для прогнозирования на основе исторических данных. Однако не все функции в наборе данных одинаковы, и некоторые из них могут оказывать большее влияние на производительность модели, чем другие.

Рекурсивное устранение признаков — это популярный метод анализа данных, используемый для выявления и устранения нерелевантных или избыточных признаков из набора данных, что повышает точность и эффективность модели машинного обучения.

Получите сертификат по машинному обучению от лучших университетов мира. Заработайте программы Master, Executive PGP или Advanced Certificate Programs, чтобы ускорить свою карьеру.

В этой статье мы рассмотрим, что такое рекурсивное исключение признаков , как оно работает и почему оно важно для компаний, стремящихся извлечь значимую информацию из своих данных.

Какие существуют методы выбора признаков?

Выбор признаков — это важный шаг в машинном обучении, который включает в себя выбор наиболее релевантных атрибутов из набора данных для построения модели, которая точно предсказывает результаты. Однако выбрать правильные функции не всегда просто. Существует множество различных техник, каждая со своими сильными и слабыми сторонами. Давайте посмотрим на некоторые из них!

Методы фильтрации

Методы фильтрации выбирают функции, созданные на основе статистических свойств, таких как их корреляция с целевой переменной или дисперсией. Эти методы эффективны в вычислительном отношении и могут применяться перед обучением модели. Примеры методов фильтрации включают критерий хи-квадрат, выбор признаков на основе корреляции и пороговое значение дисперсии.

Методы обертки

Методы-оболочки выбирают функции, оценивая производительность модели машинного обучения с подмножеством функций. Эти методы являются дорогостоящими в вычислительном отношении, но могут привести к повышению производительности модели. Примеры методов-оболочек включают рекурсивное устранение признаков, прямое выделение и обратное исключение.

Встроенные методы

Для встроенных методов выбор признаков происходит во время обучения. Эти методы включают в себя такие методы, как Лассо и Ридж-регрессия, которые добавляют штрафы к коэффициентам модели, чтобы свести менее значимые функции к нулю.

Гибридные методы

Гибридные методы сочетают в себе различные методы выбора признаков для достижения лучших результатов. Эти методы часто более эффективны, чем использование только одного подхода. Примеры гибридных методов включают ReliefF и Random Forest Feature Selection.

По сути, выбор метода выбора признаков зависит от конкретной проблемы, набора данных и доступных вычислительных ресурсов.

Теперь давайте углубимся в один из наиболее важных методов-оболочек для исключения функций — рекурсивное исключение функций.

Что такое рекурсивное удаление признаков?

Рекурсивное устранение признаков (RFE) — это метод-оболочка, который рекурсивно удаляет признаки и строит модель по оставшимся. Он ранжирует функции по степени важности и удаляет наименее важные до тех пор, пока не будет достигнуто желаемое количество функций. RFE — это итеративный процесс, который работает следующим образом:

1. Обучите модель всем функциям и ранжируйте их в зависимости от их важности.
2. Удалите наименее важную функцию.
3. Неоднократно обучайте модель оставшимся функциям и удаляйте наименее значимую функцию, пока не будет достигнуто желаемое количество функций.

RFE учитывает взаимодействие между функциями и их влияние на производительность модели.

Чтобы понять, как работает RFE, давайте рассмотрим пример.

Предположим, у нас есть набор данных о ценах на жилье с десятью различными характеристиками, включая количество спален, площадь в квадратных метрах и возраст дома. Мы хотим построить модель машинного обучения, чтобы прогнозировать цену дома на основе этих характеристик. Тем не менее, мы подозреваем, что некоторые функции могут быть не важны и могут даже повредить производительности модели.

Мы можем использовать RFE для определения наиболее важных функций, обучая модель всем функциям, а затем рекурсивно удаляя наименее важные, пока не достигнем оптимального подмножества. RFE обучает модель во время каждой итерации и оценивает ее производительность с помощью набора перекрестной проверки.

Например, RFE может определить, что количество спален, площадь и местоположение являются наиболее важными характеристиками для прогнозирования цен на жилье. Напротив, другие характеристики, такие как возраст дома, мало влияют на точность модели.

Почему RFE попал в кадр? Что это решает?

По мере того, как машинное обучение становилось все более распространенным, специалисты по обработке и анализу данных поняли, что некоторые функции могут быть неактуальными или избыточными, в то время как другие могут существенно повлиять на точность модели. Это породило один из основных методов построения эффективных моделей машинного обучения — метод выбора признаков рекурсивного исключения признаков.

Рекурсивное устранение признаков (RFE) было введено для устранения некоторых ограничений существующих методов, став методом-оболочкой, который рекурсивно удаляет признаки и оценивает их влияние на производительность модели. Процесс продолжается до тех пор, пока не будет достигнуто оптимальное количество признаков.

RFE решает несколько проблем, с которыми сталкиваются традиционные методы выбора признаков.

• RFE — это подход обратного выбора, который начинается со всех признаков, а затем итеративно удаляется наименее важные. Этот подход лучше прямого выбора, который начинается с наименее важного признака и добавляется больше, пока не будет достигнуто оптимальное количество.
• RFE позволяет избежать переобучения за счет перекрестной проверки в процессе выбора признаков. Переобучение происходит, когда модель слишком сложна и слишком хорошо соответствует обучающим данным, что приводит к снижению производительности на новых данных.
• RFE можно применять к любому типу модели, что делает его универсальным методом, который можно использовать во многих различных сценариях.

Реализация алгоритма RFE на Python

Python предоставляет несколько библиотек, которые можно использовать для реализации алгоритма RFE. Давайте теперь посмотрим на несколько примеров RFE Python.

RFE с помощью scikit-learn

Scikit-learn — это популярная библиотека машинного обучения на Python, которая обеспечивает простую реализацию алгоритма RFE. Следующий фрагмент кода демонстрирует, как реализовать RFE в sci-kit-learn:

из sklearn.feature_selection импортировать RFE

из sklearn.linear_model импортировать LogisticRegression

модель = Логистическая регрессия ()

rfe = RFE (модель, n_features_to_select = 5)

rfe.fit(X, y)

В приведенном выше фрагменте кода мы сначала импортируем класс RFE из модуля feature_selection пакета sci-kit-learn. Затем мы создаем экземпляр класса LogisticRegression, который будет выступать в качестве нашей базовой оценки. Затем мы создаем экземпляр класса RFE, передавая базовую оценку и количество объектов для выбора. Затем мы подгоняем объект RFE к нашим данным и меткам.

RFE для классификации

В задачах классификации RFE рекурсивно удаляет признаки и строит модель на оставшихся признаках. Ранжирование функций основано на оценках важности функций, вычисленных оценщиком. Следующий фрагмент кода демонстрирует использование RFE для задачи классификации:

из sklearn.datasets импортировать make_classification

из sklearn.feature_selection импортировать RFE

из sklearn.tree импортировать DecisionTreeClassifier

X, y = make_classification (n_samples = 1000, n_features = 10, n_informative = 5, n_redundant = 0, random_state = 42)

модель = DecisionTreeClassifier()

rfe = RFE (модель, n_features_to_select = 5)

rfe.fit(X, y)

print("Выбранные функции: ", rfe.support_)

print("Рейтинг функций: ", rfe.ranking_)

В приведенном выше фрагменте кода мы сначала генерируем синтетический набор данных, используя функцию make_classification из sci-kit-learn. Затем мы создаем экземпляр класса DecisionTreeClassifier, который будет выступать в качестве нашей базовой оценки. Затем мы создаем экземпляр класса RFE, передавая базовую оценку и количество объектов для выбора. Затем мы помещаем объект RFE в наши данные и метки, распечатывая выбранные функции и ранжируя их.

Гиперпараметры RFE

RFE имеет несколько гиперпараметров, которые можно настроить для получения лучших результатов. Некоторые важные гиперпараметры:

• n_features_to_select: этот гиперпараметр определяет количество функций для выбора.
• шаг: этот гиперпараметр определяет количество функций, которые необходимо удалить на каждой итерации.Значение по умолчанию равно 1, что означает удаление одной функции при каждой итерации.
• оценка: этот гиперпараметр указывает используемую базовую оценку.По умолчанию используется линейный SVM.
• оценка: этот гиперпараметр указывает метрику, используемую для ранжирования функций.Значение по умолчанию — None, что означает, что используется метод оценки оценщика.
• cv : этот гиперпараметр определяет используемую стратегию перекрестной проверки.Значение по умолчанию — «Нет», что означает, что используется 3-кратная перекрестная проверка.

Лучшие онлайн-курсы по машинному обучению и курсы по искусственному интеллекту

Будущее рекурсивного устранения признаков

Будущее рекурсивного исключения признаков (RFE) выглядит многообещающе, поскольку оно по-прежнему остается популярным методом выбора признаков в машинном обучении. С увеличением объема генерируемых данных и потребностью в более эффективных и точных моделях выбор функций становится важным шагом в конвейере машинного обучения.

Недавние исследования показали, что RFE может значительно повысить производительность моделей машинного обучения за счет уменьшения размерности данных и устранения нерелевантных или избыточных функций. Например, в исследовании NCBI RFE использовался для выбора признаков при классификации пациентов с депрессией на основе данных функциональной магнитно-резонансной томографии (фМРТ). Результаты показали, что RFE выбрал подмножество признаков, сильно коррелирующих с клиническим диагнозом депрессии.

Поскольку область машинного обучения продолжает расти, возникает потребность в более сложных и эффективных методах выбора признаков. Одной из областей исследований, которая набирает обороты, является использование глубокого обучения для выбора функций. Однако модели глубокого обучения часто являются дорогостоящими в вычислительном отношении и требуют обучения больших данных.

Напротив, RFE — это простой и эффективный метод, который можно применять к различным моделям и наборам данных. Поэтому вполне вероятно, что RFE будет по-прежнему использоваться в качестве популярного метода выбора признаков.

Востребованные навыки машинного обучения

Заключение

В заключение, рекурсивное устранение признаков (RFE) — это эффективный метод выбора признаков в машинном обучении, который наблюдает за блестящим будущим после его развивающейся реализации. RFE, будучи эффективным методом выбора признаков, стимулирует его использование в различных областях, таких как медицинская диагностика, биоинформатика и анализ изображений, что способствует его неукротимому расширению.

Если вы хотите узнать больше о машинном обучении и искусственном интеллекте, подумайте о том, чтобы зарегистрироваться в программе upGrad Machine Learning and AI PG Diploma в сотрудничестве с IIIT Bangalore. Эта комплексная программа охватывает новейшие инструменты и методы машинного обучения и искусственного интеллекта, включая методы выбора функций, такие как RFE.

Эта программа даст вам навыки и знания, необходимые для создания и развертывания моделей машинного обучения для реальных приложений.

Подайте заявку сейчас и воспользуйтесь различными преимуществами иммерсивного обучения с upGrad!

Вы также можете ознакомиться с нашимибесплатными курсами,предлагаемыми upGrad, по менеджменту, науке о данных, машинному обучению, цифровому маркетингу и технологиям.Все эти курсы включают в себя первоклассные учебные ресурсы, еженедельные живые лекции, отраслевые задания и сертификат об окончании курса — и все это бесплатно!

Популярные блоги об искусственном интеллекте и машинном обучении и бесплатные курсы