Что такое исследовательский анализ данных в Python? Учиться с нуля

Короче говоря, исследовательский анализ данных или EDA составляет почти 70% проекта Data Science. EDA — это процесс изучения данных с использованием различных инструментов аналитики для получения выводной статистики из данных. Эти исследования выполняются либо путем просмотра простых чисел, либо путем построения графиков и диаграмм различных типов.

Каждый график или диаграмма изображают разные истории и точки зрения на одни и те же данные. Для большей части анализа и очистки данных наиболее часто используемым инструментом является Pandas. Для визуализации и построения графиков/диаграмм используются графические библиотеки, такие как Matplotlib, Seaborn и Plotly.

EDA крайне необходимо проводить, так как он заставляет данные признаться вам. Data Scientist, который делает очень хороший EDA, много знает о данных, и, следовательно, модель, которую он построит, будет автоматически лучше, чем Data Scientist, который не делает хорошего EDA.

К концу этого урока вы будете знать следующее:

• Проверка основного обзора данных
• Проверка описательной статистики данных
• Управление именами столбцов и типами данных
• Обработка пропущенных значений и повторяющихся строк
• Двумерный анализ

Базовый обзор данных

В этом уроке мы будем использовать набор данных Cars, который можно загрузить с Kaggle. Первым шагом почти для любого набора данных является его импорт и проверка его основного обзора — его формы, столбцов, типов столбцов, первых 5 строк и т. д. Этот шаг дает вам краткий обзор данных, с которыми вы будете работать. Давайте посмотрим, как это сделать в Python.

Голова и хвост данных

Функция head по умолчанию печатает 5 верхних индексов фрейма данных. Вы также можете указать, сколько верхних индексов вам нужно увидеть, минуя это значение в голове. Печать головы мгновенно дает нам быстрый взгляд на то, какой тип данных у нас есть, какие типы функций присутствуют и какие значения они содержат. Конечно, это не раскрывает всей истории данных, но позволяет быстро взглянуть на данные. Вы можете аналогичным образом распечатать нижнюю часть фрейма данных, используя функцию хвоста.

Здесь следует обратить внимание на то, что обе функции — head и tail — дают нам верхний или нижний индексы. Но верхняя или нижняя строки не всегда являются хорошим предварительным просмотром данных. Таким образом, вы также можете распечатать любое количество строк, случайно выбранных из набора данных, с помощью функции sample().

Описательная статистика

Далее давайте проверим описательную статистику набора данных. Описательная статистика состоит из всего, что «описывает» набор данных. Мы проверяем форму фрейма данных, какие все столбцы присутствуют, какие есть все числовые и категориальные признаки. Мы также увидим, как все это сделать в простых функциях.

Форма

Как мы видим, этот фрейм данных содержит 11914 строк и 16 столбцов.

Столбцы

Информация о фрейме данных

Как видите, функция info() дает нам все столбцы, сколько ненулевых или не пропущенных значений в этих столбцах и, наконец, тип данных этих столбцов. Это хороший быстрый способ увидеть, какие функции являются числовыми, а какие — категориальными/текстовыми. Кроме того, теперь у нас есть информация о том, в каких столбцах отсутствуют значения. Позже мы рассмотрим, как работать с пропущенными значениями.

Управление именами столбцов и типами данных

Тщательная проверка и манипулирование каждым столбцом чрезвычайно важны в EDA. Нам нужно увидеть, какой тип содержимого содержит столбец/функция и какие типы данных Pandas прочитали. Типы числовых данных в основном int64 или float64. Текстовым или категориальным функциям назначается тип данных «объект».

Назначаются функции на основе даты и времени. Бывают случаи, когда Pandas не понимает тип данных функции. В таких случаях он просто лениво присваивает ему тип данных «объект». Мы можем явно указать типы данных столбца при чтении данных с помощью read_csv.

Выбор категориальных и числовых столбцов

Здесь тип, который мы передали как «число», выбирает все столбцы с типами данных, которые имеют любое число — будь то int64 или float64.

Переименование столбцов

Функция переименования просто принимает словарь с именами столбцов, которые нужно переименовать, и их новыми именами.

Обработка пропущенных значений и повторяющихся строк

Отсутствующие значения — одна из наиболее распространенных проблем/несоответствий в любом реальном наборе данных. Обработка пропущенных значений сама по себе является обширной темой, поскольку существует несколько способов сделать это. Некоторые способы являются более общими, а некоторые более специфичны для набора данных, с которым можно иметь дело.

Проверка пропущенных значений

Это дает нам количество значений, отсутствующих во всех столбцах. Мы также можем увидеть процент отсутствующих значений.

Проверка процентов может быть полезна, когда во многих столбцах отсутствуют значения. В таких случаях столбцы с большим количеством отсутствующих значений (например, отсутствующих > 60%) можно просто удалить.

Вменение пропущенных значений

Здесь мы просто вменяем пропущенные значения в числовых столбцах по их соответствующим значениям, а значения в категориальных столбцах — по их модусам. И как мы видим, пропущенных значений теперь нет.

Обратите внимание, что это самый примитивный способ вменения значений и не работает в реальных случаях, когда разработаны более изощренные способы, например, интерполяция, KNN и т.д.

Обработка повторяющихся строк

Это просто удаляет повторяющиеся строки.

Оформить заказ: идеи и темы проекта Python

Двумерный анализ

Теперь давайте посмотрим, как получить больше информации, выполнив двумерный анализ. Двумерный означает анализ, который состоит из 2 переменных или признаков. Существуют различные типы графиков, доступных для различных типов объектов.

Для числового – числовой

1. График рассеяния
2. Линейный сюжет
3. Тепловая карта для корреляций

Для категориально-числового

1. Гистограмма
2. Сюжет для скрипки
3. Сюжет роя

Категорически-категорично

1. Гистограмма
2. Точечный сюжет

Тепловая карта для корреляций

Бар Участок

Получите сертификат по науке о данных от лучших университетов мира. Изучите программы Executive PG, Advanced Certificate Programs или Master Programs, чтобы ускорить свою карьеру.

Заключение

Как мы видели, при изучении набора данных необходимо выполнить множество шагов. В этом руководстве мы рассмотрели лишь несколько аспектов, но это даст вам больше, чем просто базовые знания о хорошем EDA.

Если вам интересно узнать о Python, все о науке о данных, ознакомьтесь с дипломом IIIT-B & upGrad PG по науке о данных, который создан для работающих профессионалов и предлагает более 10 тематических исследований и проектов, практические практические семинары, наставничество в отрасли. экспертов, общение один на один с отраслевыми наставниками, более 400 часов обучения и помощь в трудоустройстве в ведущих фирмах.