Ce este analiza exploratorie a datelor în Python? Învață de la zero

Analiza exploratorie a datelor sau EDA, pe scurt, cuprinde aproape 70% din Data Science Project. EDA este procesul de explorare a datelor prin utilizarea diferitelor instrumente de analiză pentru a scoate statisticile inferențiale din date. Aceste explorări se fac fie prin vizualizarea numerelor simple, fie prin trasarea graficelor și diagramelor de diferite tipuri.

Fiecare grafic sau diagramă descrie o poveste diferită și un unghi față de aceleași date. Pentru cea mai mare parte a analizei și curățării datelor, Pandas este instrumentul cel mai utilizat. Pentru vizualizări și trasarea graficelor/diagramelor, sunt utilizate biblioteci de trasare precum Matplotlib, Seaborn și Plotly.

EDA este extrem de necesar să fie efectuat, deoarece face ca datele să vă mărturisească. Un Data Scientist care face un EDA foarte bun știe multe despre date și, prin urmare, modelul pe care îl vor construi va fi automat mai bun decât Data Scientist care nu face un EDA bun.

Până la sfârșitul acestui tutorial, veți ști următoarele:

• Verificarea generală de bază a datelor
• Verificarea statisticii descriptive a datelor
• Manipularea numelor de coloane și a tipurilor de date
• Gestionarea valorilor lipsă și a rândurilor duplicate
• Analiza bivariată

Prezentare generală de bază a datelor

Vom folosi setul de date Cars pentru acest tutorial care poate fi descărcat de la Kaggle. Primul pas pentru aproape orice set de date este să îl importați și să verificați prezentarea generală a acestuia – forma, coloanele, tipurile de coloane, primele 5 rânduri etc. Acest pas vă oferă o scurtă prezentare a datelor cu care veți lucra. Să vedem cum să facem asta în Python.

Data Head & Tail

Funcția cap tipărește în mod implicit primii 5 indici ai cadrului de date. De asemenea, puteți specifica câți indici de top trebuie să vedeți ocolind acea valoare la cap. Imprimarea instantanee a capului ne oferă o privire rapidă asupra tipului de date pe care le avem, ce tip de caracteristici sunt prezente și ce valori conțin. Desigur, acest lucru nu spune întreaga poveste despre date, dar vă oferă o privire rapidă asupra datelor. Puteți imprima în mod similar partea de jos a cadrului de date utilizând funcția de coadă.

Un lucru de observat aici este că atât funcțiile-head, cât și tail ne oferă indicii de sus sau de jos. Dar rândurile de sus sau de jos nu sunt întotdeauna o previzualizare bună a datelor. Deci, puteți imprima, de asemenea, orice număr de rânduri eșantionate aleatoriu din setul de date folosind funcția sample().

Statisticile descriptive

În continuare, să verificăm statisticile descriptive ale setului de date. Statisticile descriptive constau în tot ceea ce „descrie” setul de date. Verificăm forma cadrului de date, care sunt toate coloanele prezente, care sunt toate caracteristicile numerice și categoriale. Vom vedea, de asemenea, cum să facem toate acestea în funcții simple.

Formă

După cum vedem, acest cadru de date conține 11914 rânduri și 16 coloane.

Coloane

Informații din cadrul de date

După cum vedeți, funcția info() ne oferă toate coloanele, câte valori nenule sau care nu lipsesc există în acele coloane și, în sfârșit, tipul de date al acelor coloane. Acesta este un mod rapid și frumos de a vedea care sunt toate caracteristicile numerice și ce sunt toate categorice/bazate pe text. De asemenea, acum avem informații despre valorile care lipsesc în toate coloanele. Vom analiza mai târziu cum să lucrăm cu valorile lipsă.

Manipularea numelor de coloane și a tipurilor de date

Verificarea și manipularea cu atenție a fiecărei coloane este extrem de crucială în EDA. Trebuie să vedem ce tip de conținut conține o coloană/funcție și ce a citit panda tipul de date. Tipurile de date numerice sunt în principal int64 sau float64. Caracteristicilor bazate pe text sau categoriale li se atribuie tipul de date „obiect”.

Caracteristicile bazate pe dată și oră sunt atribuite Există momente în care Pandas nu înțelege tipul de date al unei caracteristici. În astfel de cazuri, îi atribuie leneș tipul de date „obiect”. Putem specifica în mod explicit tipurile de date coloanei în timp ce citim datele cu read_csv.

Selectarea coloanelor categorice și numerice

Aici tipul pe care l-am trecut ca „număr” selectează toate coloanele cu tipuri de date care au orice fel de număr, fie el int64 sau float64.

Redenumirea coloanelor

Funcția de redenumire preia doar un dicționar cu numele coloanelor care trebuie redenumite și noile lor nume.

Gestionarea valorilor lipsă și a rândurilor duplicate

Valorile lipsă sunt una dintre cele mai frecvente probleme/discrepanțe în orice set de date din viața reală. Gestionarea valorilor lipsă este în sine un subiect vast, deoarece există mai multe moduri de a face acest lucru. Unele moduri sunt moduri mai generice, iar altele sunt mai specifice setului de date cu care ar putea avea de-a face.

Verificarea valorilor lipsă

Aceasta ne oferă numărul de valori care lipsesc în toate coloanele. Putem vedea și procentul de valori care lipsesc.

Verificarea procentelor poate fi utilă atunci când există o mulțime de coloane care au valori lipsă. În astfel de cazuri, coloanele cu multe valori lipsă (de exemplu, > 60% lipsesc) pot fi doar eliminate.

Imputarea valorilor lipsă

Aici imputăm pur și simplu valorile lipsă din coloanele numerice prin mijloacele respective și pe cele din coloanele categoriale după modurile lor. Și după cum putem vedea, nu există valori lipsă acum.

Vă rugăm să rețineți că acesta este cel mai primitiv mod de a imputa valorile și nu funcționează în cazurile din viața reală în care sunt dezvoltate moduri mai sofisticate, de exemplu, interpolarea, KNN etc.

Gestionarea rândurilor duplicate

Acest lucru scade doar rândurile duplicate.

Checkout: Idei și subiecte pentru proiecte Python

Analiza bivariată

Acum să vedem cum să obținem mai multe informații făcând analize bivariate. Bivariat înseamnă o analiză care constă din 2 variabile sau caracteristici. Există diferite tipuri de parcele disponibile pentru diferite tipuri de caracteristici.

Pentru Numeric – Numeric

1. Graficul de dispersie
2. Graficul de linii
3. Hartă termică pentru corelații

Pentru categoric-numeric

1. Diagramă cu bare
2. Complot pentru vioară
3. Complot roi

Pentru Categoric-Categoric

1. Diagramă cu bare
2. Graficul punctual

Hartă termică pentru corelații

Bar Plot

Obțineți certificare în știința datelor de la cele mai bune universități din lume. Învață programe Executive PG, programe avansate de certificat sau programe de master pentru a-ți accelera cariera.

Concluzie

După cum am văzut, există o mulțime de pași care trebuie parcurși în timpul explorării unui set de date. Am acoperit doar câteva aspecte în acest tutorial, dar acest lucru vă va oferi mai mult decât cunoștințe de bază despre un EDA bun.

Dacă sunteți curios să aflați despre Python, totul despre știința datelor, consultați Diploma PG în știința datelor de la IIIT-B și upGrad, care este creată pentru profesioniști care lucrează și oferă peste 10 studii de caz și proiecte, ateliere practice practice, mentorat cu industrie experți, 1-la-1 cu mentori din industrie, peste 400 de ore de învățare și asistență la locul de muncă cu firme de top.