Pythonの探索的データ分析とは何ですか？ ゼロから学ぶ

探索的データ分析（EDA）は、要するに、データサイエンスプロジェクトのほぼ70％を占めています。 EDAは、さまざまな分析ツールを使用してデータから推論統計を取得することにより、データを探索するプロセスです。 これらの調査は、単純な数値を確認するか、さまざまなタイプのグラフやチャートをプロットすることによって行われます。

各グラフまたはチャートは、同じデータに対する異なるストーリーと角度を示しています。 ほとんどのデータ分析とクリーニングの部分では、Pandasが最も使用されているツールです。 視覚化とグラフ/チャートのプロットには、Matplotlib、Seaborn、Plotlyなどのプロットライブラリが使用されます。

EDAは、データを告白するため、実行する必要があります。 非常に優れたEDAを実行するデータサイエンティストはデータについて多くのことを知っているため、構築するモデルは、優れたEDAを実行しないデータサイエンティストよりも自動的に優れています。

このチュートリアルを終えると、次のことがわかります。

• データの基本的な概要を確認する
• データの記述統計を確認する
• 列名とデータ型の操作
• 欠落値と重複行の処理
• 二変量解析

データの基本的な概要

このチュートリアルでは、KaggleからダウンロードできるCarsデータセットを使用します。 ほとんどすべてのデータセットの最初のステップは、データセットをインポートして、その基本的な概要（形状、列、列タイプ、上位5行など）を確認することです。このステップでは、操作するデータの概要を簡単に確認できます。 Pythonでこれを行う方法を見てみましょう。

データヘッドとテール

head関数は、デフォルトでデータフレームの上位5つのインデックスを出力します。 また、その値をヘッドにバイパスして表示する必要がある上位インデックスの数を指定することもできます。 ヘッドを印刷すると、データの種類、存在する機能の種類、およびそれらに含まれる値をすばやく確認できます。 もちろん、これはデータの全体像を示すものではありませんが、データを簡単に確認することができます。 同様に、tail関数を使用して、データフレームの下部を印刷できます。

ここで注意すべきことの1つは、関数headとtailの両方がtopまたはbottomインデックスを提供することです。 ただし、一番上の行または一番下の行は、必ずしもデータの良いプレビューであるとは限りません。 したがって、sample（）関数を使用して、データセットからランダムにサンプリングされた任意の数の行を出力することもできます。

記述統計

次に、データセットの記述統計を確認しましょう。 記述統計は、データセットを「説明する」すべてのもので構成されます。 データフレームの形状、すべての列が存在するか、すべての数値およびカテゴリの特徴が存在するかを確認します。 また、これらすべてを単純な関数で行う方法についても説明します。

形

ご覧のとおり、このデータフレームには11914行と16列が含まれています。

列

データフレーム情報

ご覧のとおり、info（）関数はすべての列、それらの列に存在するnull以外の値または欠落していない値の数、最後にそれらの列のデータ型を提供します。 これは、すべての機能が数値であり、すべてがカテゴリ/テキストベースであるかをすばやく確認するための優れた方法です。 また、すべての列に欠落している値に関する情報があります。 欠落している値を処理する方法については、後で説明します。

列名とデータ型の操作

EDAでは、各列を注意深くチェックして操作することが非常に重要です。 列/機能に含まれるすべてのタイプのコンテンツと、パンダがそのデータ型を読み取ったものを確認する必要があります。 数値データ型は主にint64またはfloat64です。 テキストベースまたはカテゴリ機能には、「オブジェクト」データ型が割り当てられます。

日時ベースの機能が割り当てられますパンダが機能のデータ型を理解しない場合があります。 そのような場合、それはただ怠惰にそれに'オブジェクト'データ型を割り当てます。 read_csvを使用してデータを読み取るときに、列のデータ型を明示的に指定できます。

カテゴリ列と数値列の選択

ここで、「number」として渡した型は、int64またはfloat64などの任意の種類の数値を持つデータ型を持つすべての列を選択します。

列の名前を変更する

名前変更関数は、名前を変更する列名とその新しい名前を含む辞書を取り込むだけです。

欠落値と重複行の処理

欠落値は、実際のデータセットで最も一般的な問題/不一致の1つです。 欠落している値を処理する方法は複数あるため、それ自体が大きなトピックです。 いくつかの方法はより一般的な方法であり、いくつかは処理している可能性のあるデータセットに固有のものです。

欠落している値の確認

これにより、すべての列で欠落している値の数がわかります。 欠落している値のパーセンテージも確認できます。

値が欠落している列が多数ある場合は、パーセンテージを確認すると役立つ場合があります。 このような場合、欠落している値が多い（たとえば、60％を超える欠落している）列を削除することができます。

欠落値の代入

ここでは、数値列の欠落値をそれぞれの平均で代入し、カテゴリ列の欠落値をモードで代入します。 ご覧のとおり、現在、欠測値はありません。

これは値を代入する最も原始的な方法であり、補間、KNNなどのより高度な方法が開発されている実際のケースでは機能しないことに注意してください。

重複する行の処理

これにより、重複する行が削除されます。

チェックアウト： Pythonプロジェクトのアイデアとトピック

二変量解析

次に、二変量解析を実行してより多くの洞察を得る方法を見てみましょう。 二変量とは、2つの変数または特徴で構成される分析を意味します。 さまざまなタイプの機能に使用できるさまざまなタイプのプロットがあります。

数値の場合–数値

1. 散布図
2. 折れ線グラフ
3. 相関関係のヒートマップ

カテゴリカル-数値の場合

1. 棒グラフ
2. バイオリン図
3. スウォームプロット

カテゴリカルの場合-カテゴリカル

1. 棒グラフ
2. ポイントプロット

相関関係のヒートマップ

棒グラフ

世界のトップ大学からデータサイエンス認定を取得します。 エグゼクティブPGプログラム、高度な証明書プログラム、または修士プログラムを学び、キャリアを早急に進めましょう。

結論

これまで見てきたように、データセットを探索する際にカバーする必要のある多くのステップがあります。 このチュートリアルではほんの一握りの側面しか取り上げませんでしたが、これにより、優れたEDAの基本的な知識以上のものが得られます。

Python、データサイエンスのすべてについて知りたい場合は、IIIT-BとupGradのデータサイエンスのPGディプロマをチェックしてください。これは、働く専門家向けに作成され、10以上のケーススタディとプロジェクト、実践的なハンズオンワークショップ、業界とのメンターシップを提供します。専門家、業界のメンターと1対1で、400時間以上の学習とトップ企業との仕事の支援。