Объяснение библиотек в Python: список важных библиотек

Что такое библиотека?

Библиотека — это предварительно объединенный набор кодов, которые можно использовать многократно, что сокращает время. Как следует из термина, это похоже на физическую библиотеку, которая содержит повторно используемые ресурсы. Python создал несколько библиотек с открытым исходным кодом, основываясь на том факте, что у каждой библиотеки есть корневой код.

Что такое библиотеки Python?

В настоящее время Python широко используется как язык программирования высокого уровня. Простота использования заключается в его синтаксисе, который использует меньшее количество кодов для выражения концепции. Следовательно, это позволяет пользователю применять Python и писать программы как в больших, так и в малых масштабах. Язык поддерживает автоматическое управление памятью и имеет большую стандартную библиотеку.

Библиотека Python определяет строки кода, которые можно повторно использовать в других программах. По сути, это набор модулей. Их полезность заключается в том, что не требуется писать новые коды каждый раз, когда требуется запустить один и тот же процесс. Библиотеки в Python играют важную роль в областях науки о данных, машинного обучения, приложений для обработки данных и т. д.

Стандартная библиотека Python

Жизнь программиста упрощается при наличии большого количества стандартных библиотек на питоне. Это в основном потому, что программисту не требуется продолжать писать коды. Например, программист может использовать библиотеку MySQLdb для подключения базы данных MySQL к серверу. Библиотеки Python в основном написаны на языке программирования C, который обрабатывает такие операции, как ввод-вывод и другие основные модули. Стандартная библиотека состоит из более чем 200 основных модулей, и на сегодняшний день разработано около 137 000 библиотек Python .

Важные библиотеки Python

1. Матплотлиб

Эта библиотека используется для построения числовых данных и анализа данных. Эта библиотека с открытым исходным кодом используется для публикации высококачественных рисунков, таких как графики, круговые диаграммы, диаграммы рассеяния, гистограммы и т. д.

2. Панды

Panda — это библиотека с открытым исходным кодом и лицензией BSD. Библиотека широко используется в области науки о данных. В основном они используются для анализа, обработки и очистки данных. Без необходимости переключения на другой язык, такой как R, панда позволяет легко выполнять операции моделирования и анализа данных.

Данные, используемые библиотеками в python :

• Табличные данные
• Временные ряды с упорядоченными и неупорядоченными данными.
• Маркировка строк и столбцов матричных данных.
• Неразмеченные данные
• Любая другая форма статистических данных

Установка панд

Пользователь должен ввести «pip install pandas» в командной строке или ввести «conda install pandas», если anaconda уже установлена ​​в системе. После завершения установки его можно импортировать в среду IDE, введя команду «import pandas as pd».

Операции в Панде

В панде можно выполнить большое количество операций:

• Нарезка фрейма данных
• Слияние и объединение фреймов данных
• Объединение столбцов из двух фреймов данных
• Изменение значений индекса во фрейме данных.
• Изменение заголовков в колонке.
• Преобразование данных в различные форматы.

3. Нампи

Отклоняясь в сторону научных областей вычислений, NumPy является наиболее часто используемым пакетом с открытым исходным кодом, предлагаемым python. Он поддерживает большие матрицы и многомерные данные и имеет встроенные математические функции для упрощения вычислений. Имя «NumPy» определяет «Числовой Python». Его можно использовать в линейной алгебре, случайных числах и т. д., и он может выступать в качестве многомерного контейнера для общих данных. Python NumPy Array — это объект, определяющий N-мерный массив в виде строк и столбцов.

NumPy предпочтительнее списков в python из-за:

• Меньше памяти
• Быстро
• Удобный

Установка

Установка пакета NumPy выполняется путем ввода команды «pip install numpy» в командной строке. Импорт пакета в IDE можно выполнить с помощью команды «import numpy as np». Установочные пакеты на NumPy можно найти по ссылке

4. Scipy (научный Python)

Scipy — это библиотека Python с открытым исходным кодом, используемая для научных вычислений, вычисления данных и высокопроизводительных вычислений. В библиотеке присутствует большое количество удобных подпрограмм для облегчения вычислений. Пакет построен на расширении NumPy, позволяющем манипулировать и визуализировать данные с помощью команд высокого уровня. Наряду с NumPy, Scipy используется для математических вычислений. NumPy позволяет сортировать, индексировать данные массива, а числовой код хранится в SciPy.

В SciPy доступно большое количество подпакетов: кластер, константы, fftpack, интеграция, интерполяция, ввод-вывод, linalg, ndimage, odr, оптимизация, сигнал, разреженный, пространственный, специальный и статистика. Их можно импортировать из SciPy через «из scipy import subpackage-name».

Однако основными пакетами SciPy являются NumPy, библиотека SciPy, Matplotlib, IPython, Sympy и Pandas.

5. Алхимия SQL

Эта библиотека Python в основном используется для доступа к информации из баз данных, поддерживающих широкий спектр баз данных и макетов. Для простоты понимания SQLAlchemy можно использовать на начальном уровне. Он поддерживает большое количество платформ, таких как Python 2.5, Jython и Pypy, что обеспечивает быструю связь между языком Python и базой данных.

Пакет можно установить по ссылке

6. Скрейпинг

Scrapy — это фреймворк с открытым исходным кодом на Python для извлечения данных с веб-сайтов. Это быстрая, высокоуровневая библиотека для скрейпинга и веб-сканирования под «Scrapinghub ltd». Очистка нескольких страниц в течение минуты, Scrapy — это более быстрый подход к очистке веб-страниц.

Его можно использовать для:

• Сравнение цен на веб-порталах на конкретные товары.
• Добыча данных для поиска информации.
• Расчет данных в инструментах анализа данных.
• Сбор данных и предоставление их в информационные центры, такие как новостные порталы.

Установка

Для среды conda установку можно выполнить с помощью команды «conda install -c conda-forge scrapy». Если conda не установлена, то используется команда «pip install scrapy».

7. Красивый суп

Подобно Scrapy, BeautifulSoup — это библиотека для программирования на Python, используемая для извлечения и сбора информации с веб-сайтов. Он имеет отличную библиотеку XML-HTML для начинающих.

8. Scikit — учиться

Scikitlearn — это библиотека с открытым исходным кодом в среде программирования Python, используемая для подходов к машинному обучению. Он поддерживает широкий спектр контролируемых и неконтролируемых алгоритмов обучения. Библиотека содержит популярные алгоритмы вместе с пакетами NumPy, Matplotlib и SciPy. Известное приложение Scikit-learn находится в Spotify для музыкальных рекомендаций.

Установка

Для установки Scikit-learn необходимо сначала установить вышеуказанные пакеты. Поскольку Scikit-learn построен на платформе SciPy, сначала необходимо установить SciPy. Затем установка может быть выполнена через pip.

8. Рампа

Библиотека Ramp используется для быстрого прототипирования моделей машинного обучения с простым синтаксисом для изучения алгоритмов, функций и преобразований. Его можно использовать с пакетами машинного обучения и статистическими инструментами. Он состоит из различных машинного обучения и статистических библиотек, таких как; pandas, scikit-learn и т. д. Коллекция этих библиотек Python предоставляет простой синтаксис, который помогает эффективно исследовать функции и преобразования.

Подробная информация о библиотеке Ramp доступна по ссылке

9. Сиборн

Пакет может использоваться для визуализации статистических моделей. Библиотека основана на Matplotlib и позволяет создавать статистические графики посредством:

• Сравнение переменных через API на основе наборов данных.
• Простое создание сложных визуализаций, поддерживающих сетки с несколькими графиками.
• Сравнение подмножеств данных с помощью одномерных и двумерных визуализаций.
• Варианты различных цветовых палитр для отображения узоров.
• Автоматическая оценка линейной регрессии и ее построение.

Установка

Для установки Seaborn можно использовать следующие команды:

• пип установить сиборн
• conda install seaborn (для среды conda)

За установкой библиотеки следует установка ее зависимостей: NumPy , SciPy , Matplotlib и Pandas . Еще одна рекомендуемая зависимость — statsmodels.

Набор данных любого типа можно импортировать из GIT через Seaborn с помощью функции load_dataset(). Набор данных можно просмотреть с помощью функции get_dataset_names().

10. Статмодели

Statsmodels — это библиотека Python, полезная для анализа и оценки статистических моделей. Библиотека включена для проведения статистических тестов и т. д., обеспечивающих высокопроизводительные результаты.

11. Тензорный поток

TensorFlow — это библиотека с открытым исходным кодом, используемая для высокопроизводительных численных вычислений. Он также используется в подходах к машинному обучению и алгоритмах глубокого обучения. Разработанный исследователями из команды Google Brain в организации Google AI, он теперь широко используется исследователями в области математики, физики и машинного обучения для сложных математических вычислений. TensorFlow поддерживается macOS 10.12.6 (Sierra) или более поздней версии; Windows 7 или выше; Ubuntu 16.04 или новее; и Raspbian 9.0 или новее

12. Пигейм

Пакет PyGame предоставляет интерфейс к платформенно-независимой графической, звуковой и входной библиотекам Simple Directmedia Library (SDL).

Установка

Перед установкой PyGame необходимо установить Python 2.7. После установки Python 2.7 необходимо загрузить официальный установщик PyGame. Соответствующие файлы должны быть выполнены.

• Команда «import pygame» необходима для импорта модулей, необходимых для PyGame.
• Команда «pygame.init()» требуется для инициализации необходимых модулей для PyGame.
• Функция «pygame.display.set_mode((width, height))» запустит окно, в котором должны быть выполнены графические операции.
• Команда «pygame.event.get()» помогает очистить очередь событий, иначе события будут накапливаться, что приведет к риску того, что игра перестанет отвечать.
• Для выхода из игры используется функция «pygame.QUIT».
• Команда «pygame.display.flip()» используется для отображения любых обновлений, внесенных в игру.

13. ПиТорч

PyTorch — это библиотека на основе Python, сочетающая в себе две функции высокого уровня:

• Тензорные вычисления (например, NumPy) с сильным ускорением графического процессора
• Платформы Deep Neural Network обеспечивают гибкость и скорость.

Он был представлен Facebook в 2017 году. Вот некоторые из особенностей PyTorch:

• Поддержка Python и его библиотек.
• Используется при разработке Facebook для требований глубокого обучения.
• Простой в использовании API для лучшего удобства использования и понимания.
• В любой момент выполнения кода графики могут строиться динамически и динамически вычисляться во время выполнения.
• Простое кодирование и быстрая обработка.
• Может выполняться на машинах с графическим процессором, поскольку поддерживается CUDA.

Установка

PyTorch можно установить через командную строку или в среде IDE.

14. Теано

Подобно другим библиотекам, используемым для математических операций, Theano позволяет пользователю определять, оптимизировать и оценивать математические выражения. Он включает в себя большие многомерные массивы для эффективных математических вычислений. Обычные коды на основе C становятся медленнее, учитывая огромные объемы данных. Однако благодаря доступности библиотеки Theano позволяет быстро реализовать код. Нестабильные выражения можно распознавать и вычислять, что делает библиотеку более полезной по сравнению с NumPy.

15. СимПи

Пакет наиболее близок к библиотеке Theano и используется во всей символьной математике. Благодаря простому коду, предоставляемому пакетом, библиотеку можно эффективно использовать для системы компьютерной алгебры. Написанный только на python, SymPy можно настраивать и применять в других приложениях. Исходный код пакета можно найти на GitHub.

16. Кафе2

Caffe2 — это фреймворк для глубокого обучения на основе Python. Некоторые особенности пакета Caffe2:

• Поддерживает крупномасштабное распределенное обучение.
• Поддержка нового оборудования.
• Применимость к нескольким вычислениям, таким как квантованные вычисления.

Пакет совместим с такими операционными системами, как MacOSX, Ubuntu, CentOS, Windows, iOS, Android, Raspbian и Tegra. Его можно установить из готовых библиотек, собрать из исходного кода, образов докеров или из облака. Руководство по установке доступно

17. НуПИК

Библиотека расшифровывается как Numenta Platform for Intelligent Computing (NuPIC). Он предоставляет платформу для реализации алгоритма обучения HTM. Будущие алгоритмы машинного обучения могут быть основаны на этой библиотеке на основе неокортекса. HTM содержит алгоритмы непрерывного обучения на основе времени и представляет собой подробную вычислительную теорию неокортекса. Алгоритмы связаны с хранением и воспроизведением пространственных и временных паттернов. Такие проблемы, как обнаружение аномалий и т. д., можно решить с помощью NuPIC.

Файлы можно скачать по ссылке «https://pypi.org/project/nupic/».

18. Пипенв

Pipenv был официально включен в библиотеки Python в 2017 году. Это инструмент упаковки Python, решающий проблемы рабочего процесса. Основная цель пакета — предоставить среду, которую легко настроить пользователям. Он собирает все миры упаковки, т. е. сборщик, композитор, npm, груз, пряжу и т. д., и интегрируется в среду Python. Вот некоторые из проблем, решаемых Pipenv:

• Пользователям больше не нужно использовать «pip» и «virtualenv» отдельно для совместной работы.
• Пользователи могут получить правильное представление о графе зависимостей.
• Оптимизируйте рабочий процесс разработки с помощью файлов .env.

Установка

• С помощью команды «$ sudo apt install pipenv» в Debian Buster.
• Через команду «$ sudo dnf install pipenv» в Fedora.
• Через команду «pkg install py36-pipenv» в FreeBSD.
• Через Pipx с помощью «$pipx install pipenv».

19. ПиМозг

PyBrain — это библиотека с открытым исходным кодом из доступных библиотек на Python , используемая для алгоритмов машинного обучения для каждого студента начального уровня, занимающегося исследованиями. Цель PyBrain — предложить гибкие и простые в использовании алгоритмы для задач машинного обучения. Он также предоставляет предопределенные среды для сравнения алгоритмов. PyBrain расшифровывается как Python-Based Reinforcement Learning, Artificial Intelligence и Neural Network Library. По сравнению с другими библиотеками машинного обучения, предоставляемыми Python, PyBrain работает быстро и понятно.

Некоторые из особенностей PyBrain:

1. Сети: Сеть определяется как модули, соединенные ссылками. PyBrain поддерживает несколько сетей: сеть с прямой связью, рекуррентная сеть и т. д.

• • Сеть, в которой информация передается от одного узла к другому в прямом направлении, называется сетью прямого распространения. Информация не будет перемещаться назад в этом типе сети. Это одна из первых и самых простых сетей, предлагаемых искусственной нейронной сетью. Поток данных идет от входных узлов к скрытым узлам и, наконец, к выходным узлам.
  • Подобно узлам Feed-Forward, это повторяющиеся узлы, в которых информация должна запоминаться на каждом этапе.

2. Наборы данных: наборы данных включают данные, которые должны быть предоставлены сетям для тестирования, проверки и обучения сетей. Это зависит от задачи, которую необходимо выполнить с помощью машинного обучения. PyBrain в основном поддерживает два типа наборов данных: SupervisedDataSet и ClassificationDataSet.

• • SupervisedDataSet: эти типы наборов данных в основном используются для контролируемых задач обучения. Поля в наборах данных являются «входными» и «целевыми».
  • ClassificationDataSet: эти типы наборов данных в основном используются для задач классификации. Наряду с полями «вход» и «цель» есть дополнительное поле, т. е. «класс». «Класс» включает автоматическое резервное копирование целей.

3. Тренер: данные в нейронной сети обучаются с помощью обучающих данных, предоставленных сетям. Чтобы проверить, правильно ли обучена сеть, анализируется прогноз тестовых данных в этой сети. В PyBrain чаще всего используются два типа тренеров:

• • Backprop Trainer: параметры в сети обучаются на основе контролируемого набора данных или набора данных ClassificationDataSet путем обратного распространения ошибок.
  • TrainUntilConvergence: модуль обучается до сходимости

4. Визуализация : визуализацию данных можно выполнять с помощью других фреймворков, таких как Mathplotlib, pyplot и т. д.

20. МОЛОКО

Пакет машинного обучения «MILK» на python фокусируется на использовании доступных классификаторов для контролируемой классификации. Доступными классификаторами являются SVM, k-NN, случайные леса и деревья решений. Наряду с классификацией MILK помогает в процессе выбора признаков. Комбинация классификаторов зависит от системы классификации.

• Для задачи неконтролируемой классификации MILK использует кластеризацию -средних и распространение сходства.
• Входные данные для МОЛОКА различаются. В основном он оптимизирован для массивов NumPy, но могут быть приняты и другие формы входных данных.
• Коды в MILK написаны на C++, который использует мало памяти и отличается высокой скоростью.

Установка

Код установки для MILK можно получить на Github. Для установки используются команды «easy_install milk» или «pip install milk».

Более подробную информацию о наборе инструментов можно получить по ссылке.

Заключение

Простой в использовании язык Python нашел широкое применение в нескольких областях реального мира. Будучи высокоуровневым, динамически типизированным и интерпретируемым языком, этот язык быстро растет в области ошибок отладки. Некоторыми глобальными приложениями, в которых все чаще используется python, являются YouTube, DropBox и т. д. Кроме того, благодаря наличию библиотек на python пользователи могут выполнять множество задач без необходимости писать собственный код.

Если вам интересно узнать о библиотеках Python и науке о данных, ознакомьтесь с программой Executive PG IIIT-B и upGrad по науке о данных, которая создана для работающих профессионалов и предлагает более 10 тематических исследований и проектов, практические практические семинары, наставничество в отрасли. экспертов, общение один на один с отраслевыми наставниками, более 400 часов обучения и помощь в трудоустройстве в ведущих фирмах.