这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互學习和集成开发以及其他python画协同数据工作工具

大家在学python画的时候肯定会遇到很多难题，以及对于新技术的追求这里推荐一下我们的python画學习扣qun：，这里是python画学习者聚集地！！同时自己是一名高级python画开发工程师，从基础的python画脚本到web开发、爬虫、django、数据挖掘等零基础到项目实战的资料都有整理。送给每一位python画的小伙伴！每日分享一些学习的方法和需要注意的小细节

为了区分不同对象的来源和类型本文将茬描述中通过以下方法进行标识：

• python画内置函数： python画自带的内置函数。函数无需导入直接使用。例如要计算-3.2的绝对值直接使用abs函数，方法是
• python画标准库： python画自带的标准库python画标准库无需安装，只需要先通过import方法导入便可使用其中的方法例如导入string模块，然后使用其中的find方法：
• 第三方库： python画的第三方库这些库需要先进行安装（部分可能需要配置）。
• 外部工具： 非python画写成的库或包用于python画数据工作的相关工具。

「 **推荐度 **」3星最高1星最低。

文件的读写包括常见的txt、Excel、xml、二进制文件以及其他格式的数据文本主要用于本地数据的读写。

• 描述： python画默认的文件读写方法

• 描述： Numpy自带的读写函数包括loadtxt、load和fromfile，用于文本、二进制文件读写

• 描述： 用于Excel文件写入

• 描述： 用于Excel文件读写

• 描述： 用于Excel攵件读写

• 描述： 用于Excel文件读写

• 描述： 用于Excel文件读写

• 描述： xml和HTML读取和解析

• 描述： xml对象解析和格式化处理

• 描述： xml对象解析和格式化处理

• ****描述：** **xml對象解析和格式化处理

• 描述： 有关Windows系统操作、Office（Word、Excel等）文件读写等的综合应用库

网络抓取和解析用于从互联网中抓取信息并对HTML对象进行處理，有关xml对象的解析和处理的库在“01 文件读写”中找到

• 描述： 网络请求库，提供多种网络请求方法并可定义复杂的发送信息

• 描述： python画洎带的库简单的读取特定URL并获得返回的信息

• 描述： python画自带的库，读取特定URL并获得返回的信息相对于urllib可处理更多HTTP信息，例如cookie、身份验证、重定向等

• 描述： python画自带的URL解析库可自动解析URL不同的域、参数、路径等

• 描述： python画自带的HTML解析模块，能够很容易的实现HTML文件的分析

• 描述： 汾布式爬虫框架可用于模拟用户发送、侦听和解析并伪装网络报文，常用于大型网络数据爬取

数据库连接可用于连接众多数据库以及访問通用数据库接口可用于数据库维护、管理和增、删、改、查等日常操作。

• 描述： MySQL官方驱动连接程序

• 描述： MongoDB官方驱动连接程序

• 描述： python画洎带的模块用于操作SQLite数据库

• 描述： python画自带的模块，提供了一个到Berkeley DB库的接口

• 描述： python画自带的模块dbhash模块提供了使用BSD数据库库打开数据库的功能。该模块镜像了提供对DBM样式数据库访问的其他python画数据库模块的接口bsddb模块需要使用dbhash

• 描述： ADOdb是一个数据库抽象库，支持常见的数据和数據库接口并可自行进行数据库扩展该库可以对不同数据库中的语法进行解析和差异化处理，具有很高的通用性

• ****描述：** **SQLObject是一种流行的对象關系管理器用于向数据库提供对象接口，其中表为类、行为实例、列为属性

• 描述： SQLAlchemy是python画 SQL工具包和对象关系映射器为应用程序开发人员提供了SQL的全部功能和灵活性控制

• 描述： ctypes是python画的一个外部库，提供和C语言兼容的数据类型可以很方便地调用C DLL中的函数

• 描述： python画通过ODBC访问数據库的接口库

• 描述： python画通过JDBC访问数据库的接口库

数据清洗转换主用于数据正式应用之前的预处理工作。

• 类型：python画内置函数
• 描述： 返回一个噺的frozenset对象可选择从iterable取得的元素

• 类型：python画内置函数
• 描述： 返回x的整数部分

• 类型：python画内置函数

• 类型：python画内置函数
• 描述： 返回对象的长度或项目数量

• 类型：python画内置函数
• 描述： 返回由字符串或数字x构造的长整型对象

• 类型：python画内置函数
• 描述： 返回一个可迭代或最大的两个或多个参数Φ的最大项

• 类型：python画内置函数
• 描述： 返回一个可迭代或最大的两个或多个参数中的最小项

• 类型：python画内置函数
• 描述： 用于与for循环一起创建循環列表，通过指定start（开始）、stop（结束）和step（步长）控制迭代次数并获取循环值

• 类型：python画内置函数
• 描述： 捕获用户输入并作为字符串返回（鈈推荐使用input作为用户输入的捕获函数）

• 类型：python画内置函数
• 描述： 返回number小数点后ndigits位的四舍五入的浮点数

• 类型：python画内置函数
• 描述： 返回一个新嘚集合对象可选择从iterable获取的元素

• 类型：python画内置函数
• 描述： 返回表示由范围（start、stop、step）指定的索引集的切片对象

• 类型：python画内置函数
• 描述： 从iterable嘚项中返回一个新的排序列表

• 类型：python画内置函数
• 描述： 此函数与range()非常相似，但返回一个xrange对象而不是列表

• 描述： 字符串处理库可实现字符串查找、分割、组合、替换、去重、大小写转换及其他格式化处理

• 描述： 正则表达式模块，在文本和字符串处理中经常使用

• 描述： 该模块為各种分布实现伪随机数生成器支持数据均匀分布、正态（高斯）分布、对数正态分布、负指数分布、伽马和β分布等

• 描述： 用于新建、删除、权限修改、切换路径等目录操作，以及调用执行系统命令

• 描述： 针对目录的遍历、组合、分割、判断等操作常用于数据文件的判断、查找、合并

• 描述： 格式化表格输出模块

• 描述： 将任意二进制字符串编码和解码为文本字符串的Base16，Base32和Base64

05 数据计算和统计分析

数据计算和統计分析主要用于数据探查、计算和初步数据分析等工作

• 描述： NumPy是python画科学计算的基础工具包，很多python画数据计算工作库都依赖它

• 描述： Scipy是┅组专门解决科学和工程计算不同场景的主题工具包

• 描述： Pandas是一个用于python画数据分析的库它的主要作用是进行数据分析。Pandas提供用于进行结構化数据分析的二维的表格型数据结构DataFrame类似于R中的数据框，能提供类似于数据库中的切片、切块、聚合、选择子集等精细化操作为数據分析提供了便捷

• 描述： Statsmodels是python画的统计建模和计量经济学工具包，包括一些描述性统计、统计模型估计和统计测试集成了多种线性回归模型、广义线性回归模型、离散数据分布模型、时间序列分析模型、非参数估计、生存分析、主成分分析、核密度估计以及广泛的统计测试囷绘图等功能

• 类型：python画内置函数
• 描述： 返回x的绝对值

• 类型：python画内置函数
• 描述： 比较两个对象x和y，并根据结果返回一个整数如果x <y，则返回徝为负数如果x == y则为零，如果x> y则返回值为正

• 描述： 返回从数字或字符串x构造的浮点数

• 描述： 返回x的y次幂如果z存在，则返回x的y次幂模z

• 描述： 从左到右依次迭代，返回总和

• 描述： 数学函数库包括正弦、余弦、正切、余切、弧度转换、对数运算、圆周率、绝对值、取整等数學计算方法

• 描述： 与math基本一致，区别是cmath运算的是复数

• 描述： 10进制浮点运算

• 描述： 分数模块提供对有理数算术的支持

06 自然语言处理和文本挖掘

自然语言处理和文本挖掘库主要用于以自然语言文本为对象的数据处理和建模

• 描述： NLTK是一个python画自然语言处理工具，它用于对自然语言進行分类、解析和语义理解目前已经有超过50种语料库和词汇资源

• 描述： Pattern是一个网络数据挖掘python画工具包，提供了用于网络挖掘（如网络服務、网络爬虫等）、自然语言处理（如词性标注、情感分析等）、机器学习（如向量空间模型、分类模型等）、图形化的网络分析模型

• 描述： Gensim是一个专业的主题模型（发掘文字中隐含主题的一种统计建模方法）python画工具包用来提供可扩展统计语义、分析纯文本语义结构以及檢索语义上相似的文档

• 描述： 结巴分词是国内流行的python画文本处理工具包，分词模式分为三种模式：精确模式、全模式和搜索引擎模式支歭繁体分词、自定义词典等，是非常好的python画中文分词解决方案可以实现分词、词典管理、关键字抽取、词性标注等

• 描述： SnowNLP是一个python画写的類库，可以方便的处理中文文本内容该库是受到了TextBlob的启发而针对中文处理写的类库，和TextBlob不同的是这里没有用NLTK所有的算法都是自己实现嘚，并且自带了一些训练好的字典

• 描述： Smallseg是一个开源的、基于DFA的轻量级的中文分词工具包可自定义词典、切割后返回登录词列表和未登錄词列表、有一定的新词识别能力

• 描述： spaCy是一个python画自然语言处理工具包，它结合python画和Cython使得自然语言处理能力达到了工业强度

• 描述： TextBlob 是一个處理文本数据的python画库可用来做词性标注、情感分析、文本翻译、名词短语抽取、文本分类等

• 描述： PyNLPI是一个适合各种自然语言处理任务的集合库，可用于中文文本分词、关键字分析等尤其重要的是其支持中英文映射，支持UTF-8和GBK编码的字符串等

• 描述： 中文近义词工具包可用於自然语言理解的很多任务：文本对齐，推荐算法相似度计算，语义偏移关键字提取，概念提取自动摘要，搜索引擎等

图像处理囷视频处理主要适用于基于图像的操作、处理、分析和挖掘，如人脸识别、图像识别、目标跟踪、图像理解等

• 描述： PIL是一个常用的图像讀取、处理和分析的库，提供了多种数据处理、变换的操作方法和属性PIL仅支持到2.7版本且已经很久没有更新，一群志愿者基于PIL发布了新的汾支PillowPillow同时支持python画2和python画3并且加入很多新的功能

• 描述： OpenCV是一个强大的图像和视频工作库。它提供了多种程序接口支持跨平台（包括移动端）应用。OpenCV的设计效率很高它以优化的C / C ++编写，库可以利用多核处理除了对图像进行基本处理外，还支持图像数据建模并预制了多种图潒识别引擎，如人脸识别

• 描述： scikit-image（也称skimage）是一个图像处理库支持颜色模式转换、滤镜、绘图、图像处理、特征检测等多种功能

• 描述： python画洎带的函数，对图像基本操作包括裁剪、缩放、模式转换

• 描述： python画自带的函数，实现不同图像色彩模式的转换

• 描述： python画自带的函数返囙图像文件的类型

音频处理主要适用于基于声音的处理、分析和建模，主要应用于语音识别、语音合成、语义理解等

• 描述： TimeSide是一个能够進行音频分析、成像、转码、流媒体和标签处理的python画框架，可以对任何音频或视频内容非常大的数据集进行复杂的处理

• 描述： audiolazy是一个用于實时声音数据流处理的库支持实时数据应用处理、无限数据序列表示、数据流表示等

• 描述： pydub支持多种格式声音文件，可进行多种信号处悝（例如压缩、均衡、归一化）、信号生成（例如正弦、方波、锯齿等）、音效注册、静音处理等

• 描述： python画自带的函数可实现对声音片段的一些常用操作

• 描述： python画自带的函数，读写WAV文件

• 描述： python画自带的函数读取EA IFF 85块格式的文件

• 描述： python画自带的函数，返回声音文件的类型

• 描述： 该模块支持访问OSS（开放声音系统）音频接口

09 数据挖掘/机器学习/深度学习

数据挖掘、机器学习和深度学习等是python画进行数据建模和挖掘学習的核心模块

• 描述： scikit-learn（也称SKlearn）是一个基于python画的机器学习综合库，内置监督式学习和非监督式学习机器学习方法包括各种回归、聚类、汾类、流式学习、异常检测、神经网络、集成方法等主流算法类别，同时支持预置数据集、数据预处理、模型选择和评估等方法是一个非常完整、流行的机器学习工具库

• 描述： TensorFlow 是谷歌的第二代机器学习系统，内建深度学习的扩展支持任何能够用计算流图形来表达的计算，都可以使用 TensorFlow

• 描述： NuPIC是一个以HTM（分层时间记忆）学习算法为工具的机器智能平台NuPIC适合于各种各样的问题，尤其适用于检测异常和预测应鼡

• 描述： PyTorch是FaceBook推出的深度学习框架它基于python画（而非lua）产生，它提供的动态计算图是显著区别于Tensorflow等其他学习框架的地方

• 描述： Orange通过图形化操作界面，提供交互式数据分析功能尤其适用于分类、聚类、回归、特征选择和交叉验证工作

• 描述： Theano是非常成熟的深度学习库。它与Numpy紧密集成支持GPU计算、单元测试和自我验证

• 描述： Keras是一个用python画编写的高级神经网络API，能够运行在TensorFlow或者Theano之上它的开发重点是实现快速实验

• 描述： Neurolab是具有灵活网络配置和python画学习算法的基本神经网络算法库。它包含通过递归神经网络（RNN）实现的不同变体该库是同类RNN API中最好的选择の一

• 描述： PyLearn2是基于Theano的深度学习库，它旨在提供极大的灵活性并使研究人员可以进行自由可控制，参数和属性的灵活、开放配置是亮点

• 描述： OverFeat是一个深度学习库主要用于图片分类、定位物体检测

• 描述： Pyevolve是一个完整的遗传算法框架，也支持遗传编程

• 描述： Cafffe2也是FaceBook推出的深度学習框架相比于PyTorch 更适合于研究，Caffe2 适合大规模部署主要用于计算机视觉，它对图像识别的分类具有很好的应用效果

数据可视化主要用于做數据结果展示、数据模型验证、图形交互和探查等方面

• 描述： Matplotlib是python画的2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量級别的图形开发者可以仅需要几行代码，便可以生成多种高质量图形

• 描述： 基于百度Echarts的强大的可视化工具库其提供的图形功能众多，尤其对于复杂关系的展示能力较强

• 描述： Bokeh是一种交互式可视化库可以在WEB浏览器中实现美观的视觉效果

• 描述： Plotly提供的图形库可以进行在线WEB茭互，并提供具有出版品质的图形支持线图、散点图、区域图、条形图、误差条、框图、直方图、热图、子图、多轴、极坐标图、气泡圖、玫瑰图、热力图、漏斗图等众多图形

• 描述： VisPy是用于交互式科学可视化的python画库，旨在实现快速可扩展和易于使用

• 描述： ggplot是用python画实现的圖形输出库，类似于 R中的图形展示版本

11 交互学习和集成开发

交互学习和集成开发主要用来做python画开发、调试和集成之用包括python画集成开发环境和IDE。

• 好用得多支持变量自动补全、自动缩进、交互式帮助、魔法命令、系统命令等，内置了许多很有用的功能和函数从Ipython画4.0开始，Ipython画衍生出了Ipython画和Jupyter两个分支在该分支正式出现之前，Ipython画其实已经拥有了ipython画 notebook功能因此，Jupyter更像是一个ipython画 notebook的升级版

• 描述： Elpy是Emacs用于python画的开发环境，它结合并配置了许多其他软件包它们都是用Emacs Lisp和python画编写的

• 描述： PyCharm带有一整套可以帮助用户在使用python画语言开发时提高其效率的工具，比如調试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制并可集成Ipython画、系统终端命令行等在PyCharm里几乎就可以实現所有有关python画工作的全部过程

• 描述： Spyder是一个开源的python画 IDE，由Ipython画和众多流行的python画库的支持是一个具备高级编辑、交互式测试、调试以及数字計算环境的交互式开发环境

12 其他python画协同数据工作工具

其他python画协同数据工作工具指除了上述主题以外，其他在数据工作中常用的工具或库

• 描述： 这是一个Google支持的开源OCR图文识别项目，支持超过200种语言（包括中文）并支持自定义训练字符集，支持跨Windows、Linux、Mac OSX 多平台使用

• 描述： 这个模块可以让python画er轻松的编写和运行 Hadoop 程序程序版本比较早，可以作为参考