Pandas管理和操作数据比SQL更方便

　　本文将比较Pandas和SQL在管理和操作数据方面哪一个更方便，Pandas是由数据科学家专门为数据分析设计的一款开源软件，并且有成千上万的代码贡献者帮助改进，工具函数越来越多，易用性越来越好。本系列文前面还有两篇《Pandas管理和操作数据比 SQL 更简洁！》和《Pandas 管理和操作数据比SQL更灵活》，感兴趣的可阅读。特别说明，本文以下内容摘译自英文ponder网，头条文章中不允许提供网站链接，感兴趣可自己搜索；示例代码测试环境为VScode下的Jupyter Notebook。
　　数据准备import pandas as pd sf_permits = pd.read_csv(＂E:/archive/Building_Permits.csv＂) sf_permits.head()
　　输出结果如下图：
　　构建复杂查询
　　使用Pandas构建比较复杂的查询，可以在其他查询的结果上进一步增加新的查询，同时还可以查询此前其他查询的结果，以便检查此前其他查询结果的正确性。例如，在准备好的数据集中，想查询与＂Geary＂相关的街道名称，查询代码如下：sf_permits[sf_permits[＂Street Name＂] == ＂Geary＂]
　　输出结果如下图：
　　从输出结果中可以看出，与＂Geary＂相关的许多相邻的街道信息＂Neighborhoods - Analysis Boundaries＂，如下图：
　　整个数据的输出结果一共有43列，如果只想要＂Neighborhoods - Analysis Boundaries＂这一列，把其他42列删除，那么只需要在前面语句的末尾增加[[＂Neighborhoods - Analysis Boundaries＂]]，代码如下：sf_permits[sf_permits[＂Street Name＂] == ＂Geary＂][[＂Neighborhoods - Analysis Boundaries＂]]
　　输出结果如下图：
　　一共有1966行，在此基础上做进一步查询。假如想要进一步查询与Geary相邻的街道信息，按＂permits＂值从大到小排序，那只需要在前面查询语句的基础上，增加＂sort_values(by = [＂Neighborhoods - Analysis Boundaries＂]).value_counts()＂即可，代码如下：sf_permits[sf_permits[＂Street Name＂] == ＂Geary＂][[＂Neighborhoods - Analysis Boundaries＂]].sort_values(by = [＂Neighborhoods - Analysis Boundaries＂]).value_counts()
　　输出结果如下图：
　　以上这些查询语句，用SQL都可以实现，但是写SQL查询代码是非常痛苦的，不能一层层地在末尾追加查询条件，因为每一个查询条件的变化都有特定的位置，例如，SQL查询语句中要改变输出数据的列，就需要修改此前的查询SELECT的内容，而使用Pandas就可以顺着思路一步一步地追加查询条件。处理查询的中间结果
　　Pandas自诞生以来，就借鉴了其他编程语言对数据操作的惯用方法，例如，可以把dataframe赋值给变量，可以直接操作该变量，也可以把该变量赋值给其他变量。现在写一段代码，查询数据集中有多少空值，并且检查每列有多少个空值，代码如下：missing_values_count = sf_permits.isnull().sum() missing_values_count
　　输出结果如下：
　　从输出结果中可以看出，整个数据集共有43列、199000行，非空值是大多数列都有空值，因此就需要对该数据集进行清理，设定一个清理条件：非空值不能低于190000，否则就删除该列，操作代码如下：sf_permits_cleaned = sf_permits.dropna(axis=＂columns＂,thresh=190000) sf_permits_cleaned
　　输出结果如下：
　　从输出结果可以看出，清理以后的数据集只有198900行19列，这样的操作在Pandas中是非常方便的，只需要定义一个新的变量 ＂sf_permits_cleaned＂，按照一般变量赋值即可；如果用SQL来操作，可以达到类似的结果，但是需要定义视图，然后在视图的基础上进行操作，不那么直观，也比较难处理！快速获得数据集的统计信息
　　使用Pandas，有许多方法可以快速获得dataframe的数据及其元数据的全部信息，也可以使用函数head/tail()获得头部或尾部的几行数据及其元数据的信息。为了方便起见，适应显示其大小，用＂...＂隐藏了更多列和行的信息。使用info()函数可以获得dataframe的总体信息，代码如下：sf_permits_cleaned.info()
　　输出结果如下：
　　从图中可以看出，含有空值的列都是描述性的列，其他列几乎都没有空值。Pandas还提供了一个函数describe()，用于专门获取描述性的列的统计数据，如总数、均值、方差及其分位数，代码如下：sf_permits_cleaned.describe()
　　输出结果如下：
　　以上结果出现了一个奇怪的现象，street number的min是0，其实就是某个街道不存在。
　　这样的操作对于SQL来说，就很繁琐了，需要写专门的查询语句，并且数值类型的列越多，查询语句越长。数据可视化
　　Pandas内置了可视化函数，而SQL没有可视化能力。看看示例代码：sf_permits_cleaned[＂Current Status＂].value_counts().plot(kind =＂bar＂)
　　输出结果如下：
　　图中包含了各分类的数据柱状图。
　　Pandas和SQL在以上几个方面的比较，只是站在终端用户的角度来看，Pandas有很多优点；但是二者的目标不同，设计理念也不同，Pandas因数据科学而生，应用在机器学习方面肯定非常方便，而SQL是从属于数据库系统，从更多的角度看，两者都没有可比性。