Pandas大数据量内存优化

　　头条创作挑战赛一、背景介绍
　　Pandas在处理大数据（尤其是列比较多的场景）时，如果不做优化，内存占用还是很大的，下面通过一个实例来说明可以怎样优化
　　首先，生成一批18万的数据，每条数据151列importpandasaspdimportnumpyasnpdefgenbigdata（csvfile：str，bigdatacount90000）：charsabcdefghijklmnopqrstuvwxyzdatespd。daterange（start20200101，periodsbigdatacount，freq30s）bigdatacols〔Name〕forgroupinrange（1，31）：bigdatacols。extend（〔fdatestr｛group｝，fbool｛group｝，fint｛group｝，ffloat｛group｝，fstr｛group｝〕）bigdata〔〕foriinrange（0，bigdatacount）：row〔fNameItem｛（i1）｝〕forinrange（0，30）：row。extend（〔str（dates〔i〕），i20，np。random。randint（10000，100000），10000np。random。random（），chars〔np。random。randint（0，26）〕15〕）bigdata。append（row）dfpd。DataFrame（databigdata，columnsbigdatacols）df。tocsv（csvfile，indexNone）ifnamemain：修改存放路径以及模拟数据量（默认9万）genbigdata（。filescustombigdata。csv，180000）复制代码
　　查看生成的数据格式，可以看到每一行有151列
　　保存数据后，先查看一下内存占用情况importpandasaspddefinfomemory（csvfile：str）：dfpd。readcsv（csvfile）print（df。info（memoryusagedeep））ifnamemain：infomemory（。filescustombigdata。csv）复制代码
　　打印结果如下，可以看到当前内存占用为862。1MBclasspandas。core。frame。DataFrameRangeIndex：180000entries，0to179999Columns：151entries，Nametostr30dtypes：bool（30），float64（30），int64（30），object（61）memoryusage：862。1MB复制代码
　　查看不同类型的内存占用情况definfomemorybydtype（csvfile：str）：dfpd。readcsv（csvfile）fordtypein〔bool，float64，int64，object〕：dtypeselecteddf。selectdtypes（include〔dtype〕）memmeanbitdtypeselected。memoryusage（deepTrue）。mean（）memmeanmbmemmeanbit10242print（fmeanmemoryusage：｛dtype：7｝｛memmeanmb：。3f｝M）复制代码
　　输出结果如下，其中object类型占用内存最多meanmemoryusage：bool0。166Mmeanmemoryusage：float641。329Mmeanmemoryusage：int641。329Mmeanmemoryusage：object12。494M复制代码二、优化方案
　　查看某个类型的内存占用量definfomemusagemb（pdobj）：ifisinstance（pdobj，pd。DataFrame）：memusagepdobj。memoryusage（deepTrue）。sum（）else：memusagepdobj。memoryusage（deepTrue）转换为MB返回returnf｛memusage10242：02。3f｝MB复制代码
　　int和float类型
　　对于int和float类型的数据，Pandas加载到内存中的数据，默认是int64和float64。一般场景下的数据，用int32和float32就足够了，用numpy。iinfo和numpy。finfo可以打印对应类型的取值范围Machineparametersforint32min2147483648max2147483647Machineparametersforint64min9223372036854775808max9223372036854775807复制代码Machineparametersforfloat32。。。maxexp128max3。4028235e38nexp8minmaxMachineparametersforfloat64。。。maxexp1024max1。7976931348623157e308nexp11minmax复制代码
　　分别优化int和float的类型defoptimizeintandfloat（）：dfintdf。selectdtypes（include〔int64〕）dfintconverteddfint。apply（pd。tonumeric，downcastunsigned）dffloatdf。selectdtypes（include〔float64〕）dffloatconverteddffloat。apply（pd。tonumeric，downcastfloat）print（intbefore，infomemusagemb（dfint））print（intconverted，infomemusagemb（dfintconverted））print（floatbefore，infomemusagemb（dffloat））print（floatconverted，infomemusagemb（dffloatconverted））复制代码
　　优化后的结果如下，内存减少50左右intbefore41。199MBintconverted20。599MBfloatbefore41。199MBfloatconverted20。599MB复制代码
　　object类型中的普通str数据
　　获取object类型数据，并调用describe（）展示统计信息
　　对于区分度较低的str1到str30，一共只有26个可能的值，可以考虑转换为Pandas中的categroy类型，这里将区分度小于40的列转换为category类型defoptimizeobj（）：dfobjdf。selectdtypes（include〔object〕）dfobjconvertedpd。DataFrame（）forcolindfobj。columns：uniquecountlen（dfobj〔col〕。unique（））totalcountlen（dfobj〔col〕）将区分度小于40的列转换为category类型ifuniquecounttotalcount0。4：dfobjconverted。loc〔：，col〕dfobj〔col〕。astype（category）else：dfobjconverted。loc〔：，col〕dfobj〔col〕print（objectbefore，infomemusagemb（dfobj））print（objectconverted，infomemusagemb（self。dfobjconverted））复制代码
　　执行结果如下，降低了300M的内存objectbefore774。602MBobjectconverted409。047MB复制代码
　　object类型中的date数据defoptimizedatestr（）：dfdatepd。DataFrame（）dfdateconvertedpd。DataFrame（）forcolnameindf。columns：ifcolname。startswith（datestr）：dfdate。loc〔：，colname〕df〔colname〕dfdateconverted。loc〔：，colname〕pd。todatetime（df〔colname〕）print（datebefore，infomemusagemb（dfdate））print（dateconverted，infomemusagemb（dfdateconverted））复制代码
　　执行结果如下，也降低了300M的内存datebefore391。388MBdateconverted41。199MB复制代码三、总体优化
　　综合以上的优化方法，并封装为类PandasMemoryOptimizeDemoimportpandasaspdimportnumpyasnpclassPandasMemoryOptimizeDemo：df：pd。DataFramedfintconverted：pd。DataFramedffloatconverted：pd。DataFramedfobjconverted：pd。DataFramedfdateconverted：pd。DataFramedefinit（self，csvfile：str）：self。csvfilecsvfileself。dfpd。readcsv（self。csvfile）staticmethoddefinfomemusagemb（pdobj）：ifisinstance（pdobj，pd。DataFrame）：memusagepdobj。memoryusage（deepTrue）。sum（）else：memusagepdobj。memoryusage（deepTrue）转换为MB返回returnf｛memusage10242：02。3f｝MBdefoptimizeintandfloat（self）：dfintself。df。selectdtypes（include〔int64〕）self。dfintconverteddfint。apply（pd。tonumeric，downcastunsigned）dffloatself。df。selectdtypes（include〔float64〕）self。dffloatconverteddffloat。apply（pd。tonumeric，downcastfloat）print（intbefore，self。infomemusagemb（dfint））print（intconverted，self。infomemusagemb（self。dfintconverted））print（floatbefore，self。infomemusagemb（dffloat））print（floatconverted，self。infomemusagemb（self。dffloatconverted））defoptimizeobj（self）：dfobjself。df。selectdtypes（include〔object〕）self。dfobjconvertedpd。DataFrame（）forcolindfobj。columns：uniquecountlen（dfobj〔col〕。unique（））totalcountlen（dfobj〔col〕）将区分度小于40的列转换为category类型ifuniquecounttotalcount0。4：self。dfobjconverted。loc〔：，col〕dfobj〔col〕。astype（category）else：self。dfobjconverted。loc〔：，col〕dfobj〔col〕print（objectbefore，self。infomemusagemb（dfobj））print（objectconverted，self。infomemusagemb（self。dfobjconverted））defoptimizedatestr（self）：dfdatepd。DataFrame（）self。dfdateconvertedpd。DataFrame（）forcolnameinself。df。columns：ifcolname。startswith（datestr）：dfdate。loc〔：，colname〕self。df〔colname〕self。dfdateconverted。loc〔：，colname〕pd。todatetime（self。df〔colname〕）print（datebefore，self。infomemusagemb（dfdate））print（dateconverted，self。infomemusagemb（self。dfdateconverted））defoptimizeall（self）：self。optimizeintandfloat（）self。optimizeobj（）self。optimizedatestr（）dfconvertedself。df。copy（）dfconverted〔self。dfintconverted。columns〕self。dfintconverteddfconverted〔self。dffloatconverted。columns〕self。dffloatconverteddfconverted〔self。dfobjconverted。columns〕self。dfobjconverteddfconverted〔self。dfdateconverted。columns〕self。dfdateconvertedprint（before，self。infomemusagemb（self。df））print（converted，self。infomemusagemb（dfconverted））ifnamemain：optimizedemoPandasMemoryOptimizeDemo（。filescustombigdata。csv）optimizedemo。optimizeall（）复制代码
　　执行结果如下，优化效果还是很明显的before862。149MBconverted105。207MB复制代码四、直接优化readcsv方法
　　写代码的过程中，如果每次都按照这样的步骤，其实还是很繁琐，那能不能在调用readcsv方法时就进行优化呢？
　　接下来就一起来探索一下
　　在PyCharm中，点击readcsv进入源码，发现该方法提供了非常丰富的参数（50），这里只列举需要的参数defreadcsv（filepathorbuffer：FilePathReadCsvBuffer〔bytes〕ReadCsvBuffer〔str〕，GeneralParsingConfigurationdtype：DtypeArgNoneNone，convertersNone，DatetimeHandlingparsedatesNone，inferdatetimeformatFalse，keepdatecolFalse，dateparserNone，lowmemorycparserdefaults〔lowmemory〕，memorymapFalse，storageoptions：StorageOptionsNone，）：locals（）shouldneverbemodifiedkwdslocals（）。copy（）复制代码
　　可以直接指定dtype和parsedates，最终代码如下defbigdataoptimizedreadcsv（self）：dtypedict｛｝dateindexes〔〕foriinrange（1，31）：dtypedict〔fint｛i｝〕int32dtypedict〔ffloat｛i｝〕float32dtypedict〔fstr｛i｝〕categorydateindexes。append（5（i1）1）self。dfpd。readcsv（self。csvfile，dtypedtypedict，parsedatesdateindexes）print（optimizedreadcsv：，self。infomemusagemb（self。df））复制代码
　　执行结果如下，内存占用也大大降低了optimizedreadcsv：105。207MB