Python项目实战某瓣热门电影分析（爬虫数据分析）

　　项目需求获取某瓣前100名热门电影详细内容，包括：名称、类型、制片国家、语言、上映时间、片长、评分、评价人数。根据获取的数据分析，包括：上映时间分布情况、评分分布情况、类型分布情况项目难点获取数据时，有部分内容保存在
　　下，无法直接使用Xpath获取上映时间有多个，按照国内上映时间分布，这里需要处理一下类型分布中，一个电影多个类型，需要分解处理
　　这个是本文的重点。数据抓取在进行实际的数据抓取的过程中，发现数据实际保存在Json数据包中，原网页无法获取，前100名电影的实际地址。每一页只显示20个数据，且每次以20个为一组的新增。Json我们需要的url数据保存在〔subjects〕〔m〕〔url〕中，其中m为循环，每一组循环20次。代码实例获取前100名电影的实际url地址defgetmoveurl（）：moveurl〔〕foriinrange（0，100，20）：urlfhttps：xxx。xxx。xxxjsearchsubjects？typemovietag热门sortrecommendpagelimit20pagestart｛i｝rresponseget（urlurl，headersheaders）。json（）forminrange（20）：moveurl。append（rresponse〔subjects〕〔m〕〔url〕）returnmoveurl根据每个url地址，获取相应的内容，注意br下内容、上映时间，这里全部处理，并保存excel文件。defgetdata（）：moveurlgetmoveurl（）dfpd。DataFrame（columns〔电影名，电影类型，制片国家，语言，上映时间，片长，评分，评价人数〕）forminrange（len（moveurl））：rresopnseget（urlmoveurl〔m〕，headersheaders）。textresSelector（rresopnse）nameres。xpath（〔idcontent〕h1span〔1〕text（））。get（）movetyperes。xpath（span〔propertyv：genre〕text（））。getall（）！上映时间需要处理，以第一个时间为基准，且还要去掉（）里面的内容movetimeres。xpath（span〔propertyv：initialReleaseDate〕text（））。getall（）movetimeMoveTime（movetimemovetime）movelenres。xpath（span〔propertyv：runtime〕text（））。get（）movelenMoveLen（movelenmovelen）movescoreres。xpath（〔idinterestsectl〕p〔1〕p〔2〕strongtext（））。get（）movepeoplenumres。xpath（〔idinterestsectl〕p〔1〕p〔2〕pp〔2〕aspantext（））。get（）！语言与制片地区在
　　下，需要特殊处理movebrres。xpath（htmlbodyp〔3〕p〔1〕p〔2〕p〔1〕p〔1〕p〔1〕p〔1〕p〔2〕descendantorself：：text（））。getall（）foriinrange（len（movebr））：ifmovebr〔i〕制片国家地区：：countrymovebr〔i1〕？去除里面所有的空格movecountrycountry。replace（，）elifmovebr〔i〕语言：：languagemovebr〔i1〕movelanguagelanguage。replace（，）！后面就不需要了breakdf。loc〔m〕〔name，movetype，movecountry，movelanguage，movetime，movelen，movescore，movepeoplenum〕df。toexcel（。result。xlsx，indexFalse）上映时间的处理（以中国上映时间为基准，其他的取消）defMoveTime（movetime）：？以中国上映时间为基准，去掉（）与里面中文的内容timere。sub（〔一龥〕，，movetime〔0〕）？测试时，发现有些数据不是很全面，用下列方法，多次删除无用数据timetime。strip（（）。strip（））。strip（r）。strip（（）returntime时长处理，取消分钟和（）defMoveLen（movelen）：！注意时长类型byte需要修改为strlenre。sub（〔一龥〕，，str（movelen））lenlen。strip（（））returnlen数据分析上映时间分布
　　df2df〔上映时间〕。valuecounts（）评分情况分布plt。figure（figsize（20，8），dpi80）plt。hist（df〔评分〕。values，bins20）maxdf〔评分〕。max（）mindf〔评分〕。min（）t1np。linspace（min，max，21）plt。xticks（t1）plt。show（）电影类型分布（重点）！电影类型分布movetypedf〔电影类型〕。str。split（，）movetypemovetype。apply（pd。Series）movetypemovetype。apply（pd。valuecounts）movetype。unstack（）movetypemovetype。unstack（）。dropna（）。resetindex（）movetype。columns〔level0，type，counts〕movietypemmovetype。drop（〔level0〕，axis1）。groupby（type）。sum（）。sortvalues（by〔counts〕，ascendingFalse）。resetindex（）print（movietypem〔counts〕。tolist（））sizemovietypem〔counts〕。tolist（）namemovietypem〔type〕。tolist（）colors〔steelblue，9999ff，red，indianred，green，yellow，orange〕plotsquarify。plot（sizessize，指定绘图数据colorcolors，指定定义颜labelname，指定标签valuesize，添加数值标签alpha0。6，指定透明度edgecolorwhite，设置边界框为linewidth3设置边框宽度为3）plt。rc（font，size12）设置标题plot。settitle（电影类型分布情况，fontdict｛fontsize：20｝）去除坐标轴plt。axis（off）去除上边框和右边框刻度plt。tickparams（topoff，rightoff）plt。rcParams〔font。sansserif〕〔SimHei〕plt。rcParams〔axes。unicodeminus〕False显图形plt。show（）重点提示显示中文时，出现了中文乱码的情况，这里给出处理方法plt。rcParams〔font。sansserif〕〔SimHei〕plt。rcParams〔axes。unicodeminus〕False获取br里的内容是全部的，需要根据实际情况分析，获取指定内容movebrres。xpath（htmlbodyp〔3〕p〔1〕p〔2〕p〔1〕p〔1〕p〔1〕p〔1〕p〔2〕descendantorself：：text（））。getall（）foriinrange（len（movebr））：ifmovebr〔i〕制片国家地区：：countrymovebr〔i1〕？去除里面所有的空格movecountrycountry。replace（，）elifmovebr〔i〕语言：：languagemovebr〔i1〕movelanguagelanguage。replace（，）！后面就不需要了break在数据获取时，发现了一些数据缺失的情况，这里没有进行处理，后续需要修正在进行电影类型分类分析时，存在科幻感〔科幻〕同时存在的情况，这里没有处理，后续需要更正未对每个类型的评分情况，进行分析，后续需要添加，在此记录一下。