Python爬虫几个步骤教你写入mysql数据库

　　Python爬虫几个步骤教你写入mysql数据库
　　Python爬虫实现爬取网站中的数据并存入MySQL数据库中，在爬取的时候总要涉及到数据持久化存储，当然有很多中存储的方式，简单点的有excel、txt、json、csv等等。存入mysql我觉的有好多操作空间，如果是开发python后端也可以熟悉一下sql语句，存入数据库的方法也是试了些许网上一些方法，现在把完整功能供大家参考。
　　直接搜索phpStudy安装即可，按照下图配置数据库。用户名密码自行设置，然后返回首页启动即可。
　　pipinstallpymysql
　　打开刚安装的phpstudy安装一个mysql客户端连接，数据库是本地的host可以填127。0。0。1或localhost用户名密码是上面设置的
　　MySQL创建对应的表CREATETABLEtextarchives（idint（10）UNSIGNEDNOTNULLAUTOINCREMENTCOMMENTID，urlvarchar（255）CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNOTNULLDEFAULTCOMMENT链接，titlevarchar（255）CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNOTNULLDEFAULTCOMMENT标题，imagevarchar（255）CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNOTNULLDEFAULTCOMMENT图片，keywordsvarchar（255）CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNOTNULLCOMMENT关键描述，descriptionvarchar（600）CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNOTNULLDEFAULTCOMMENT内容描述，contenttextCHARACTERSETutf8mb4COLLATEutf8mb4unicodeciNULLCOMMENT内容，weighint（10）NOTNULLDEFAULT0COMMENT权重，createtimebigint（16）NOTNULLDEFAULT0COMMENT创建时间，updatetimebigint（16）NOTNULLDEFAULT0COMMENT更新时间，deletetimebigint（16）NULLDEFAULTNULLCOMMENT删除时间，PRIMARYKEY（id）USINGBTREE）ENGINEInnoDBAUTOINCREMENT2692CHARACTERSETutf8mb4COLLATEutf8mb4unicodeciCOMMENT内容表ROWFORMATDynamic；SETFOREIGNKEYCHECKS1；
　　构造SQL语句的字符串sql，然后通过cursor。excute（sql）执行，下面简单的封装，直接复制即可用。importpymysqlclassMysql（object）：definit（self）：self。connectpymysql。connect（host127。0。0。1，usertest，password，databasetest，charsetutf8mb4，cursorclasspymysql。cursors。DictCursor）self。cursorself。connect。cursor（）definsetdb（self，tablename，insertdata）：try：dataself。getmysqldata（datainsertdata）fieldsdata〔0〕valuesdata〔1〕sqlINSERTINTO｛tablename｝（｛fields｝）values（｛values｝）。format（tablenametablename，fieldsfields，valuesvalues）self。cursor。execute（sql）self。connect。commit（）exceptExceptionase：self。connect。rollback（）如果这里是执行的执行存储过程的sql命令，那么可能会存在rollback的情况，所以这里应该考虑到print（数据插入失败，失败原因：，e）print（insertdata）else：self。dbclose（）returnself。cursor。lastrowiddefupdatedb（self，tablename，updatedata，wheresNone）：try：ifwheresisnotNone：sqlUPDATE｛tablename｝SET｛updatedata｝WHERE｛wheres｝。format（tablenametablename，updatedataupdatedata，whereswheres）else：sqlUPDATE｛tablename｝SET｛updatedata｝。format（tablenametablename，updatedataupdatedata）self。cursor。execute（sql）self。connect。commit（）exceptExceptionase：print（更新失败：，e）returnFalseelse：self。dbclose（）returnTruedefdeletedb（self，tablename，wheres）：try：构建sql语句sqlDELETEFROM｛tablename｝WHERE｛wheres｝。format（tablenametablename，whereswheres）self。cursor。execute（sql）self。connect。commit（）exceptExceptionase：print（删除失败：，e）returnFalseelse：self。dbclose（）returnTruedefselectdb（self，tablename，fields，wheresNone，getoneFalse）：try：ifwheresisnotNone：sqlSELECT｛fields｝FROM｛tablename｝WHERE｛wheres｝。format（fieldsfields，tablenametablename，whereswheres）else：sqlSELECT｛fields｝FROM｛tablename｝。format（fieldsfields，tablenametablename）self。cursor。execute（sql）self。connect。commit（）ifgetone：resultself。cursor。fetchone（）else：resultself。cursor。fetchall（）exceptExceptionase：print（查询失败，e）returnNoneelse：self。dbclose（）returnresultdefgetmysqldata（self，data）：fieldsinsertdatafork，vindata。items（）：fieldsfieldsk，insertdatainsertdatastr（v），fieldsfields。strip（，）insertdatainsertdata。strip（，）return〔fields，insertdata〕defdbclose（self）：self。cursor。close（）self。connect。close（）
　　这次简单点咱们用xpath就行，有一个小技巧咱们在爬取的网页打开开发都模式F12。如下图红框复制第一个或都第二个就行。
　　下面代码是实现爬取数据然后存入数据库类，大家可参考frommodel。navimportNavimportrequestsfromurllibimportparsefromlxmlimportetreefromfakeuseragentimportUserAgentfromlib。reptileimportReptileimportjsonclassCommon（object）：definit（self，params）：self。urlparams〔url〕self。paramsparamsself。blog1defgetheader（self）：uaUserAgent（）headers｛UserAgent：ua。random｝returnheadersdefgethtml（self，url）：在超时间内，对于失败页面尝试请求三次ifself。blog3：try：resrequests。get（urlurl，headersself。getheader（），timeout3）res。encodingres。apparentencodinghtmlres。textreturnhtmlexceptExceptionase：print（e）self。blog1self。gethtml（url）defjsoninsertdata（self，params）：categoryidself。insertcategory（cnameparams〔categoryname〕，pidparams〔pid〕，icon）print（分类插入成功：｛｝。format（params〔categoryname〕））ifcategoryid：urlparams〔url〕titleparams〔title〕imageparams〔image〕descriptionparams〔description〕keywordsparams〔keywords〕contentparams〔content〕self。insertarchives（categoryid，url，title，image，description，keywords，content）print（内容插入成功：｛｝。format（title））print（）defgetitem（self，xpathhtml）：itemlistxpathhtml。xpath（self。params〔itemxpath〕）print（itemlist）forrowinitemlist：urllistrow。xpath（self。params〔urlxpath〕）iflen（urllist）0：self。getcontent（urllist〔0〕）defgetcontent（self，url）：print（正在抓取链接：｛｝。format（url））domainparse。urlparse（url）。netlocddomainparse。urlparse（self。url）。netlocifdomainddomain：htmlself。gethtml（url）self。reptile。blog1ifhtml：petree。HTML（html）titleself。getconmoncontent（p，self。params〔titlexpath〕）print（标题为：｛｝。format（title））categorynameself。getconmoncontent（p，self。params〔categoryxpath〕）print（分类为：｛｝。format（categoryname））imageself。getconmoncontent（p，self。params〔imagexpath〕）print（图片为：｛｝。format（image））linkself。getconmoncontent（p，self。params〔linkxpaht〕）print（链接为：｛｝。format（link））descriptionself。getconmoncontent（p，self。params〔descriptionxpath〕）print（描述为：｛｝。format（description））keywordsself。getconmoncontent（p，self。params〔keywordsxpath〕）print（关键描述：｛｝。format（keywords））contentself。getconmoncontent（p，self。params〔contentxpath〕）print（内容为：｛｝。format（content））params｛pid：158，title：title，categoryname：categoryname，image：image，url：link，description：description，keywords：keywords，content：content，｝iftitleandcategorynameandlink：self。jsoninsertdata（params）存入数据库defgetconmoncontent（self，xpathhtml，xpath）：contentlistxpathhtml。xpath（xpath）contentiflen（contentlist）0：contentcontentlist〔0〕。strip（）returncontentdefrun（self）：print（url：｛｝。format（self。url））htmlself。gethtml（self。url）ifhtml：petree。HTML（html）self。getitem（p）爬取的xpathparams｛url：https：www。widiz。com，爬取urlurlxpath：。a〔1〕href，titlexpath：htmlbodyp〔1〕p〔2〕p〔3〕pp〔3〕ph1text（），categoryxpath：htmlbodyp〔1〕p〔2〕p〔3〕pp〔3〕pa〔1〕text（），imagexpath：htmlbodyp〔1〕p〔2〕p〔3〕pp〔2〕pimgsrc，linkxpaht：htmlbodyp〔1〕p〔2〕p〔3〕pp〔3〕ppp〔1〕spanahref，descriptionxpath：htmlheadmeta〔10〕content，keywordsxpath：htmlheadmeta〔5〕content，contentxpath：htmlbodyp〔1〕p〔2〕p〔3〕mainp〔1〕pp〔1〕pp〔2〕text（）｝Common（params）。run（）
　　最终效果：