python之爬虫篇

　　1，POST请求coding：UTF8importrequestsformdata｛type：AUTO，i：ilovepython，doctype：json，xmlVersion：1。8，keyfrom：fanyi。web，ue：UTF8，action：FYBYENTER，typoResult：true｝urlhttp：fanyi。youdao。comtranslate？smartresultdictsmartresultrulesmartresultugcsessionFromnullheaders｛UserAgent：Mozilla5。0（WindowsNT10。0；WOW64）AppleWebKit537。36（KHTML，likeGecko）Chrome51。0。2704。103Safari537。36｝responserequests。post（url，dataformdata，headersheaders）printresponse。text
　　2，下载图片coding：UTF8importrequestsimportreimportrandomimportstringdefwritefile（file，content）：withopen（file，wb）asf：f。write（content）printdonedefdownpicture（file，url，headers）：responserequests。get（url，headers）ifresponse。statuscode200：writefile（file，response。content）defforgetpicture（url）：headers｛｝responserequests。get（url，headersheaders）printcode：d（response。statuscode）pattermre。compile（src（。。jpg））ifresponse。statuscode200：contentresponse。contentlistpatterm。findall（content）str1str（list）imageliststr1。split（）foriinimagelist：ifi。endswith（jpg）：jpgurlhttps：pic。netbian。comiprintjpgurlradom。join（random。sample（string。asciilettersstring。digits，8））printsaltfileD：pythondownloadradom。jpgprintfiledownpicture（file，jpgurl，）writefile（D：pythondownload1。jpg，response。content）urlhttps：pic。netbian。com4kmeinvindex3。htmlforiinrange（4，175，1）：url1https：pic。netbian。com4kmeinvindexs。html（i）printurl1forgetpicture（url1）
　　3，下载视频coding：UTF8importrequestsurlhttps：www。fa67e7417bdc。comshipinplay143013。htmlurl1https：s1。cdnc55291f64e9b0e3a。comcommonduanshipin20210511dsp7814d78ed1b2cafda14e85dd81488872wmdsp7814d78ed1b2cafda14e85dd81488872wm。mp4resrequests。get（url1）printres。contenthd｛Origin：https：www。fa67e7417bdc。com，Referer：https：www。fa67e7417bdc。comshipinplay143014。html，UserAgent：Mozilla5。0（Linux；Android6。0；Nexus5BuildMRA58N）AppleWebKit537。36（KHTML，likeGecko）Chrome70。0。3538。110MobileSafari537。36｝print（开始下载）urlhttps：myjkgl。netcommonduanshipin20210511dspad0acdb7273fef972bcc14b3d81edac2wmencdspad0acdb7273fef972bcc14b3d81edac2wm4。tsrrequests。get（url，headershd，streamTrue）withopen（test。mp4，wb）asmp4：forchunkinr。itercontent（chunksize10241024）：ifchunk：mp4。write（chunk）
　　4，request请求coding：UTF8importrequestsfromrequests。packages。urllib3。exceptionsimportInsecureRequestWarningrequests。packages。urllib3。disablewarnings（InsecureRequestWarning）urlhttps：www。cnblogs。comljfightp9577783。htmlheader｛test：123，test1：124｝parameters｛test：124｝responserequests。get（url，paramsparameters，headersheader）responserequests。get（url，verifyFalse）printresponse。contentprintresponse。statuscode