IP池的创建 反爬的手段是越来越多了,加密的算法更新,柔和参杂各种加密方式,京东的服务器随机加密方式,淘系的本地jscookie加密,拼系的混淆压缩加密。这些都是暴露出来的,服务端的拦截也是更复杂,ip限制,ua限制等等 办法总比困难多,嘿嘿!! 我们要自己建造一个ip代理池,随机ua信息等,来逃过服务端的拦截。 有大佬分享过免费的ip代理池,而且还一直在更新。 代码抓取一些,供我们自己使用测试用,商用就算了,花点钱买点好的。 这里因为没有接口(接口收费的),采用的页面爬取方式。bs4的使用这里就不说,正则也不说,看一下代码就行 IP池的使用 定义为一个字典,ip{https:,http:} 发送request请求的时候,加上ip代理 responserequests。get(self。url,paramsself。doparams(),cookiesself。cookies,proxiesself。ip, headersself。doheader()) 这样就可以使用了,定义ip代理的时候,记得带上端口。