Python爬虫实战，Python多线程抓取5千多部最新电影下载链接

　　前言
　　利用Python多线程爬了5000多部最新电影下载链接，废话不多说~
　　让我们愉快地开始吧~ 开发工具
　　Python版本：  3.6.4
　　相关模块：
　　requests模块；
　　re模块；
　　csv模块；
　　以及一些Python自带的模块。 环境搭建
　　安装Python并添加到环境变量，pip安装需要的相关模块即可。
　　bs = BeautifulSoup(html, ＂html.parser＂)b = bs.findAll(class_=＂co_content8＂)b = b[0].findAll(class_=＂ulink＂)复制代码
　　拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接
　　bs1 = BeautifulSoup(html1, ＂html.parser＂)b1 = bs1.find(＂tbody＂).find_next(＂td＂).find_next(＂a＂)download_url = b1.get(＂href＂)复制代码
　　但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配
　　我们首先先拿到总页码，然后用多线程来进行任务的分配
　　总页数其实我们用re正则来获取 def get_total_page(url):    r = requests.get(url=url,headers=headers)    r.encoding = ＂gb2312＂    pattern = re.compile(r＂(?<=页/)d+＂)    t = pattern.findall(r.text)    return int(t[0])复制代码
　　爬取的内容存取到csv，也可以写个函数来存取 def wirte_into_csv(name,down_url):    f = open(＂最新电影.csv＂, ＂a+＂, encoding=＂utf-8＂)    csv_writer = csv.writer(f)    csv_writer.writerow([name,down_url])    f.close()复制代码
　　开启4个进程来下载链接 total_page = get_total_page(＂https://www.ygdy8.com/html/gndy/oumei/list_7_1.html＂)    total_page = int(total_page/25+1)    end = int(total_page/4)    try:        _thread.start_new_thread(run, (1, end))        _thread.start_new_thread(run, (end+1, end*2))        _thread.start_new_thread(run, (end*2 + 1, end * 3))        _thread.start_new_thread(run, (end*3 + 1, end * 4))    except:        print(＂Error: 无法启动线程＂)     while(1):        pass复制代码
　　您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。