[python爬虫] 给你代码带你爬取妹子图

导包

import re,os,time
from piaot import *

1. 获得网页的页数和连接
   
2. def mnshoye():
   
3. 
   
4.     # 主页
   
5.     url='http://www.mzitu.com/'
   
6. 
   
7.     # 自定义包
   
8.     req=yc(url)
   
9.     html=req.decode('utf-8')
   
10.     # print(html)
    
11.     # 正则
    
12.     xz = r'<a title=".*?" href="(.*?)">(.*?)</a>'
    
13.     ll = re.compile(xz)
    
14.     html_1=ll.findall(html)
    
15.     # print(html)
    
16.     return html_1

复制代码

主函数

1. def zhu():
   
2.     print('欢迎来到妹子图库！（^-^）')
   
3.     # 调用函数mnshoye
   
4.     x = mnshoye()
   
5. 
   
6.     # 循环出每一列的名称
   
7. 
   
8.     print('请输入需要爬的分类(编号)：')
   
9. 
   
10.     p=0
    
11.     for i in x[1:6]:
    
12.         p+=1
    
13.         print(p,':',i[1],'  ',end='')
    
14. 
    
15. 
    
16.     # 输入分类名
    
17.     name=int(input('-->>'))
    
18. 
    
19.     print('请问爬取页？')
    
20. 
    
21.     shu=int(input('-->>'))
    
22. 
    
23.     if name == 1:
    
24.         return mz_li(x[1][0],shu,x[1][1])
    
25.     elif name == 2:
    
26.         return mz_li(x[2][0],shu,x[2][1])
    
27.     elif name == 3:
    
28.         return mz_li(x[3][0],shu,x[3][1])
    
29.     elif name == 4:
    
30.         return mz_li(x[4][0],shu,x[4][1])
    
31.     elif name == 5:
    
32.         return mz_li(x[5][0],shu,x[5][1])
    
33.     else:
    
34.         print('抱歉！，你输入的值我们查询不到请重新输入')
    
35.         zhu()

复制代码

创建文件

1. def mz_li(url,jshu=1,name=None):
   
2. 
   
3.     for i in range(jshu):
   
4. 
   
5.         url=url+'page/{}/'.format(i+1)
   
6. 
   
7.         # 请求其中的分类内容
   
8.         nr=yc(url)
   
9.         html=nr.decode('utf-8')
   
10. 
    
11.         # 正则过滤
    
12.         zc = r'<li><a href="(.*?)".*alt=\'(.*?)\'.*</span></li>'
    
13.         ss = re.compile(zc)
    
14.         html = ss.findall(html)
    
15. 
    
16.         # 判断是否是我们希望的页面
    
17.         if html == [''] or []:
    
18. 
    
19.             # 如果不是重新调用
    
20.             mz_li(url,jshu,name)
    
21. 
    
22.         else:
    
23. 
    
24.             # 循环
    
25.             for j in html:
    
26.                 # 判断是否在文件夹名称
    
27.                 b = 'C:/Users/黑神/Desktop/pc_zy/妹子图/'+str(name) +'/'+ j[1]
    
28. 
    
29.                 # 判断当前路径是否存在，没有则创建new文件夹
    
30.                 if not os.path.exists(b):
    
31.                     print('正在创建文件夹：路径C:/Users/黑神/Desktop/pc_zy/妹子图/'+j[1])
    
32.                     # 执行存储
    
33.                     os.makedirs(b)
    
34. 
    
35.                     print('创建成功....')
    
36. 
    
37.                     # 文件夹创建完毕后调用爬取图片函数,将url传过去
    
38.                     pq_tupian_yeshu(j[0],name)
    
39.                     # print('爬取完成！')
    
40. 
    
41.     return '爬取完毕！'

复制代码

获得网页数量

1. def pq_tupian_yeshu(url,name):
   
2.     print(url)
   
3.     print('开始爬取图片')
   
4. 
   
5.     # 调用自定义包
   
6.     req=yc(url)
   
7. 
   
8.     html=req.decode('utf-8')
   
9. 
   
10.     # 正则
    
11.     x = r'<span>(\d*?)</span>'
    
12.     ss=re.compile(x)
    
13.     html=ss.findall(html)
    
14. 
    
15.     # 判断是否是我们希望的页面
    
16.     if html == ['']:
    
17. 
    
18.         # 如果不是重新调用
    
19.         pq_tupian_yeshu(url,name=name)
    
20. 
    
21.     else:
    
22.         a=[]
    
23.         # 因为获取的值是字符串类型需要转换成int整型
    
24.         for i in html:
    
25.             a.append(int(i))
    
26. 
    
27.         # 循环页数,将最大的页数当也结束值
    
28.         for i in range(1,max(a)+1):
    
29. 
    
30.             if i == 1:
    
31.             # 拼接地址循环页数
    
32.                 url_tp=url
    
33.             else:
    
34.                 url_tp = url + str(i)
    
35. 
    
36.             pq_tp(url_tp,name)

复制代码

爬取图片

1. def pq_tp(url,name):
   
2. 
   
3.     print(url)
   
4.     html=yc(url)
   
5.     html=html.decode('utf-8')
   
6.     # 正则
   
7.     x = r'<img src="(.*?)" alt="(.*?)" /></a></p>'
   
8.     ss = re.compile(x)
   
9.     html = ss.findall(html)
   
10. 
    
11.     # 判断是否是我们希望的页面
    
12.     if html == []:
    
13.         pq_tp(url)
    
14.     else:
    
15.         print(html[0][0])
    
16.         # 反爬虫，添加表头和Referer
    
17.         tox ={'User-Agent':pa(),'Referer':url}
    
18. 
    
19.         print('开始下载中......')
    
20.         # 自定义包
    
21.         data=yc(html[0][0],tox=tox)
    
22. 
    
23.         print('下载完毕！')
    
24.         # 保存的地址
    
25.         dz='C:/Users/黑神/Desktop/pc_zy/妹子图/'+str(name)+'/'+html[0][1]+'/'+str(time.strftime('%Y%m%d%H%M%S', time.localtime(time.time())))+'.jpg'
    
26.         print(dz)
    
27. 
    
28.         # 保存到文件
    
29.         with open(dz,'wb') as f:
    
30.             f.write(data)

复制代码

if name==’main‘:
    zhu()

//鸣谢：Black_God1

铁锹 3D打印店铺

做纳金论坛版主 写教程 赚现金 加管理员QQ943169942