爬取电影论坛前十页分析存储电影类型到Excel

赵乾舟

1. import requests
   
2. from pyquery import PyQuery
   
3. from openpyxl import Workbook
   
4. wb = Workbook()                                  #创建一个Excel文件
   
5. sheet = wb.active
   
6. sheet['a1'] = '类型'
   
7. sheet['b1']= '个数'
   
8. 
   
9. move = []                                      #存储电影全称
   
10. cla = []                                        #存储电影类型
    
11. 
    
12. tem = 'https://club.coovm.com/forum-53-{pn}.html'
    
13. 
    
14. for page in range(1,11):
    
15. 
    
16.     url = tem.format(pn=page)
    
17. 
    
18.     spon = requests.get(url=url)
    
19.     #print(spon.text)                    #获得HTML网页数据
    
20.     #print(spon.content)                 #获得返回的数据（二进制）
    
21.     doc = PyQuery(spon.text)
    
22. 
    
23.     for item in doc.items('#threadlisttableid .xst'):
    
24. 
    
25.         move.append([item.text()])
    
26. 
    
27.         cla.append(item.text().split('】')[0]+'】')
    
28. 
    
29. cls = []
    
30. wordset = list(set(cla))
    
31. for word in wordset:
    
32.     freq = cla.count(word)
    
33.     cls.append([word,freq])
    
34.     sheet.append([word,freq])
    
35. wb.save('电影类型1.xlsx')
    
36. 
    

复制代码

代码还能精简，整了几个小时有点头蒙，以后有机会再弄