获取一个简单的页面

赵乾舟

B站上看视频，抄的一个代码，获取首页页面数据的爬虫

1. #爬取本站首页页面数据
   
2. #导入requests模块
   
3. import requests
   
4. #指定URL
   
5. url = 'http://www.zhaoqianzhou.com'
   
6. #发起请求，get方法会返回一个响应对象
   
7. response = requests.get(url=url)
   
8. #获取响应数据.text返回的是字符串形式的响应数据
   
9. page = response.text
   
10. print(page)
    
11. #存储
    
12. with open('./sodgou.html','w',encoding='utf-8') as fp:
    
13.     fp.write(page)
    
14. print('爬虫is over')

复制代码

赵乾舟

生成的HTML文件，存储在同一目录下

赵乾舟

1. import requests
   
2. url = 'http://www.zhaoqianzhou.com'
   
3. respsonse = requests.get(url=url)
   
4. page_text = respsonse.text
   
5. with open('./qianzhou.html','w',encoding='utf-8') as fp:
   
6.     fp.write(page_text)
   
7. print(page_text)
   
8. print('over')

复制代码

赵乾舟

1. import requests
   
2. url = 'https://club.coovm.com/forum-53-1.html'
   
3. spon = requests.get(url=url)
   
4. print(spon.text)                    #获得HTML网页数据
   
5. print(spon.content)                 #获得返回的数据（二进制）

复制代码