赵乾舟 发表于 2020-8-6 17:35:50

获取一个简单的页面

B站上看视频,抄的一个代码,获取首页页面数据的爬虫
#爬取本站首页页面数据
#导入requests模块
import requests
#指定URL
url = 'http://www.zhaoqianzhou.com'
#发起请求,get方法会返回一个响应对象
response = requests.get(url=url)
#获取响应数据.text返回的是字符串形式的响应数据
page = response.text
print(page)
#存储
with open('./sodgou.html','w',encoding='utf-8') as fp:
    fp.write(page)
print('爬虫is over')



赵乾舟 发表于 2020-8-6 17:36:41

生成的HTML文件,存储在同一目录下

赵乾舟 发表于 2020-8-6 19:03:44

import requests
url = 'http://www.zhaoqianzhou.com'
respsonse = requests.get(url=url)
page_text = respsonse.text
with open('./qianzhou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
print(page_text)
print('over')

赵乾舟 发表于 2021-5-20 15:53:22

import requests
url = 'https://club.coovm.com/forum-53-1.html'
spon = requests.get(url=url)
print(spon.text)                  #获得HTML网页数据
print(spon.content)               #获得返回的数据(二进制)
页: [1]
查看完整版本: 获取一个简单的页面