Urllib.requset.Request加入请求头部

时间：2021-06-22 17:57:32 收藏：0 阅读：0

上一个随笔中报错：

urllib.error.HTTPError: HTTP Error 418:

百度后，加上头部得以解决。

urllib.request.Request

功能：声明一个request对象。可自定义header等请求信息。

本次，加入一个更多参数的header。

# 导入urllib
import urllib.request
# 定义一个头部
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36‘,
    ‘Referer‘:‘https://movie.douban.com/‘,
    ‘Connection‘: ‘keep-alive‘
}
# 给url加头部
_url = urllib.request.Request(‘https://movie.douban.com/‘,headers=headers)
# 打开url
response = urllib.request.urlopen(_url, None, 10)
# 读取返回的内容
html = response.read().decode(‘utf-8‘)
# 写入txt
with open(‘html‘,‘w‘,encoding=‘utf-8‘) as f:
    f.write(html)