Python爬虫 UA检测和UA伪装
最新推荐文章于 2024-08-19 18:36:49 发布

键盘书生... 于 2020-06-05 20:03:53 发布
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
目标:爬取搜狗输入关键字对应搜索内容
import requests if __name__=='__main__': headers={ #UA伪装,下面有介绍怎么获取到User-Agent 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36' } url='https://m.sogou.com/web' kw=input('enter a woed:') #把参数封装到字典 param={ 'query':kw } #对指定的url发起请求 respo = requests.get(url=url,params=param,headers=headers) pespo_text=respo.text filename=kw+".html" #持久化保存,生成一个HTML文件 with open(filename,'w',encoding='utf-8') as fp: fp.write(pespo_text) print(filename,'保存成功')
1234567891011121314151617181920获取对应的User-Agent
首先F12进入开发者模式

然后选择Network

选择logo115_50.png?v=5 选择Headers,找到User-Agent复制到代码中
相关知识
OPC UA .NETStandard 样本项目常见问题解决方案
47.韵母之后响复韵母:ua
UA Curry 6 花卉
【花社长的UA战报】久违的UA大赛,玩得很尽兴
Python爬虫(一):环境配置
用Python爬虫获取网络园艺社区植物养护和种植技巧
Nature Aging (16.6): 这些水果真抗衰!多吃这些水果,能改善造血干细胞和免疫系统衰老
自然语言处理综述
基于单片机的花卉温室红外智能温湿度控制系统资源
模式识别资料(数据集)资源
原文链接: Python爬虫 UA检测和UA伪装 https://m.huajiangbk.com/newsview1594601.html
| 上一篇: 十倍股的成长之路 写股价走出十倍... | 下一篇: 2025宁夏企业名单(排行榜) |



