天行健
君子以自强不息

python代码如何避免使用fake useragent随机生成random ua的时候含有移动手机端字符Mobile的用户代理

    这两天遇到了一个使用fake useragent的问题,这里记录分享下解决方案给大家
首先由于新的爬虫项目里引进了随机生成agent的库文件,而调试过程中发现出现了引入前不曾有的解析错误,经过定位分析发现原来是随机生成的random ua中含有移动端的Mobile字段,导致目标网站响应的内容为手机移动端的内容和结构,由于采用的不是一套代码,因此爬虫的解析出现了错误,这里我们就需要对代码就行修改

fake useragent mobile

随机生成的ua中含有Mobile字段

    这里我们有两种解决方案:

  1. 使用自定义的fake useragent列表,自己维护随机的内容,使用list列表存放自己想要随机的ua内容,这样可以避免引入移动端的ua
  2. 剔除fake useragent随机生成的ua,只保留不含有mobile字段的ua

    由于fake useragent用的还挺好,因此采用第二套方案,简单修改下就可以了,下面是代码,有需要的可以参考下,比较简单

过滤 随机 ua mobile

过滤随机random ua中的mobile内容

赞(0) 打赏
未经允许不得转载:bituplink博客 » python代码如何避免使用fake useragent随机生成random ua的时候含有移动手机端字符Mobile的用户代理
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏