Python爬虫从入门到入魔(3)-百越白狼社区-弘客联盟新手区-弘客联盟

Python爬虫从入门到入魔(3)

代理

透明代理

  • 代理服务器将客户端的信息转发至目标访问对象,并没有完全隐藏客户端真实的身份。即服务器知道客户端使用了代理IP,并且知道客户端的真实IP地址

普通匿名代理

  • 代理服务器用自己的IP代替了客户端的真实IP,但是告诉了目标访问对象这是代理访问

高匿代理

  • 代理服务器良好地伪装了客户端,不但用一个随机的IP代替了客户端的IP,也隐藏了代理信息,服务器不会察觉到客户端是通过代理实现访问的,即用户仿佛就是直接使用代理服务器作为自己的客户端
  • 所以使用高匿代理就可以隐藏自己的真实IP了

禁止重定向

假如我们的目标网址是:https://www.baidu.com

但是实际访问网址为:https://www.baidu.com/login?id=xxxx&&xxxxxxx=xxxx

我们可以通过添加allow_redirects=False属性来禁止重定向

超时处理

使用timeout来做超时处理

de3bed485d142153

retrying模块

b324542087153903

 

 

请登录后发表评论

    没有回复内容

随便看看