# 2.2. requests模块的深入使用

# 目标

  • 掌握requests发送post请求的方法
  • 掌握requests模块使用打理的方法
  • 了解代理ip池的内涵

# 1.requests模块发送POST请求

# 1.1 哪些地方我们会用到POST请求:

  • 登录注册( POST 比 GET 更安全)
  • 需要传输大文本内容的时候( POST 请求对数据长度没有要求)

所以同样的,我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

# 1.2 使用requests模块发送post请求

  • 用法: response = requests.post("http://www.baidu.com/", data = data,headers=headers)
  • data 的形式:字典

# 1.3 下面我们通过百度翻译的例子看看post请求如何使用

xcooo

# 2. 使用代理

# 2.1 为什么要使用代理

  • 让服务器以为不是同一个客户端在请求
  • 防止我们的真实地址被泄露,防止被追究

# 2.2 理解使用代理的过程

xcooo

# 2.3 理解正向代理和反向代理的区别

xcooo

通过上图可以看出: 正向代理:对于浏览器知道服务器的真实地址,例如VPN 反向代理:浏览器不知道服务器的真实地址,例如nginx

# 2.4 代理的使用

  • 用法: requests.get("http://www.baidu.com", proxies = proxies)
  • proxies的形式:字典
  • 例如:
proxies = { 
    "http": "http://12.34.56.79:9527", 
    "https": "https://12.34.56.79:9527", 
    }
1
2
3
4

# 2.5 代理IP的分类

根据代理服务器端的配置,向目标地址发送请求时,REMOTE_ADDR, HTTP_VIA,HTTP_X_FORWARDED_FOR三个变量不同而可以分为下面四类:

  • 透明代理(Transparent Proxy)

      REMOTE_ADDR = Proxy IP
      HTTP_VIA = Proxy IP
      HTTP_X_FORWARDED_FOR = Your IP
    
    1
    2
    3

    透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。

  • 匿名代理(Anonymous Proxy)

      REMOTE_ADDR = proxy IP
      HTTP_VIA = proxy IP
      HTTP_X_FORWARDED_FOR = proxy IP
    
    1
    2
    3

    匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。

  • 混淆代理(Distorting Proxies)

      REMOTE_ADDR = Proxy IP
      HTTP_VIA = Proxy IP
      HTTP_X_FORWARDED_FOR = Random IP address
    
    1
    2
    3

    如上,与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真

  • 高匿代理(Elite proxy或High Anonymity Proxy)

      REMOTE_ADDR = Proxy IP
      HTTP_VIA = not determined
      HTTP_X_FORWARDED_FOR = not determined
    
    1
    2
    3

    可以看出来,高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

从使用的协议:代理ip可以分为http代理,https代理,socket代理等,使用的时候需要根据抓取网站的协议来选择

# 2.6 代理IP使用的注意点

  • 反反爬

    使用代理ip是非常必要的一种反反爬的方式,但是即使使用了代理ip,对方服务器任然会有很多的方式来检测我们是否是一个爬虫

    比如:

    • 一段时间内,检测IP访问的频率,访问太多频繁会屏蔽

    • 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽

    • 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽

      所以更好的方式是购买质量更高的代理,或者自己搭建代理服务器,组装自己的代理IP池,同时在使用的时候使用随机的方式进行选择使用,不要每次都用一个代理ip,没事没有任何效果的

  • 代理ip池的更新

    购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。对应的实现方式在我们学习了超时参数的使用之后大家会了解

  • 面试

    很多时候面试官会了解自己项目中的代理ip的使用情况,比如:代理ip池的大小,代理ip的更新时间,代理ip中可用的代理ip的比例等等,这些都是开放性的问题,面试官了解的时候估计是自己的代理ip池用的不爽 :)

# 小结

  • 本小结重点
    • 掌握requests模块发送post请求的方法
    • 掌握requests模块使用代理ip的方法
    • 掌握代理ip池的内涵
上次更新: 2020/10/12 下午7:13:44