# 2.5. chrome浏览器使用方法介绍

# 目标

  • 掌握chrome在爬虫中的使用 :)

# 1. 新建隐身窗口

xcooo

# 1.1 为什么需要新建隐身窗口

在打开隐身窗口的时候,第一次请求某个网站是没有携带cookie的,和代码请求一个网站一样,不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果;除非数据是通过js加载出来的,不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的

# 2. chrome中network的更多功能

xcooo

# 2.1 Perserve log

默认情况下,页面发生跳转之后,之前的请求url地址等信息都会消失,勾选perserve log后之前的请求都会被保留

xcooo

# 2.2 filter过滤

在url地址很多的时候,可以在filter中输入部分url地址,对所有的url地址起到一定的过滤效果,具体位置在上面第二幅图中的2的位置

# 2.3 观察特定种类的请求

在上面第二幅图中的3的位置,有很多选项,默认是选择的all,即会观察到所有种类的请求

很多时候处于自己的目的可以选择all右边的其他选项,比如常见的选项:

  • XHR:大部分情况表示ajax请求
  • JS:js请求
  • CSS:css请求

但是很多时候我们并不能保证我们需要的请求是什么类型,特别是我们不清楚一个请求是否为ajax请求的时候,直接选择all,从前往后观察即可,其中js,css,图片等不去观察即可

不要被浏览器中的一堆请求吓到了,这些请求中除了js,css,图片的请求外,其他的请求并没有多少个

# 2.4 其他方法

在前面的课程中我们还介绍了:

  • search all file
  • 确定js的位置
  • js中添加断点

# 小结

  • 本小结重点
    • 理解为什么需要新建隐身窗口
    • 掌握perserve log的使用
    • 学会寻找需要的请求地址
上次更新: 2020/10/12 下午7:13:44