3.1. 数据提取的概念和数据的分类

• 3.1. 数据提取的概念和数据的分类
  • 目标
  • 1. 什么是数据提取
  • 2. 爬虫中数据的分类
  • 小结

目标

• 了解什么是数据提取
• 熟悉爬虫的数据的种类

1. 什么是数据提取

简单的来说，数据提取就是从响应中获取我们想要的数据的过程

2. 爬虫中数据的分类

• 结构化数据：json，xml等
  • 处理方式：直接转化为python类型
• 非结构化数据：HTML
  • 处理方式：正则表达式、xpath

下面以今日头条的首页为例，介绍结构化数据和非结构化数据

• 结构化数据例子：

• 非结构化数据：

• XML数据：

<bookstore>
<book category="COOKING">
  <title lang="en">Everyday Italian</title> 
  <author>Giada De Laurentiis</author> 
  <year>2005</year> 
  <price>30.00</price> 
</book>
<book category="CHILDREN">
  <title lang="en">Harry Potter</title> 
  <author>J K. Rowling</author> 
  <year>2005</year> 
  <price>29.99</price> 
</book>
<book category="WEB">
  <title lang="en">Learning XML</title> 
  <author>Erik T. Ray</author> 
  <year>2003</year> 
  <price>39.95</price> 
</book>
</bookstore>

从上面可以看出，xml数据也是结构非常明显的

小结

• 本小结重点
  • 理解数据提取的内涵
  • 掌握爬虫中不同的数据分类