Python数据解析的三种方式

一,正则表达式解析
 
在爬虫中,下面两种方式用的多一些——
 
大致用法:
 
二,Xpath解析
 
简介及安装
 
简介:XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
 
安装:pip install lxml
 
调用方法:
 
语法简介
 
先准备一个HTML格式的字符串
 
1,选取节点
 
2,谓语
 
3,通配符
 
Xpath通过通配符来选取未知的XML元素
 
4,取多个路径
 
使用 “|” 运算符可以选取多个路径
 
5,Xpath轴
 
轴可以定义相对于当前节点的节点集
 
6,功能函数
 
使用功能函数能够更好的进行模糊搜索
 
三,BeautifulSoup
 
简介及安装
 
简介:
 
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
 
它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
 
安装:pip3 install beautifulsoup4
 
解析器:
 
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快。
 
简单使用
 
使用方式:可以将一个html文档,转化为BeautifulSoup对象,然后通过对象的方法或者属性去查找指定的节点内容
 
语法简介
 
find_all()
 
先准备一个HTML格式的字符串
 
1,五种过滤器
 
字符串、正则表达式、列表、True、方法
 
2、按照类名查找
 
注意:关键字是class_,class_=value,value可以是五种选择器之一
 
3、attrs
 
4、text
 
值可以是:字符,列表,True,正则
 
5、limit参数
 
如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果
 
6、recursive
 
调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .
 
tag
 
像调用 find_all() 一样调用tag find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用——
 
这个方法的执行结果与调用这个对象的 find_all() 方法相同——
 
find
 
find( name , attrs , recursive , text , **kwargs )
 
find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个 < body > 标签,那么使用 find_all() 方法来查找< body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法
 
下面两行代码是等价的:
 
唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.
 
find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .
 
soup.head.title 是 tag的名字 方法的简写.这个简写的原理就是多次调用当前tag的 find() 方法:

如需转载,请注明文章出处和来源网址:http://www.divcss5.com/html/h63897.shtml

张贴在3