Chrome不是万能的，使用快捷方法也需要自己好好检查一遍！！
 刚学爬虫，在进行练习的时候。使用chrome获取某个元素的xpath的时候，获得的内容总是为空。如下图：
 
 刚开始真的是百思不得其解，我以为是get除了问题，又以为是etree.html出了问题。结果搞了一下午都没有解决，最后经过一个大哥指点，核对了一下xpath路径，发现问题出现在chrome自动生成的xpath上！！
 
网页部分源代码:
 
 chrome给出的xpath:
 //*[@id=“aspnetForm”]/table/tbody/tr[1]/td[1]
 经过仔细的核对，发现chrome浏览器给xpath加上了一个tbody标签！(我也不知道为什么…)
 把这个标签删除之后，使用正确的xpath路径
 //*[@id=“aspnetForm”]/table/tr[1]/td[1]
 即可获取需要的内容。

        尽管XPath代码写起来要比正则表达式简单得多，但如果遇到复杂的节点，仍然写起来比较费劲，幸好很多浏览器提供了自动获取XPath代码的能力。我们可以在自动获取的XPath代码的基础上修改，甚至很多时候不需要修改就可以直接使用。本节用Chrome浏览器来演示如何获取特定节点的XPath代码。
 
        下面的例子在Chrome浏览器中通过开发者工具获取京东商城首页与导航条对应的XPath代码，并稍加修改，然后利用requests库抓取导航条文本。
 
现在进入京东商城首页（https://www.jd.com），导航条如图1所示黑框中的内容。
 
 
 
        在页面右键菜单中单击“检查”菜单项显示开发者工具，然后定位到导航条的某一个链接（如“秒杀”&#x

如下图所示，用定位工具定位输入框，无id，有class值，但不唯一，与标题栏的class值重复，这里要用xpath定位：
 
 
 首先，找到定位框的上一节点id：
 
 定位框的xpath="//*[@resource-id=‘id值’]/定位框class值

 
Xpath 使用
 
1.什么是Xpath
2.Xptah解析原理
3.如何安装Xpath
4.如果使用Xpath
5.Xpath 表达式
5.Xpath 常用函数
6.Chrome自动生成Xpath 表达式
 

 
1.什么是Xpath
 
XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
 
2.Xptah解析原理
 
①实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
 ②调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获
 
3.如何安装Xpath
 
直接使用pip 安装 pip install lxml
 
4.如果使用Xpath
 
(1)导入from lxml import etree
 (2)将本地的html文档中的源码数据加载到etree对象中
 
html = etree.parse(r"路径/test.html")
 
(3) 可以将互联网上获取的源码数据加载到etree对象中
 
html = etree.HTML('page_text')
 
(4) 注意点：xpath方法返回的永远是一个列表
 
5.Xpath 表达式
 
节点、元素、属性、内容
 路径表达式
 
/
根节点，节点分隔符
//
任意位置
.
当前节点
…
父节点
@
属性
通配符
 
*
任意元素
@*
任意属性
node()
任意子节点（元素、属性、内容）
谓语
 使用中括号来限定元素，称为谓语
 
    //a[n] n为大于零的整数，代表子元素排在第n个位置的<a>元素
    //a[last()]   last()  代表子元素排在最后个位置的<a>元素
    //a[last()-1]  和上面同理，代表倒数第二个
    //a[position()<3] 位置序号小于3，也就是前两个，这里我们可以看出xpath中的序列是从1开始
    //a[@href]    拥有href的<a>元素
    //a[@href='www.baidu.com']    href属性值为'www.baidu.com'的<a>元素
    //book[@price>2]   price值大于2的<book>元素
 
多个路径
 用| 连接两个表达式，可以进行 或匹配
 
html_data = html.xpath("//book/title | //book/price")  
 
②取值
 Ⅰ.获取文本
 直系文本：/text()
 所有文本：//text()
 Ⅱ.获取属性
 /@属性名称
 获取img下面的src属性
 img/@src
 
5.Xpath 常用函数
 
contains(string1,string2)
 starts-with(string1,string2)
 text()
 last()
 position()
 node()
 
6.Chrome自动生成Xpath 表达式