㈠ 逆向解析法是用于静态网页数据的基本爬取
这里以python为例，主要分为静态网页数据的爬取和动态网页数据的爬取，主要内容如下：
静态网页数据
这里的数据都嵌套在网页源码中，所以直接requests网页源码进行解析就行，下面我简单介绍一下，这里以爬取糗事网络上的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的字段包括昵称、内容、好笑数和评论数：
接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中：
2.然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合，其中requests用于获取网页源码，BeautifulSoup用于解析网页提取数据：
点击运行这个程序，效果如下，已经成功爬取了到我们需要的数据：
动态网页数据
这里的数据都没有在网页源码中（所以直接请求页面是获取不到任何数据的），大部分情况下都是存储在一个json文件中，只有在网页更新的时候，才会加载数据，下面我简单介绍一下这种方式，这里以爬取人人贷上面的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：
接着按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬取的数据：
2.然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试代码如下，也非常简单，主要用到requests+json组合，其中requests用于请求json文件，json用于解析json文件提取数据：
点击运行这个程序，效果如下，已经成功爬取到我们需要的数据：
至此，我们就完成了利用python网络爬虫来获取网站数据。总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架（scrapy等），可以快速获取网站数据，非常适合初学者学习和掌握，只要你有一定的爬虫基础，熟悉一下上面的流程和代码，很快就能掌握的，
㈡ Python爬虫：HTML网页解析方法小结
要理解python是如何解析网页的，首先要理解什么是网页解析器。
简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。
解析HTML：
我们知道爬虫的原理无非是把目标网址的内容下载下来存储到内存中，这个时候它的内容其实是一堆HTML，然后再对这些HTML内容进行解析，按照自己的想法提取出想要的数据。
今天主要讲讲Python中解析网页HTML内容的四种方法：
其中BeautifulSoup和XPath是python中解析网页常用的两个库，对于新手来说是利器，零基础小白建议先打好Python基础再去上手爬虫会容易一些。
“零基础如何学Python”在知乎看到过一篇比较好的问答贴，讲的很实用，大家伙可以移步去看看，链接分享在下方。
1、BeautifulSoup
大名鼎鼎的BeautifulSoup库，在Pyhton的HTML解析库里属于重量级的库。
安装途径：
解析的第一步，是构建一个BeautifulSoup对象。
第二个参数表示解析器，BeautifulSoup支持以下多种解释器：
BeautifulSoup对应一个HTML/XML文档的全部内容；
BeautifulSoup类的基本元素
任何存在于HTML语法中的标签都可以用soup.访问获得，当HTML文档中存在多个相同对应内容时，soup.返回第一个。
每个都有自己的名字，通过.name获取，字符串类型 Tag的attrs：一个可以有0或多个属性，字典类型 NavigableString可以跨越多个层次
1）访问标签
通过点号操作符，可以直接访问文档中的特定标签，示例：
这样的方式每次只会返回文档中的第一个标签，对于多个标签，则通过find_all方法返回多个标签构成的列表。
还可以在find方法中添加过滤条件，更加精确的定位元素。
2）访问标签内容和属性
通过name和string可以访问标签的名字和内容，通过get和中括号操作符则可以访问标签中的属性和值。
结合定位元素和访问属性的方法，可以方便快捷的提取对应元素，提高解析html的便利性。
使用Beautiful Soup库解析网页
BeautifulSoup解析内容同样需要将请求和解析分开，从代码清晰程度来讲还将就，不过在做复杂的解析时代码略显繁琐，总体来讲用起来还不错，看个人喜好吧。
爬虫的基本技能最重要的两点：如何抓取数据？如何解析数据？我们要活学活用，在不同的时候利用最有效的工具去完成我们的目的。
工具是其次，学习不要主末颠倒了，我上面分享的那篇文章也有提到过这个问题（链接有放在下方），要明确你学习的最终目的是什么？
2、lxml的XPath
lxml这个库同时支持HTML和XML的解析，支持XPath解析方式，解析效率挺高，不过我们需要熟悉它的一些规则语法才能使用。
使用xpath需要从lxml库中导入etree模块，还需要使用HTML类对需要匹配的HTML对象进行初始化。
安装途径：
Xpath常用表达式
使用表达式定位head和title节点
Xpath谓语常用的表达式
使用谓语定位head和ul节点
定位并获取title节点内的文本内容
提取ul节点下的所有文本文件和链接地址
XPath的解析语法稍显复杂，不过熟悉了语法的话也不失为一种优秀的解析手段。
示例：
3、requests-html
我们知道 requests 只负责网络请求，不会对响应结果进行解析，因此可以把 requests-html 理解为可以解析 HTML 文档的 requets 库。
requests-html 的代码量非常少，都是基于现有的框架进行二次封装，开发者使用时可更方便调用，它依赖于 PyQuery、requests、lxml 等库。
安装途径：
需要注意的是这个库目前只支持python3.6版本；
requests-html 具有以下特性：
requests-html默认使用session保持的请求方式，且其返回内容是一个带有丰富方法的对象。
获取一个随机User-Agent
不用每次在请求头里面去复制user-agent；
对JavaScript的支持是requests-html最大的亮点，会用到render函数，需要注意的是第一次使用这个方法，它会先下载Chromium，然后使用Chromium来执行代码，但是下载的时候可能需要一个梯子，这里就先不展开讨论了。
学过requests库的看到requests-html的api应该会很熟悉，使用方法基本一致，不同的是使用requests编写爬虫时，要先把网页爬取下来，然后再交给BeautifulSoup等一些html解析库，现在可以直接解析了。
示例：
通过简短的几行代码，就可以把整个首页的文章抓取下来。
示例中使用的几个方法：
① find( ) 可以接收两个参数：
第一个参数可以是class名称或ID第二个参数first=True时，只选取第一条数据
② text 获取元素的文本内容
③ attrs 获取元素的属性，返回值是个字典
④ html 获取元素的html内容
使用requests-html来解析内容的好处在于作者都高度封装过了，连请求返回内容的编码格式转换也自动做了，完全可以让代码逻辑更简单直接，更专注于解析工作本身。
4、正则表达式
正则表达式通常被用来检索、替换那些符合某个模式的文本，所以我们可以利用这个原理来提取我们想要的信息。
使用正则表达式， 需要导入re模块，该模块为Python提供了完整的正则表达式功能。
严格的字符匹配示例：
注意：python只支持re模块进行正则表达式的书写
使用正则表达式查找网页内容中的title内容：
使用正则表达式无法很好的定位特定节点并获取其中的链接和文本内容，而使用Xpath和Beautiful Soup能较为便利的实现这个功能。
正则就是编写麻烦，理解不容易，但是匹配效率很高，不过现在有很多现成的HTMl内容解析库之后，不太推荐再手动用正则来对内容进行匹配了，麻烦费时费力。
5、小结：
（1）正则表达式匹配不推荐，因为已经有很多现成的库可以直接用，不需要我们去大量定义正则表达式，还没法复用，尝试过正则表达式的小白就能体会，使用正则表达式来筛选网页内容是有多费劲，而且总是感觉效果不太好。
（2）BeautifulSoup是基于DOM的方式，简单的说就是会在解析时把整个网页内容加载到DOM树里，内存开销和耗时都比较高，处理海量内容时不建议使用。
BeautifulSoup不需要结构清晰的网页内容，因为它可以直接找到我们想要的标签，如果对于一些HTML结构不清晰的网页，它比较适合。
（3）XPath是基于SAX的机制来解析，不会像BeautifulSoup去加载整个内容到DOM里，而是基于事件驱动的方式来解析内容，更加轻巧。
不过XPath要求网页结构需要清晰，而且开发难度比DOM解析的方式高一点，推荐在需要解析效率时使用。
（4）requests-html 是比较新的一个库，高度封装且源码清晰，它直接整合了大量解析时繁琐复杂的操作，同时支持DOM解析和XPath解析两种方式，灵活方便，可以尝试。
除了以上介绍到几种网页内容解析方式之外还有很多解析手段，这里就暂不一一介绍了。