怎么通过CSS选择器采集网页数据

做了个数据采集插件准备拿博客园练练手。想一下要采集什么数据，就从首页文章列表采集起到第10页就结束采集，然后在点击进去采集文章内容。

视频演示地址：https://www.bilibili.com/video/BV1HP4y157rR

数据采集工具

九头虫网页数据采集插件 大家如果也想试下，那么可以点击进去下载。
九头虫网页数据采集插件 帮助文档

采集内容

首页：文章标题、文章介绍、作者、作者头像、点赞数、评论数、发布时间
内容页：正文内容

编写首页列表采集规则

按F12打开开发者工具里面看到文章列表HTML代码结构：

文章标题可以通过CSS选择器.post-item-title获取到；
文章地址可以通过CSS选择器.post-item-title获取到；
文章介绍可以通过CSS选择器.post-item-summary获取到;
作者可以通过CSS选择器.post-item-author获取到；
用户头像可以通过CSS选择器img.avatar获取到；
点赞数可以通过CSS选择器.post-item-foot a.post-meta-item获取到;
评论数可以通过CSS选择器.post-item-foot a[class*=post-meta-item]:nth-of-type(3)获取到;
浏览数可以通过CSS选择器.post-item-foot a[class*=post-meta-item]:nth-of-type(4) span获取到;

那么现在开始编写采集规则,采集规则保存之后，进入页面检验当前是否采集到数据了。

{     "title": "博客园首页文章列表",     "match": "https://www.cnblogs.com/*",     "demo": "https://www.cnblogs.com/#p2",     "delay": 2,     "rules": [         {             "root": "#post_list .post-item",             "multi": true,             "desc": "文章列表",             "fetches": [                 {                     "name": "文章标题",                     "selector": ".post-item-title"                 },                 {                     "name": "文章地址",                     "selector": ".post-item-title",                     "type": "attr",                     "attr": "href"                 },                 {                     "name": "文章介绍",                     "selector": ".post-item-summary"                 },                 {                     "name": "作者",                     "selector": ".post-item-author"                 },                 {                     "name": "头像",                     "selector": "img.avatar",                     "type": "attr",                     "attr": "src"                 },                 {                     "name": "点赞数",                     "selector": ".post-item-foot a.post-meta-item"                 },                 {                     "name": "评论数",                     "selector": ".post-item-foot a[class*=post-meta-item]:nth-of-type(3)"                 },                 {                     "name": "浏览数",                     "selector": ".post-item-foot a[class*=post-meta-item]:nth-of-type(4)"                 }             ]         }     ] } 

编写内容页采集规则

编写方式与上面的一样，这里就直接贴出代码了。

{     "title": "博客园文章内容",     "match": "https://www.cnblogs.com/*/p/*.html",     "demo": "https://www.cnblogs.com/bianchengyouliao/p/15541078.html",     "delay": 2,     "rules": [         {             "multi": false,             "desc": "文章内容",             "fetches": [                 {                     "name": "文章标题",                     "selector": "#cb_post_title_url"                 },                 {                     "name": "正文内容",                     "selector": "#cnblogs_post_body",                     "type": "html"                 }             ]         }     ] } 

添加计划任务（实现批量采集、翻页采集）

生成URL采集地址 帮助文档

在计划任务中，通过动态URL采集地址获取要采集的文章页面地址，获取完成之后插件就会自动去打开对应页面。只要打开页面，插件就会去匹配采集规则然后采集数据。

https://www.cnblogs.com/ [a.post-item-title,href]:https://www.cnblogs.com/#p[2,10,1] 

预览数据