功能一、利用众鑫采集器实现【分页采集】

通常采集列表数据时,都会有分页,如何采集分页中的数据呢?在爬山虎采集器中,我们可以采集以下几种分页类型

1. 自动识别分页

众鑫采集器可以识别90%的分页元素,通过选择分页设置->自动识别分页 。 

2. 手动设置分页

当不能自动识别时,我们就需要手动设置分页。如何手动设置分页?

  1. 首先选择分页设置->手动设置分页 ,
  2. 在点击选择分页元素,在浏览器中找到下一页元素并点击。

3. 瀑布流分页

现在很多网页都是用了瀑布流分页技术,比如百度图片、知乎、今日头条,这类型网页,直接选择瀑布流分页。 采集器会自动滚到网页,直到分页完成。

4. 瀑布流+分页页码的组合形式

有部分网站,会使用瀑布流+分页页码的形式来展示,比如向下滚动5次后,才会展示分页页码。 步骤如下:

  1. 使用脚本命令,手动添加一个滚动命令,具体设置滚动几页、滚动间隔时间,需要针对具体网站进行测试。
  2. 第三步设置,在其他设置中,勾选在分页上执行采集脚本,这样在每次打开分页后,都会执行滚动命令。

加载更多形式

有些网站会使用加载更多这样的按钮,点击才会展示更多数据。 采集这种类型的页面,我们需要手动设置分页, 把加载更多当作下一页按钮来点击。


设置采集最大分页

可以设置要采集的最大分页数量。这在更新采集时,非常必要。比如每天网站更新的内容都在前3页中,我们就可以设置最大分页为3页。

 收藏 (0) 打赏

您可以选择一种方式赞助本站

支付宝扫一扫赞助

微信钱包扫描赞助

未经允许不得转载:众鑫企业名录搜索软件_谷歌图数据采集大师_高德地图采集_百度地图采集_360地图采集_美团点评商家采集 » 功能一、利用众鑫采集器实现【分页采集】

热门文章

  • 评论 抢沙发

    • QQ号
    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址

    众鑫企业名录搜索软件

    众鑫网页数据采集器众鑫采集器