一、采集方式多样

1.爬虫采集

云采集平台采用的核心技术是分布式网页爬虫系统。分布式爬虫系统采取弹性可扩展的互联网架构体系。使用python爬虫技术,支持css、xpath等不同选择器进行数据提取。

系统将网页的非结构化信息采集后,自动提取网页属性信息进行结构化的处理,字段提取(包括站点、来源、日期、标题、内容、图片、附件等)。

2.库表同步

在授权的情况下,可直接与数据库对接,将数据同步到平台中,相对与爬虫采集服务优势在更稳定、更快、更精准。

3.文件导入

支持将独立文件中承载的数据直接导入平台,支持多种格式,比如Excel文件、Access文件、CSV文件等。

二、易用可用好用

1.可视化配置:采集及分布式服务运行参数可视化配置。 

2.定时任务:用户可以根据自身需求合理设置个性化定时计划任务, 

3.状态实时监控:分布式服务与系统间建立长连接通道,平台可以实时感知分布式服务的状态以及采集任务的进度。

4.获得服务成本低:无须考虑系统部署、安全防护等方面的费用投入。以年服务费的形式就可以以非常优惠的费用获得采集服务。