视窗
loading...
您的位置: 网站首页 > 产品与服务 > 产品展示

互联网数据采集系统

来源:中电科大数据院     作者:信息发布     发布时间:2023年05月06日     浏览次数:         

  产品简介:适用于各级政府机关和企事业单位中存在PC端网页、微信公众号、小程序和手机浏览器等内容采集的需求,提供数据爬虫的自动化配置,解决数据采集困难的问题。

  互联网数据采集平台基于分布式架构实现,支持多实例分布式部署,包含了数据采集,数据处理(过滤、去重)、数据分发整套流程,采用多进程的方式对任务进行处理。

  产品定位:实现互联网数据多渠道数据采集、实现互联网数据无侵入式采集、实现数据采集阶段的过滤、去重和清洗。

       核心功能:互联网采集模板配置、互联网采集任务配置、互联网采集任务监控

  典型场景:以多彩云媒体业务场景为例:基于分布式数据采集架构采集和汇聚各级融媒体中心数据,构建政务领域互联网数据湖和数据仓库,为媒体数据融合分析以及各类宣传文化云业务应用提供数据支撑。

  落地案例:多彩贵州宣传文化云

打印  |  关闭
33359