随着互联网的不断发展,越来越多的企业都开始搭建自己的数据处理平台,而今天我们就一起来了解一下数据处理平台的作用都有哪些。
数据接入
无需输入集群IP等信息,可通过下拉框选择接入的实时数据源,目前支持4大类型数据:用户数据、服务日志、监控数据、其他Kafka数据源。
数据处理
为了扩展和优化Druid的功能,RAP支持基于流计算的数据处理功能,在对数据进行处理后写入Druid。在2.x版本中,我们同时支持使用Flink流计算引擎。
用户在页面上配置数据处理规则,RAP将这些规则翻译成爱奇艺自研的StreamingSQL语句,终生成SparkStreaming流任务进行处理,用户无需编写流任务。
除了SparkSQL自带的预定义函数外,RAP还内置了一些用户常用的函数,比如将IP到省份、城市、运营商等常用转换函数。
聚合分析
用户通过界面化的操作定义实时分析OLAP模型,配置聚合分析所需的维度和聚合方式,如计数、独立计数、求和等,根据模型配置对实时数据进行预聚合。
在这个过程中,无需关心底层数据存储及OLAP引擎,RAP会自动翻译并优化相关参数。例如,接入Druid时需要根据经验配置参数,RAP可以根据用户的配置以及数据源的信息自动调节配置信息。
报表配置
用户可以基于实时分析模型的维度和指标配置报表(图表展示方式、以及查询条件等),RAP根据报表配置自动生成Druid查询,获取结果后提供给报表平台,并可以自动推荐合适的查询粒度,支持设置动态的过滤条件,用户无需关心查询语句如何配置。
实时报警
RAP支持对数据配置报警,可以配置阈值、同比/环比等报警。由于Kafka数据存在晚到的可能,实时报警支持配置延时时间获取一段时间前的数据进行判断,减少误报可能。
通过以上几步简单配置,就可以完成实时分析的整体流程。相比于传统方式,RAP将整体耗时从天级别缩短到30分钟,大幅提升开发和分析效率。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!