数据安全

如何搭建大数据平台
2023-01-06

数据采集系统包括任何能产生并收集数据的平台与工具,如 App 端应用、Web 应用、原始数据库、原始日志管理系统等。

数据处理系统就是指 Hadoop 生态圈中的那些软件框架了。现阶段 Hadoop 生态圈中的框架能够满足任何业务处理场景要求。工程师们根据实际需求选择并搭建相关大数据处理系统即可。

数据展示系统则是直接面向公司高管的。上一步中处理出来的结果仍然是保存在 HDFS 上的,而工程师们当然不可能直接让公司领导们去访问 HDFS 系统来查询结果。所以我们通常会引入很精美的报表系统,将结果数据导出到外部数据库中,再通过这些专业的报表展示系统展示出来,以供领导层查看。除了公司内部查看用的报表系统外,还有一种 “监控大屏” 在现今也很流行,比如每年双十一阿里巴巴直播时使用的实时监控大屏就是一个数据结果展示应用场景。


1672993509372456.jpg