云原生大数据解决方案
方案背景
近年来,随着企业数字化转型的不断发展,企业的业务系统规模与数量也越来越大,如何从海量的业务数据中挖掘出有价值的信息,形成有效的、具有行业特征的企业数据资产,以可视化的方式呈现给业务执行和决策层,驱动业务创新,并辅助企业决策,是大数据时代企业数字化转型的关键。
知行志成拥有成熟的大数据平台迁移和构建经验,能够为企业提供一站式的云原生大数据解决方案、环境部署和数据开发服务。借助亚马逊云科技强大多样的云原生服务,帮助企业在数周内快速构建大数据平台,助力企业挖掘数据价值,驱动业务创新。
业务挑战
1.业务系统多且独立
企业在日常运行过程中会使用大量的业务系统,然而这些业务系统各自独立,导致业务数据收集困难,无法统一数据源参与分析,挖掘数据价值。
2.业务数据量庞大
企业业务系统源源不断地产生新的历史业务数据,数据量能达到TB甚至PB级,传统的数据存储方式成本高且不易扩展。
3.业务数据类型多样
除了传统关系型数据库中的数据,可能还有非关系型数据,例如CSV、EXCEL、图片、视频等。
4.主数据不一致
各个业务系统的主数据存在差异,无法统一管理。
5.业务指标计算困难
传统的数据库计算能力有限,在查询业务数据量巨大的表或是多表关联时,计算性能堪忧,无法有效支撑企业输出统计报表。
6.建设成本高
搭建大数据平台需要大量计算资源,本地机房前期硬件投入费用高昂。
7.没有相关技术人员
很多企业没有大数据相关技术人员,无法设计出成熟的大数据架构,并快速构建大数据平台,平台后续维护也较为困难。
方案规划
知行志成云原生大数据解决方案包含四个部分: 数据集成、数据存储、数据处理及数据利用。方案基于亚马逊云科技的云计算平台,涵盖了大数据的全生命周期,且具有低成本、高可用、运维简单的特点。
数据集成是将不同来源的数据整合在一起,以获得统一且更有价值的视图的过程,有助于企业做出更快、更好的决策。数据集成可以整合各种数据 (结构化、非结构化、批量和流式模式),以快速完成从库存数据库的基本查询到复杂预测分析的所有工作。借助亚马逊云科技的托管服务和开源产品,可快速地实现这一过程。
数据存储是存储数据集成收集来的各种数据,如元数据、系统日志、数据库数据等。方案使用亚马逊云科技S3服务作为数据湖存储,亚马逊云科技S3服务具有99.99%的可用性,无限存储,无需考虑存储扩容。配合亚马逊云科技Glue作为统一元数据管理平台,能够实现存算分离,让数据更安全,存储成本更低。
数据处理是对存储在数据湖中的数据进行计算分析,挖掘数据价值,为后续的数据利用提供便利。方案使用亚马逊云科技的EMR托管服务,计算资源可以迅速弹性伸缩,动态地增加或减小,以面对流量洪峰或短期的业务变化,能够有效地降低成本。
知行志成可提供专业的大数据开发人员,配合企业梳理业务指标,快速进行指标开发。
数据利用是对数据处理后的数据进行分析利用,可使用kibana、Amazon QuickSight、Tableau、Smartbi、Superset作为BI看板,以可视化的方式呈现有价值的数据,辅助企业决策。
方案架构
应用价值
知行志成凭借成熟的大数据平台迁移和构建经验,能够帮助企业快速构建基于亚马逊云科技的云原生大数据平台,助力企业挖掘数据价值,驱动业务创新,辅助决策。同时方案具备快速开发与交付、低成本、灵活易扩展等优势。
应用场景
云原生大数据平台构建
知行志成可为企业快速构建基于亚马逊云科技的云原生大数据平台,帮助企业分析业务数据,挖掘数据价值,辅助决策,驱动业务创新。
大数据平台迁移&改造
因为业务发展需要,企业需要对现有大数据平台进行跨云迁移、迁移上云、升级改造等,知行志成可为企业设计、实施符合企业现状的迁移&改造方案,最大程度地保障企业在大数据平台的迁移&改造过程中的稳定性。
应用客户