云原生大数据解决方案
方案背景
近年来，随着企业数字化转型的不断发展，企业的业务系统规模与数量也越来越大，如何从海量的业务数据中挖掘出有价值的信息，形成有效的、具有行业特征的企业数据资产，以可视化的方式呈现给业务执行和决策层，驱动业务创新，并辅助企业决策，是大数据时代企业数字化转型的关键。
知行志成拥有成熟的大数据平台迁移和构建经验，能够为企业提供一站式的云原生大数据解决方案、环境部署和数据开发服务。借助亚马逊云科技强大多样的云原生服务，帮助企业在数周内快速构建大数据平台，助力企业挖掘数据价值，驱动业务创新。
业务挑战
1.业务系统多且独立
企业在日常运行过程中会使用大量的业务系统，然而这些业务系统各自独立，导致业务数据收集困难，无法统一数据源参与分析，挖掘数据价值。
2.业务数据量庞大
企业业务系统源源不断地产生新的历史业务数据，数据量能达到TB甚至PB级，传统的数据存储方式成本高且不易扩展。
3.业务数据类型多样
除了传统关系型数据库中的数据，可能还有非关系型数据，例如CSV、EXCEL、图片、视频等。
4.主数据不一致
各个业务系统的主数据存在差异，无法统一管理。
5.业务指标计算困难
传统的数据库计算能力有限，在查询业务数据量巨大的表或是多表关联时，计算性能堪忧，无法有效支撑企业输出统计报表。
6.建设成本高
搭建大数据平台需要大量计算资源，本地机房前期硬件投入费用高昂。
7.没有相关技术人员
很多企业没有大数据相关技术人员，无法设计出成熟的大数据架构，并快速构建大数据平台，平台后续维护也较为困难。
方案规划
知行志成云原生大数据解决方案包含四个部分: 数据集成、数据存储、数据处理及数据利用。方案基于亚马逊云科技的云计算平台，涵盖了大数据的全生命周期，且具有低成本、高可用、运维简单的特点。
数据集成是将不同来源的数据整合在一起，以获得统一且更有价值的视图的过程，有助于企业做出更快、更好的决策。数据集成可以整合各种数据 (结构化、非结构化、批量和流式模式)，以快速完成从库存数据库的基本查询到复杂预测分析的所有工作。借助亚马逊云科技的托管服务和开源产品，可快速地实现这一过程。
数据存储是存储数据集成收集来的各种数据，如元数据、系统日志、数据库数据等。方案使用亚马逊云科技S3服务作为数据湖存储，亚马逊云科技S3服务具有99.99%的可用性，无限存储，无需考虑存储扩容。配合亚马逊云科技Glue作为统一元数据管理平台，能够实现存算分离，让数据更安全，存储成本更低。
数据处理是对存储在数据湖中的数据进行计算分析，挖掘数据价值，为后续的数据利用提供便利。方案使用亚马逊云科技的EMR托管服务，计算资源可以迅速弹性伸缩，动态地增加或减小，以面对流量洪峰或短期的业务变化，能够有效地降低成本。
知行志成可提供专业的大数据开发人员，配合企业梳理业务指标，快速进行指标开发。
数据利用是对数据处理后的数据进行分析利用，可使用kibana、Amazon QuickSight、Tableau、Smartbi、Superset作为BI看板，以可视化的方式呈现有价值的数据，辅助企业决策。
方案架构
应用价值
知行志成凭借成熟的大数据平台迁移和构建经验，能够帮助企业快速构建基于亚马逊云科技的云原生大数据平台，助力企业挖掘数据价值，驱动业务创新，辅助决策。同时方案具备快速开发与交付、低成本、灵活易扩展等优势。
应用场景
云原生大数据平台构建
知行志成可为企业快速构建基于亚马逊云科技的云原生大数据平台，帮助企业分析业务数据，挖掘数据价值，辅助决策，驱动业务创新。
大数据平台迁移&改造
因为业务发展需要，企业需要对现有大数据平台进行跨云迁移、迁移上云、升级改造等，知行志成可为企业设计、实施符合企业现状的迁移&改造方案，最大程度地保障企业在大数据平台的迁移&改造过程中的稳定性。
应用客户
