看完了这篇实时数仓建设，才知道以前的都白看了，内有美团案例
发布时间：2021-06-05 09:42:02 所属栏目：大数据 来源：互联网
导读：1、数据仓库的发展趋势 1.1 数据仓库的趋势 关于数据仓库的概念就不多介绍了。 数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技
|
1、数据仓库的发展趋势
1.1 数据仓库的趋势
关于数据仓库的概念就不多介绍了。
数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。
数据仓库的趋势：
实时数据仓库以满足实时化&自动化决策需求
大数据&数据湖以支持大量&复杂数据类型
看完了这篇实时数仓建设，才发现以前的都白看了（内有美团案例）
1.2 数据仓库的发展
数据仓库有两个环节：数据仓库的构建与数据仓库的应用。
早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策(中长期策略型决策)。
随着业务和环境的发展，这两方面都在发生着剧烈变化。
随着IT技术走向互联网、移动化，数据源变得越来越丰富，在原来业务数据库的基础上出现了非结构化数据，比如网站 log，IoT 设备数据，APP 埋点数据等，这些数据量比以往结构化的数据大了几个量级，对 ETL 过程、存储都提出了更高的要求。
互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等(即既有中远期策略型，也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器自动决策，比如欺诈检测和用户审核。
看完了这篇实时数仓建设，才发现以前的都白看了（内有美团案例）
总结来看，对数据仓库的需求可以抽象成两方面：实时产生结果、处理和保存大量异构数据。
2、数据仓库架构的演变
从1990年 Inmon 提出数据仓库概念到今天，数据架构经历了最初的传统数仓架构——离线数仓库——离线大数据架构、Lambda 架构、Kappa 架构以及 Flink 的火热带出的流批一体架构，数据架构技术不断演进，本质是在往流批一体的方向发展，让用户能以最自然、最小的成本完成实时计算。
 （编辑：揭阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
