系统工程(二十一)数据湖

发布时间 2023-06-06 09:30:16作者: 无名量

数据湖是存储企业各式各样的原型数据的大型仓库,可供存取、处理、分析、传输。

数据湖里的数据包括结构化和非结构化的数据,结构化数据是数据表格等,非结构化数据是视频、音频等

数据湖可以做数据分析处理,也可以做业务分析处理

数据仓库仅仅支持数据分析处理

数据湖不但支持数据分析处理,也支持业务分析处理

数据库与数据湖的区别:

数据库的数据是进行清理过的,有结构,而数据湖里的数据是没有进行清理过的,数据没有结构

数据库的数据价值明确,而数据湖里的数据价值不明确

数据库的接口是SQL接口,而数据湖的接口是应用系统、SQL接口

数据库的优势是数据结构化,转换一次多次应用

数据湖的优势是无限扩展、并行执行、数据经济,支持编程框架

 

目前有数据库和数据湖一起用的架构。