当前位置: 首页 > ds >正文

大数据-湖仓一体

数据仓库

这是一个传统的概念了,趋向于结构化数据,简单来说就是进过数据治理后的标准数据更易于数据分析使用,代价就是存储比较昂贵了

数据湖

近些年来新出的一种概念,就是存储了结构化,非结构化,半结构等数据,也就是不管什么数据先存起来在说,这些数据更易于大模型分析,存储比较简单

湖仓一体

结合了上面的两种模式

盗来的图:
在这里插入图片描述

主要讲讲在实际应用中,湖仓一体的有点:

  • 数据统一存储:湖仓一体里,数据只存储一份,这样流程简单,输出数据格式统一,易于管理等
  • 存算分离:既存又算,在一些架构中需要两套系统来维持其稳定性的话,需要将存算进行分离,但是湖仓一体只需要一套系统就能进行存算分离
  • 查询:目前其能满足mysql结构,也有es高效查询,用时又兼容hbase列存储的键值查询

----- -----------------参考文档

http://www.xdnf.cn/news/19640.html

相关文章:

  • Pomian语言处理器研发笔记(三):使用组合子构建抽象语法树
  • SpringBoot的基础介绍,用法和配置
  • 解锁Git仓库瘦身秘籍,git-sizer真香警告
  • GitHub 宕机自救指南:应急解决方案与替代平台
  • 复刻elementUI的步骤条Steps
  • 机器翻译:python库translatepy的详细使用(集成了多种翻译服务)
  • Redis 核心概念解析:从渐进式遍历、数据库管理到客户端通信协议
  • 自由学习记录(91)
  • C++“类吸血鬼幸存者”游戏制作的要点学习
  • 计算机毕设推荐:基于python的农产品价格数据分析与预测的可视化系统的设计与实现 基于Python农产品管理系统【源码+文档+调试】
  • 前后端联合实现多个文件上传
  • Java全栈开发面试实录:从基础到微服务架构的深度解析
  • Python 基础综合与实践教案:密码验证、循环、分支条件、图形绘制
  • ReconDreamer++
  • Polkadot - ELVES
  • 你的数据是如何被保护的?
  • 解决浏览器的**混合内容安全策略**(Mixed Content Security Policy)带来的无法访问页面
  • 联合体Union
  • Backroom:信息代币化 AI 时代数据冗杂的解决方案
  • 【系统分析师】高分论文:论原型法及其在系统开发中的应用
  • 【Proteus仿真】按键控制系列仿真——LED灯表示按键状态/按键控制LED灯/4*4矩阵键盘控制LED
  • 部署在windows的docker中的dify知识库存储位置
  • NMOS概述
  • python---类.函数名(self) 和 self.函数名()的调用方式
  • 数据结构 二叉树
  • RocketMQ5.0+保姆级单点Docker部署教程
  • 暴力破解基础知识(一)
  • 深入解析 Oracle 并发与锁机制:高并发环境下的数据一致性之道
  • 【数论】P10558 [ICPC 2024 Xi‘an I] XOR Game|普及+
  • 深度学习导论:从理论起源到前沿应用与挑战