架构

康凯森大约 2 分钟

数据库的范畴

The 2023 MAD (ML/AI/Data) Landscapeopen in new window

数据库未来发展方向

  • Cloud Native
  • LakeHouse
  • Serverless
  • 流批一体
  • OLTP + OLAP + 预测
  • Adaptive & Self-driving
  • 支持 GPU, FPGA 等异构计算
  • Database For AI
  • AI For Database
  • 多模数据库
  • 结构化 + 半结构化 + 非结构化
  • No ETL
  • Open Analysis: Open Source + Open Format + Open Interface + Open Cloud
  • RDMA，NVME，持久内存 等新硬件导致架构的变革

数据库会成为一个平台

开源领域，模块的复用能力会越来越强

数据库在 用户接口（SQL 语言）层，分布式层，查询执行层，存储层 每一层都会更加统一，更加组件化。

底层硬件导致架构的变更

hardware
hardware
Shared Nothing, Shared Disk, Shared Memory
Shared Nothing, Shared Disk, Shared Memory

需求导致架构的持续迭代

  • OLTP，到 OLAP， 再到 OPAP
  • 从结构化数据，到半结构化数据，再到非结构化数据
  • 从 Data WareHouse 到 Data Lake, 再到 LakeHouse
lakehouse
lakehouse

架构设计之关键因素之间的权衡

meta-data-processing-design
meta-data-processing-design
  • 明确需求和目标
  • 找准权衡的因素
  • 明确必须的，可选的
  • 明确系统的独特优势，价值
  • 利用好 新资源，新变量，打破固有的桎梏 （创新和突破的关键）

HTAP 数据库关键技术

架构层面的常见优化

Partitioning & Sharding

读写分离

特定场景启动专门的 Service

1 Bitmap 用户行为分析 Service

2 Snowflake Search Optimization Service

Snowflake Search Optimization Serviceopen in new window

资料