LSM 架构浅谈及大数据领域的应用

Question

如题所述

Answer 1

LSM架构是为写密集型应用设计的数据结构，特别适用于键值存储和数据系统。其核心思想是先在内存中记录所有写操作，包括插入、更新和删除，然后周期性批量写入磁盘，减少磁盘I/O操作，提高写入性能。LSM-Tree架构的主要组件包括内存表、不变的磁盘表、合并、压缩、Bloom Filter和日志。它的优点是高性能写入、批量数据写入、延迟合并和压缩，适用于写密集型应用。缺点包括读取操作较慢、空间放大以及写放大，但其高效的数据写入性能在许多应用中得到广泛应用。

HBase应用LSM-tree架构，通过WAL（写前日志）原则实现数据文件生成，其LSM-tree结构有利于数据快速写入，理论上接近磁盘顺序写速度。然而，读取过程可能不太友好，因为可能需要同时从内存表和多个磁盘表查询数据。为解决读取问题，LSM-tree采取了相关措施，例如在内存中缓存数据。

Apache Druid使用LSM-tree架构，适用于数据插入操作远多于数据更新和删除操作以及读操作的场景，尤其是时序数据场景。Druid的实时节点负责实时消费实时数据，采用日志和实时原则，数据首先加载到内存缓冲区（相当于memtable），满足条件时，缓冲区数据写入磁盘形成数据块，同时加载到非堆区内存。实时节点周期性合并磁盘上同一时间段的数据块为大块（segment），立即上传到数据文件存储库，历史节点下载并负责查询，查询节点同时从实时和历史节点查询，整合结果返回用户。Druid架构通过查询职责分离模式，与HBase等LSM-tree架构有所不同。