当前位置 : 主页 > 编程语言 > 其它开发 >

LevelDB 学习笔记3:合并策略

来源:互联网 收集:自由互联 发布时间:2022-05-30
LevelDB 学习笔记3:合并策略 LSM 树常见的合并策略有两种: Leveled Compaction 和 Size-tiered Leveled Compaction LevelDB 和 Rocksdb 选择的合并策略叫 Leveled Compaction 每个 level 是有序的 sstable 内有序,
LevelDB 学习笔记3:合并策略

LSM 树常见的合并策略有两种: Leveled Compaction 和 Size-tiered

Leveled Compaction

LevelDB 和 Rocksdb 选择的合并策略叫 Leveled Compaction

  • 每个 level 是有序的
    • sstable 内有序,多个 sstable 的 key 不重叠
  • 每层有大小阈值
    • 触发阈值后,选择至少一个文件和下一层的 sstable 合并
      • 可能触发递归的合并
      • 不同层级的合并可以多线程并发执行
LevelDB 中的 Compaction

LevelDB 的合并策略详见这篇博客

Size-tiered

HBase 选择的合并策略叫 size-tiered(Cassandra 两种合并策略都支持)

  • 只能保证单个 sstable 的有序性
  • sstable 被组织为 tier
    • memtable 会周期性地产生小型的 sstable
    • 某个 tier 内的 sstable 数量达到阈值后
      • 这个 tier 内的所有 sstable 合并为一个 sstable 刷到下一层的 tier 里去

比较两种合并策略

  • Leveled Compaction
    • 搜索效率高
      • Level 内有序,可以二分搜索
    • 合并触发频繁
      • 写放大更显著
  • Size-tiered
    • 搜索和存储效率低
      • 读放大和空间放大更显著
    • 但触发合并的频率较小

上一篇:获取元素大小、偏移量及鼠标位置
下一篇:没有了
网友评论