<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>列式存储 on codedump notes</title>
    <link>https://www.codedump.info/zh/tags/%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8/</link>
    <description>Recent content in 列式存储 on codedump notes</description>
    <generator>Hugo</generator>
    <language>zh</language>
    <lastBuildDate>Wed, 18 Nov 2026 10:17:06 +0800</lastBuildDate>
    <atom:link href="https://www.codedump.info/zh/tags/%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>理解Lance（一）文件组织结构</title>
      <link>https://www.codedump.info/zh/post/20261118-lance-1/</link>
      <pubDate>Wed, 18 Nov 2026 10:17:06 +0800</pubDate>
      <guid>https://www.codedump.info/zh/post/20261118-lance-1/</guid>
      <description>&lt;h1 class=&#34;heading&#34; id=&#34;对象存储特点&#34;&gt;&#xA;  对象存储特点&#xA;  &lt;a class=&#34;anchor&#34; href=&#34;#%e5%af%b9%e8%b1%a1%e5%ad%98%e5%82%a8%e7%89%b9%e7%82%b9&#34;&gt;#&lt;/a&gt;&#xA;&lt;/h1&gt;&#xA;&lt;p&gt;Lance是一个列式存储格式，主要面向S3对象存储，对比本地磁盘存储，对象存储有以下特点：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;  &lt;thead&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;th&gt;约束&lt;/th&gt;&#xA;          &lt;th&gt;后果&lt;/th&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/thead&gt;&#xA;  &lt;tbody&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;没有真正的目录&lt;/td&gt;&#xA;          &lt;td&gt;目录只是 key 前缀，&lt;code&gt;tree/&lt;/code&gt;、&lt;code&gt;_indices/{uuid}/&lt;/code&gt; 都是命名约定&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;跨对象没有事务&lt;/td&gt;&#xA;          &lt;td&gt;不能“同时写多个文件并原子生效”&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;只有单对象操作是原子的&lt;/td&gt;&#xA;          &lt;td&gt;&lt;code&gt;PUT&lt;/code&gt; / &lt;code&gt;PUT-if-not-exists&lt;/code&gt; / &lt;code&gt;DELETE&lt;/code&gt;&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;rename 不总是原子&lt;/td&gt;&#xA;          &lt;td&gt;S3 是 copy+delete，不能用 rename 做提交&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;list 可能很贵&lt;/td&gt;&#xA;          &lt;td&gt;每次列目录都是请求；S3 Express 甚至是 O(n)&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;请求有速率限制&lt;/td&gt;&#xA;          &lt;td&gt;文件名要打散前缀&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;一致性模型有差异&lt;/td&gt;&#xA;          &lt;td&gt;不能假设“写完立刻在 list 里看到”&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;所以任何“&lt;strong&gt;多文件一起改&lt;/strong&gt;”的设计都不可行。&lt;/p&gt;&#xA;&lt;p&gt;对象存储的这些特点导致了文件组织的设计与面向本地磁盘的设计有很大的差异。在面向本地存储的文件设计中，可以就地修改一个文件，如B-Tree这样的磁盘结构，可以以页面为单位来修改一个数据文件，这个修改操作可以指定修改文件中指定一个范围的内容；但是在对象存储中，由于修改后需要把文件完整上传到对象存储，所以即使修改了一个字节，效果也和整体修改一个文件再上传是一样的。&lt;/p&gt;&#xA;&lt;p&gt;根据这些特点，面向对象存储的文件组织通常有以下特点：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;系统中存在一个元文件，记录当前版本由哪些文件组成。&lt;/li&gt;&#xA;&lt;li&gt;已提交的文件，永不修改。&lt;/li&gt;&#xA;&lt;li&gt;如果数据有变更，将通过写新的文件，以及修改元数据文件来指向新文件，以达到变更效果。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;根据以上的分析，我们已经了解了对象存储的特点和相应的文件组织应该如何设计，接下来来看Lance的文件组织。&lt;/p&gt;&#xA;&lt;h1 class=&#34;heading&#34; id=&#34;lance的文件组织&#34;&gt;&#xA;  Lance的文件组织&#xA;  &lt;a class=&#34;anchor&#34; href=&#34;#lance%e7%9a%84%e6%96%87%e4%bb%b6%e7%bb%84%e7%bb%87&#34;&gt;#&lt;/a&gt;&#xA;&lt;/h1&gt;&#xA;&lt;p&gt;Lance虽然和Parquet一样，都是列存格式，但是Parquet只有列存数据文件，Lance有更加完整的一个文件组织，包括：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;数据集的元文件（manifest）&lt;/li&gt;&#xA;&lt;li&gt;数据文件（和parquet数据文件等价）&lt;/li&gt;&#xA;&lt;li&gt;索引文件&lt;/li&gt;&#xA;&lt;li&gt;事务文件&lt;/li&gt;&#xA;&lt;li&gt;支持tag和branch的元文件&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;有了这几大类文件，Lance自己就可以实现：MVCC、索引等功能，而如果只采用Parquet，应用层需要自己设计这些文件组织才能实现这些功能，例如 &lt;a href=&#34;https://github.com/databendlabs/databend&#34;&gt;databend&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;p&gt;以下是Lance的文件组织树状图：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;{dataset_root}/&#xA;├─ data/&#xA;│  ├─ {data_file_key}.lance              ← 数据文件（列数据 + 页编码）&#xA;│  └─ {data_file_key}/                   ← Blob v2 sidecar（可选）&#xA;│     ├─ 00000000000000000000000000000001.blob&#xA;│     └─ ...&#xA;├─ _versions/&#xA;│  ├─ {bit-reversed version}.manifest    ← 或 {version}.manifest（V1）&#xA;│  └─ latest_version_hint.json           ← 可选&#xA;├─ _transactions/&#xA;│  └─ {read_version}-{uuid}.txn&#xA;├─ _deletions/&#xA;│  ├─ {fragment_id}-{read_version}-{id}.arrow&#xA;│  └─ {fragment_id}-{read_version}-{id}.bin&#xA;├─ _indices/&#xA;│  └─ {index_uuid}/&#xA;│     └─ ...                             ← 索引实现自定义&#xA;├─ _refs/&#xA;│  ├─ tags/{tag}.json&#xA;│  └─ branches/{branch}.json&#xA;└─ tree/{branch_name}/                   ← 分支 dataset，结构同上&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;在这个文件组织中，有以下几类文件：&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
