把一亿个 Gaussian 塞进几兆

关键想法 三阶段流水线： (1) global significance 打分剪枝——按 opacity $\times$ hit count $\times$ volume 给每个 Gaussian 一个分数，砍掉低分； (2) SH 蒸馏——以全 SH 模型为 teacher，用 pseudo-view 训一个 degree 3→2 的 student； (3) VecTree 量化——Morton-order octree on positions、K=8192 codebook on lowest-significance SH、float16 on geometry。

体积归一化（除以 90 分位数）是关键创新：没有它，背景那种“覆盖很多 ray 但没编码任何细节”的大 blob 会主导分数。

关键想法 不是剪，而是重新分布。三段式：

• Blur split：屏幕投影超过阈值就强制 split——这些就是高频区里的“花猫”。
• Depth re-initialization：射线-椭球求交得到稠密深度，从深度点重新撒 Gaussian 填几何洞。
• Probabilistic simplification：按 blending weight 概率保留，比硬阈值更好地保住覆盖统计。

关键想法 先训一个 Zip-NeRF 作为 teacher 兼初始化，再训 Gaussians 拟合 teacher 的“干净渲染”，最后用“max-contribution” 剪枝。

Max（不是 sum！）是关键：“只从一侧能看到”的 Gaussian 不应被惩罚——那一侧也许就是它存在的全部理由。score $h(p_i) = \max_r \alpha_i^r \tau_i^r$，其中 $\tau$ 是从前面累积的透过率。

关键想法 双信号：保留当 $|\alpha|$ 和 $|\nabla\alpha|$ 都大于 $\gamma$ 分位数时才留。低 opacity = 不可见；低梯度 = loss 不再关心它。两者都低意味着完全无用。迭代剪 + 短期 fine-tune。

关键想法 直接计算每个 Gaussian 关于空间参数的 L2 loss 的 Hessian 的 log-determinant。高分意味着 loss 在那个 Gaussian 周围“很陡”——它确实重要。$U_i = \log \det\!\left(\nabla_{x,s} I_G \cdot \nabla_{x,s} I_G^\top\right)$。在收敛模型上这等价于 Fisher information 限制到空间参数。一次性剪 90%，再短期 fine-tune。

关键想法 训练时就带预算地控制密度。综合 score = 位置梯度$\times 50$ + opacity$\times 100$ + blending weight$\times 50$ + 距中心$\times 50$ + view saliency$\times 10$ + scale$\times 25$ + pixel coverage$\times 0.1$ + depth$\times 5$。每轮只让 top-score 的 Gaussian clone/split，直到用户给定的预算。Gaussian 数量从不爆炸。

关键想法 把“Gaussian 数量”当成稀疏优化问题——加一个 $\ell_0$-like 罚项约束“存在性”，ADMM 风格交替优化。$10\text{-}15\times$ 压缩、几乎无 quality loss。

关键想法 在 SH 系数和协方差上做 K-means 矢量量化（QAT，训练后期重跑 K-means）。两个 codebook：4096 codes for color (SH), 16384 codes for covariance (scale+rotation)。位置和 opacity 不 量化——太敏感。Index 按 Morton 顺序排序后 RLE。

相邻 Gaussian 落在同一 cluster 的概率高，于是 RLE 自然有长 run。

关键想法 完全抛弃 SH。view-dependent color 从 共享 Instant-NGP 风格 hash grid 查询：以 Gaussian 位置 + 视角方向送入小 MLP 得到 RGB。scale & rotation 用 Residual VQ 级联 codebook；opacity 用 8-bit scalar；hash-grid 参数用 8-bit + Huffman。

RVQ：256-code codebook 抓粗几何，第二个 256-code 抓残差……4 级 = 32 bit，但表达力等价于 $256^4 \approx 4$ G 条目的单 codebook。

关键想法 不是量化原始属性，而是量化一个学到的 latent，再用小 MLP 解码回属性。 SH color → 16-D latent；rotation → 8-D；opacity → 1-D。position、scale、SH-DC 不动（太敏感）。forward 时 round 到整数，用 straight-through estimator 让梯度通过。

类比：VQ 是字典查找，EAGLES 是 autoencoder——用小 MLP 换“低比特 latent 仍能覆盖整个属性流形”。

关键想法 标准 K-means 把每个维度等权重对待，但引起渲染明显变化的属性槽位应该更靠近 codebook entry。用 sensitivity = 渲染对参数的梯度，做敏感度加权 K-means，然后 QAT。

关键想法 从 MPEG 点云压缩（G-PCC）那边借工具——RAHT 小波变换、四元数→欧拉角（3 数字代替 4）、块标量量化 + 短期 fine-tune。

RAHT (Region Adaptive Hierarchical Transform) 是点云编码标准里的层级小波——把空间相关的属性集中到 DC + 低熵 AC，跟 JPEG 的 DCT 思路一致，只是适配在不规则点云上。

关键想法 训练 codebook 时不用 straight-through estimator，而是在前向注入和量化等价的噪声作为代理。梯度自然流过，推理时换回真正的量化。

这是一个小但重要的训练 trick：经典 VQ 训练有先有鸡蛋还是先有鸡的问题（梯度过不了 arg-min）；STE 有偏；matched-noise 无偏且实际表现强很多。

关键想法 每个 Gaussian 拥有自己的 SH degree（0/1/2/3）。哑光墙上的只需 degree 0（一个 RGB triple），高光上的保留 degree 3。然后对残余系数做 codebook 量化。

关键想法 给一个刚训练好的 3DGS 文件，几秒内压完，不用 fine-tune。属性自适应剪枝 + INT8/INT4 channel-wise 混合精度量化 + 在线适配。手机可部署。

已在 PART IV 详细介绍。要点：每个 Gaussian 自适应 degree 0/1/2/3 + codebook 量化剩余。$\sim\!27\times$ 总压缩，PSNR 仅降 0.21 dB。

已在 PART III 详细介绍。SH 蒸馏部分：以全 SH 模型为 teacher，pseudo-view jitter 训一个低 degree student。学生学着用低 band 系数“假装”高 band 的高光效果。

跟 Hinton 等人 2015 经典知识蒸馏一回事——只是换到 view-dependent appearance 上。

已在 PART IV 详细介绍。要点：完全抛弃 SH，view-dependent color 从共享 hash grid 查询 + 小 MLP 解码。每 Gaussian SH 成本：0 floats。共享成本：~30 MB hash grid + ~100 KB MLP，摊到几百万 Gaussian 上。

本质上 = NeRF appearance + 3DGS geometry。两个世界融合最干净的一例。

关键想法 偷换 primitive：把 $\exp(-x^2)$ 换成 $\exp(-|x|^\beta)$，$\beta$ 可学。锐边能用更少 primitive 表示 → 间接省 SH。

严格说这不是 SH 压缩，是“primitive design 改了之后 SH 总量随之减少”。常和 SH 方法一起讨论但更属于 compaction 维度。

关键想法 把 $(N_\text{Gaussian} \times N_\text{attr})$ 大矩阵当成低秩，CP 分解（rank $\sim\!16$）从几个轴向因子向量恢复每个 Gaussian 的属性。

TensoRF 一脉的延续——3D tensor 可分解成 1D 向量外积之和。3DGS 的 tensor 是 "Gaussian $\times$ attribute"，rank 远小于两个维度。

关键想法 用 ~10 个 Spherical Gaussian lobe 替换 48 个 SH 系数。一个 SG 是 $\exp(\lambda(\mathbf{d}\cdot\boldsymbol\mu - 1))$ —— 球面上以 $\boldsymbol\mu$ 为中心、$\lambda$ 为锐度的方向性 Gaussian。

SH 是全局基（每个 band 在整个球面上有支撑），SG 是局部基（只在中心方向附近“亮”）。对典型场景外观（少量高光 + 大部分漫反射），SG 是更紧凑的表示。

2000 年代图形学（Tsai & Shih 2006）就用 SG 做 precomputed radiance transfer，3DGS 时代被重新发掘。

关键想法 把 SH AC 系数的直方图画出来——几乎完美的 Laplace 分布。那就拟合 Laplace，按这个先验做 arithmetic coding。不需要 context model、不需要 MLP——就一个闭式分布。

其它属性（rotation、scale、opacity）用 Gaussian mixture。per-Gaussian 分布参数估计后驱动 arithmetic coder。

关键想法 不存每个 Gaussian。在 voxel 网格上撒稀疏 anchor，每个 anchor 携带一个 feature vector（如 32-D）和 $k$ 个可学 offset 向量（如 $k=10$）。渲染时，MLP 接 (anchor feature, view direction, view distance) → 预测 $k$ 个 neural Gaussian 在 anchor_pos + offset_i 处的 opacity、颜色（替代 SH 直接出 RGB）、scale、rotation。anchor 沿训练动态 grow/prune。

磁盘存：anchor 位置 + feature + 缩放因子 + $k$ 个 offset + MLP 权重（几百 KB）。推理生成：每个 Gaussian 的所有属性。

View-dependent trick: MLP 直接吃 view direction，不再需要 SH。这也是为什么 Scaffold-GS 经常 PSNR 还更高——MLP 能表达比 degree-3 SH 更平滑的视角依赖。

关键想法 把 Scaffold-GS anchor 放进 octree，按视距动态决定走多深。远处只解码粗 LOD。每层 anchor 沿 cumulative LOD 累加渲染；可学的 per-anchor LOD bias 补强高频区域。

关键想法 把 Gaussian 组织成森林（树）：叶存快变属性（position, opacity）显式；内部节点持共享 feature，MLP 解码出多个叶子的慢变属性（rotation, scale, color）。

教学陈述：变化剧烈的存进来，变化平缓的共享。

关键想法 用多分辨率 tri-plane（三个 2D feature grid）代替 per-Gaussian 属性；小 MLP 按位置查询解码。tri-plane 是 2D 平滑场，设计上就能被现成图像编码器良好压缩。位置点云另行重排做无损压缩。

关键想法 两类 primitive：少量 anchor primitive 持完整几何，大量 coupled primitive 只存从 anchor 预测出的小残差。Rate-distortion loss $\lambda R + D$ + hyperprior Gaussian entropy model 驱动量化。

视频编码的精确类比：anchor = I-frame，coupled = P-frame，只存 delta。

关键想法 围绕octree positional encoding + 学到的 per-splat feature 构建紧凑表示。坐标递归 voxel 层级；feature 经熵编码。Mip-NeRF 360 上 4.87 MB / 27.61 PSNR——2025 年末最紧凑之一。

关键想法 取 Scaffold-GS anchor，联合训一个多分辨率 binary hash grid。每个 anchor 按位置查 hash 得 feature；小 MLP_c 把 feature 转成每个属性的 Gaussian 分布 $(\mu, \sigma)$；anchor 在这个预测分布下做 arithmetic coding。

这是学到的图像压缩（Ballé 2017/2018）框架移植到 3DGS——hash grid 是 hyperprior，MLP 把 hyperprior 翻译成 per-anchor distribution。训练时显式最小化表示的熵（loss 里加 rate 项 $\lambda R + D$）。

"binary" 是指 hash grid 值量化到 $\{-1, +1\}$——hyperprior 自身基本免费。

关键想法 在 HAC 之上加 (1) intra-anchor context——同一 anchor 的 $k$ 个 sibling Gaussian 互相预测；(2) 每属性自适应量化步长；(3) 可学的 mask 训练时丢弃无用 Gaussian。

intra-anchor 部分填上了 HAC 的漏洞：一个 anchor 衍生的 $k=10$ 个 Gaussian 显然相关（共享同一 parent feature），但 HAC 没用上。HAC++ 在 hash-grid prior 上叠加 sibling 间的自回归。

关键想法 HAC 用 hash-grid feature 预测每个 anchor，ContextGS 用已解码的邻居预测——3D anchor 上的 PixelCNN。

把 anchor 分层 (coarse → medium → fine)。最粗一层先 hyperprior 编码；解码出来后作为 context 预测下一层的分布，arithmetic-code；如此递推。直接利用 anchor 间空间冗余——HAC 只通过 hash grid 间接利用。

关键想法 把 3DGS 属性铺到 2D feature plane，跑一遍 HEVC——就是给你流 Netflix 的那个视频编码器。25 年工程红利免费拿，硬件解码器现成。

HEVC 有 intra prediction、变换编码、CABAC、码率控制——为什么要重造？把 feature plane 训练成 HEVC-friendly（频率域 entropy model 对齐 HEVC 实际行为）就行。

关键想法 上面每篇都得给每个新场景重训 neural codec（每场景几分钟）。FCGS 不用：一个预训练网络一次前向压完任何场景——每 100K Gaussian 大约 1 秒。

Entropy 模块用 3 分量 Gaussian Mixture，条件于：(1) hyperprior $h$（全场景粗 latent），(2) inter-Gaussian context $s$（已解码 Gaussian 的 grid interpolation），(3) intra-Gaussian context $c$（同一 Gaussian 内通道分块）。多路径分支把不同属性路由到不同 rate 约束。

关键想法 一条 bitstream，多档解码质量。客户端可以早停，得到一个 OK 的预览；继续读则细节越来越好。Progressive JPEG 的 3DGS 版。

Progressive masking（逐步加 anchor）+ Progressive quantization（步长逐步减小）。一次训练，多档码率。

关键想法 沿 Morton (Z-order) 曲线排序 Gaussian——比特流里相邻的就是 3D 里相邻的。然后用 neural field + 自适应 SH 带宽利用产生的相干性。

关键想法 把 $N$ 个 Gaussian 排进 $\sqrt N \times \sqrt N$ 2D 网格，让网格邻居有相似属性。每个属性（position-x, scale-y, SH-coeff-k...）就变成一张平滑 2D 图像。然后用 PNG/JPEG-XL/WebP/AVIF 存——让图像编码器做熵编码。

排序算法叫 PLAS (Parallel Linear Assignment Sorting)——一个自定义 GPU 算法，几秒解决“把 $N$ 个高维向量分配到 2D 网格，使邻居相似”的指派问题。

整个领域最具教学意义的想法：“把无结构问题变成结构化的，然后已有工具就能解。”

关键想法 SOG 的工业版。每个属性是 WebP texture，封装在一个 archive 里。浏览器原生解码，按 Morton 顺序直接上 GPU。

SOG v2 (2025 末) 加：Morton ordering 让 GPU 加载友好、WebGPU-only 编码 pipeline（写时不需要 CUDA）、单文件自包含 archive。

关键想法 每个属性 16-bit 定点量化 → gzip 整个 blob。完毕。

SOG 的故意-简单替代品：

• 16-bit fixed-point positions
• quantized quaternion / scale / opacity
• 保留完整 degree-3 SH（其他压缩格式经常不留）
• 整个 blob gzip

SPZ 4 (2026 May) 加：vendor extensions、$\sim\!3\text{-}5\times$ 编码加速、$\sim\!1.5\text{-}2\times$ 解码加速。

关键想法 一个“瘦身的 PLY”二进制：8-bit SH，struct layout 直接对齐 Three.js 内部 Gaussian 结构。加载即上 GPU，零转换。

多档压缩级别，最激进的会 8-bit 量化 SH。强调解码速度而非绝对体积。

关键想法 第一个跨厂商 3DGS in glTF 标准。SPZ 是官方载荷；设计与算法无关，未来 codec 可插拔。

两个 extension：

1. KHR_gaussian_splatting 定义无压缩结构：position、rotation、scale、opacity、SH 分成 diffuse (degree 0) + specular (degree 1-3)。
2. KHR_gaussian_splatting_compression_spz 把 SPZ-压缩 blob 包装成 glTF buffer。

Niantic、Cesium/Bentley、Esri、OGC、Khronos 联合背书。类似于 JPEG 被写进 web 标准的时刻。

关键想法 制定 MPEG-2、HEVC 的同一标准体把 3DGS 当一类 first-class 媒体。目标：可互操作的 ISO 编码器，HEVC/VVC 作为起点。预计 2027-2028 产出参考标准。

关键想法 激进 training-free pruning (UGC) + mask-guided 单步扩散 (GaussPainter) 修复渲染。实时推理。$100\times$ 压缩，354 MB → 3.31 MB。

关键想法 把压缩推到 $1000\times$——大胆扔掉大部分细节，再用 artifact-aware 单步扩散解码器复活。这条线上“解码 = 生成”已经名副其实。