论文地址:https://arxiv.org/abs/2501.01677
这个文章介绍的PG-SAG技术,是基于3DGS实现的卫星遥感图像的三维重建。
他们对3DGS进行了大量优化,所有技术都围绕 “让 3DGS 适配大规模城市建筑的细粒度重建” 展开,在效果和效率上都实现了很大的提升,下面是他们的优化点
一、场景分组与并行化技术(解决 “大规模” 问题)
语义优化
先通过 LSA(Language Segment-Anything)(语言版 SAM)以 “building” 为提示词分割建筑掩码,再用多视图投票滤波优化掩码(剔除错误 / 冗余像素),最后结合 DBSCAN 聚类 + 相机可见性分析,将大规模建筑区域划分为独立子组。
对 3DGS 的优化作用:
限定 3DGS 的优化范围仅为建筑区域(避免背景非建筑区域的高斯干扰);
每个子组可分配到不同 GPU 并行优化高斯核,解决 “同步优化所有高斯核算力不足” 的问题;
非建筑区域采用地理划分策略,与建筑子组协同优化,保证整体场景的完整性。
梯度约束的负载均衡损失
传统 3DGS 并行渲染时,不同像素对应的高斯数量差异大→GPU 线程负载失衡→等待时间长;PG-SAG 引入图像梯度权重(复杂场景 / 高梯度区域允许更多高斯方差),约束每个像素的高斯数量分布。
对 3DGS 的优化作用:
平衡 GPU 线程负载,减少训练时间(论文中约减少 12%);
兼顾场景复杂度,避免为了负载均衡牺牲建筑细粒度特征的重建精度。
二、损失函数改进技术(解决 “细粒度” 问题)
核心目标:修正传统 3DGS 在建筑边缘的失真,提升 3DGS 模型的几何精度。
边界感知法向损失
原理:传统 3DGS 的法向损失对所有像素权重一致,建筑边缘处局部平面假设失效→法向模糊→深度图误差;PG-SAG 基于优化后的建筑掩码提取边缘,对边缘像素赋予自适应小权重(0.1) ,非边缘像素权重为 1。
对 3DGS 的优化作用:
从源头修正建筑边缘的高斯法向向量,避免边缘高斯的法向模糊;
让 3DGS 渲染的深度图更精准,为后续提取高质量 Mesh 打下基础。
多损失融合的优化目标
原理:将多视图几何一致性损失、光度一致性损失、高斯扁平化损失、边界感知法向损失 融合为几何损失,再结合负载均衡损失构成整体损失函数,并设置合理权重(如几何损失权重远大于负载损失)。
对 3DGS 的优化作用:
同时约束高斯的几何精度(位置、法向)、外观精度(颜色)和分布效率,避免单一损失导致的偏科;
保证 3DGS 优化过程的稳定性,减少训练时的震荡。
三、高分辨率适配技术(解决 “精度损失” 问题)
核心目标:让 3DGS 能直接处理原始高分辨率图像,而非依赖下采样。
原理:传统 3DGS 为了降低算力消耗,会下采样输入图像→丢失建筑细粒度特征;PG-SAG 通过 “语义分组 + 并行优化”,将高分辨率图像的计算压力分散到多个 GPU,无需下采样。
对 3DGS 的优化作用:
保留原始图像的像素细节(如屋顶纹理、建筑尖角),让 3DGS 能建模更细粒度的建筑特征;
避免下采样导致的重建精度下降,这是 PG-SAG Mesh 结果优于其他方法的核心原因之一。
总结
PG-SAG 对 3DGS 的优化核心可归纳为 3 个关键点:
分组并行:通过语义分组实现大规模场景的 3DGS 并行优化,解决算力瓶颈;
损失修正:通过边界感知法向损失 + 负载均衡损失,提升 3DGS 的几何精度和计算效率;
高分辨率适配:无需下采样,让 3DGS 能利用原始图像细节建模细粒度建筑特征。
这些技术均直接作用于 3DGS 的优化阶段(而非 Mesh 提取阶段),最终让 3DGS 模型本身的精度和效率大幅提升,这也是后续 Mesh 结果更优的根本原因。