InstantNeuralGraphicsPrimitiveswithaMultiresolutionHashEncoding如何评价NVIDIA最新技术5秒训练NERF Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 痛点完全连接的神经网络的参数训练和评估的成
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding
痛点完全连接的神经网络的参数训练和评估的成本都很高。
目的降低成本——在不牺牲质量的情况下减少浮点和内存访问操作的数量搭建小型神经网络。通过使用完全融合的CUDA内核来实现整个系统并专注于最小化浪费的带宽和计算操作。
过程利用可训练特征向量的多分辨的哈希表其值通过随机梯度下降进行优化。
要素多分辨率结构允许网络消除哈希冲突的歧义。
Adaptivity重点
- 用不同的网格映射到相应的固定大小的特征向量数组上。将特征向量分组
- 粗分辨率11映射
- 细分辨率利用哈希表的思想将特征向量数组视为哈希表并使用空间哈希函数索引。
- 哈希碰撞导致碰撞训练梯度靠近平均值这意味着最大的梯度——那些与损失函数最相关的梯度——将占主导地位。
- 因此哈希表自动对具有最重要精细细节的稀疏区域进行优先级划分。
Efficiency略述。
四方面结果
- Gigapixel image MLP学习从2D坐标到高分辨率图像的RGB颜色的映射。
- Neural signed distance functions (SDF)MLP学习从三维坐标到到表面的距离的映射。
- Neural radiance caching (NRC)
- Neural radiance and density fields (NeRF)
哈希函数的冲突问题依靠神经网络来学习消除哈希冲突本身的歧义避免控制流的发散降低实现的复杂性提高性能。 哈希表可预测内存布局它与所表示的数据无关。虽然良好的缓存行为通常很难用类似树的数据结构来实现但哈希表可以针对缓存大小等低级架构细节进行微调。
算法思想多分辨率哈希编码
参数
过程
1Hashing of voxel verticles
- 层级基于参数表中最粗分辨率和最细分辨率通过等比级数划分后选取每个层级相互独立表示不同的分辨率。图中蓝框和红框分别表示2个层级为不同分辨率的格点。
2Look up - Hashing
- 像素的二维坐标到特征维度的映射是有明确的规定。
- 粗分辨率11
- 细分辨率空间哈希函数其中用梯度优化和神经网络来解决所谓的哈希冲突/碰撞。
- 不同层的Grid全部映射到对应层的哈希表。
3Linear interpolation
- 由周围格点的线性插值得到每个点自己的Feature。
4Concatenation
- 每一层都是独立的将对应点与各自的辅助输入如编码视图方向、纹理连接。
5Neural network
- 网络训练。
【关注】Gigapixel image MLP学习从2D坐标到高分辨率图像的RGB颜色的映射。
学习2D坐标到RGB的映射已经成为测试模型代表高频细节的能力的一个流行的基准。在最小的尺度上拟合高达10亿像素的超大图像时显示了令人印象深刻的结果。文章将多分辨率散列编码定位在同一任务上并在几秒到几分钟内收敛到高保真图像。
输入编码允许使用比ACORN小得多的MLP这占了剩下的10个×-100×加速的大部分。也就是说多分辨率散列编码的最大的附加值是它的简单性。ACORN依赖于场景的自适应细分作为学习课程的一部分这对本文的编码都不是必要的。
【文章原创作者：防ddos攻击 http://www.558idc.com/shsgf.html 复制请保留原URL】