# Filament渲染引擎扩展：支持PLY点云与3D高斯泼溅技术探索
在三维可视化领域，点云数据和神经渲染技术的融合正在改变传统图形渲染的边界。Filament作为一款跨平台的物理渲染引擎，凭借其出色的PBR渲染能力和清晰的架构设计，在Android和Web端得到广泛应用。然而，Filament原生仅支持glTF格式，这限制了它在计算机视觉和三维重建领域的应用。本文将探讨如何在Filament基础上扩展PLY格式支持，并探索3D Gaussian Splatting的渲染实现路径。
## PLY格式：连接传统点云与新兴技术的桥梁
PLY（Polygon File Format）不仅是点云存储的标准格式，更是一个**通用的几何数据容器**。它可以表示纯点云数据，也能存储带面的网格模型，甚至包含颜色、法线、纹理坐标以及自定义属性。这种灵活性使得PLY成为连接传统三维扫描与新兴神经渲染技术的关键纽带。
在三维重建工作流中，从SLAM系统、SfM算法到3DGS的训练输出，中间结果往往都以PLY格式保存。如果Filament生态无法解析PLY，就意味着这些海量数据无法直接在该渲染引擎中可视化。
## 技术选型：C++与tinyPly的跨平台方案
扩展Filament支持PLY面临两个核心挑战：一是需要跨Java/JNI/C++多层架构的数据传递，二是要保证解析效率。经过方案对比，选择tinyPly作为解析库具有明显优势。
```cpp
// tinyPly解析PLY头部的示例代码
#include "tinyply.h"
std::vector
std::vector
std::ifstream ss(filepath, std::ios::binary);
tinyply::PlyFile file;
file.parse_header(ss);
// 请求需要的属性字段
file.request_properties_from_element("vertex", { "x", "y", "z" });
file.request_properties_from_element("vertex", { "red", "green", "blue" });
<"z4.j9k5.org.cn"><"j6.j9k5.org.cn"><"n3.j9k5.org.cn">
// 读取数据
tinyply::PlyData verticesData, colorsData;
verticesData = file.request_properties_from_element("vertex", { "x", "y", "z" });
colorsData = file.request_properties_from_element("vertex", { "red", "green", "blue" });
file.read(ss);
```
tinyPly只负责将PLY文件解析为结构化内存数据，不介入渲染逻辑，这种**单一职责的设计使其能够轻量级地集成到现有渲染管线中**。
## 从数据解析到渲染装配
PLY解析完成后，需要根据数据结构动态构建Filament的VertexBuffer和IndexBuffer。关键的一步是判断数据类型：存在face元素时构建Mesh，仅有vertex时则构建点云。
```cpp
// Filament顶点缓冲区构建示例
VertexBuffer* vertexBuffer = VertexBuffer::Builder()
.vertexCount(vertexCount)
.bufferCount(2) // 位置和颜色两个缓冲区
.attribute(VertexAttribute::POSITION, 0, VertexBuffer::AttributeType::FLOAT3)
.attribute(VertexAttribute::COLOR, 1, VertexBuffer::AttributeType::UBYTE4)
.normalized(VertexAttribute::COLOR)
.build(engine);
// 填充顶点数据
vertexBuffer->setBufferAt(engine, 0,
VertexBuffer::BufferDescriptor(vertices.data(), vertices.size() * sizeof(float)));
vertexBuffer->setBufferAt(engine, 1,
VertexBuffer::BufferDescriptor(colors.data(), colors.size()));
```
点云与Mesh的区别在这里完全体现：点云不需要IndexBuffer，直接使用点图元渲染；Mesh则需要构建索引缓冲区，采用三角形图元。
## 3D Gaussian Splatting的渲染挑战
3DGS作为一种新型场景表示方法，通过大量带方向性的高斯分布点元来表征场景几何与外观。在Filament中实现3DGS渲染面临几个技术难题。
**透明混合顺序**是首要挑战。Filament不支持Compute Shader，无法实现GPU级别的排序。当渲染大量半透明的高斯billboard时，必须严格按照从后向前的顺序提交图元，否则会出现视觉错乱——画面局部区域同时呈现俯视和仰视的矛盾效果。
**数据属性映射**同样复杂。3DGS数据包含位置、透明度、旋转四元数、缩放因子以及球谐系数等多维属性。这些属性需要正确映射到着色器中，通过顶点与片段着色器完成投影、椭圆近似与球谐光照计算。
```glsl
// 简化的高斯billboard顶点着色器片段
#version 310 es
layout(location = 0) in vec3 position;
layout(location = 1) in vec4 rotation; // 四元数
layout(location = 2) in vec3 scale;
uniform mat4 viewProjection;
uniform vec3 cameraPosition;
void main() {
// 构建旋转矩阵（简化实现）
// 计算屏幕对齐的billboard四边形
// 应用缩放因子调整高斯形状
<"w7.j9k5.org.cn"><"g9.j9k5.org.cn"><"q2.j9k5.org.cn">
// 最终顶点位置计算
gl_Position = viewProjection * vec4(worldPos, 1.0);
}
```
## 工程实践：Sceneform-EQR的探索之路
在Sceneform-EQR项目中，开发者通过直接引入Filament JNI源码的方式，获得了对原生渲染管线的完全控制。这一决策带来的好处是：可以扩展原生加载逻辑、控制Native生命周期、为PLY和3DGS打开数据通道。
**包体积的优化**是意外收获。通过移除官方AAR中未使用的接口，反而实现了更小的依赖体积。
数据接入层面保持了对Sceneform原有设计的不破坏：无论是本地URI还是网络URL，最终在Native层都统一呈现为内存buffer。这种抽象使得上层调用无需关心数据来源。
## 总结与展望
在Filament中支持PLY点云并探索3DGS渲染，本质上是**将传统PBR渲染引擎向计算机视觉领域延伸**的过程。目前的技术路径已经验证了PLY解析与Mesh/点云渲染的可行性，而3DGS的完整实现仍需解决透明排序的性能瓶颈。
未来可能的发展方向包括：借助Filament 1.7以上版本对Vulkan后端的支持探索更高效的渲染路径，或通过自定义材质系统实现更逼真的球谐光照。随着三维重建与神经渲染技术的成熟，这类跨领域的技术融合将为移动端AR/VR应用带来更多可能性。