01项目目标
用户在手机上拍一张照片,AI 重建算法完全在手机本地运行,生成 3D 点云并可在 APP 内交互查看(拖动旋转/缩放)。
与姊妹项目 DeepImage(云端多算法重建)同属"拍照转 3D"方向,但定位有两点重大区别:
| 维度 | DeepImage(云端) | LocalDeep(本项目) |
| 算法数量 | 9 算法矩阵 + TRELLIS + DAGE 视频 | 仅 MoGe-2 一个算法,做深不做广 |
| 算力位置 | 上传照片 → GPU 服务器推理 → 下载结果 | 手机本地推理,零上传零服务器 |
| 网络依赖 | 强(弱网用户痛点多) | 仅首次下载模型文件 |
| 隐私 | 照片上云 | 照片不出设备 |
| 成本 | GPU 服务器持续消耗 | 零边际成本 |
02可行性评估
以下数据均于 2026-11-03 立项时经 GitHub API / HuggingFace API 逐一核实,非二手资料。
结论:可行
| 核实项 | 数据 | 判定 |
| 官方 ONNX 导出 | ViT-S / ViT-B / ViT-L 三档,动态分辨率,opset ≥ 14 | ✓ 端侧部署路线官方支持 |
| ViT-S 模型体积 | 140MB(fp32)→ fp16 ≈ 70MB → int8 ≈ 35MB | ✓ 4GB 内存手机可承受 |
| 实时推理先例 | ika-RWTH TensorRT 实时推理(2026-09 仍在维护) | ✓ 模型部署友好 |
| 许可证 | MIT(DINOv2 部分为 Apache 2.0) | ✓ 可商用,无 DAGE 式 NC 限制 |
| 后处理 | ONNX 仅含 forward(),focal 恢复/反投影需自行移植 | ⚠ 真正的工程量所在 |
技术路线
1
拍照系统相机拍照 → 缩放至推理分辨率(518px 或降档)
2
端侧推理ONNX Runtime(XNNPACK/NNAPI 后端)跑 MoGe-2 ViT-S fp16,输出 affine 点图 + normal + mask + metric_scale
3
后处理(Kotlin 移植)focal 恢复 → affine→metric 解算 → 像素反投影 → 彩色点云
4
本地渲染Filament 点云查看器(轨道相机,复用 DeepImage 验证过的代码)
风险(立项时即明示)
| 风险 | 影响 | 缓解 |
| 后处理移植精度 | focal/尺度解算若与 GPU 版有偏差,点云整体畸变 | Phase 1 强制与 PyTorch GPU 版输出做数值对齐验证 |
| ViT-S 质量降档 | 精度低于服务器端 ViT-L,点云更糙 | 预期管理 + 后续可给大内存机型开 ViT-B 分档 |
| 低端机耗时 | CPU 推理预估 10-30s/张 | 进度 UI + 分辨率分档;NNAPI GPU 加速待真机验证 |
| 4GB 设备内存 | 模型+运行时+相机+渲染叠加 | fp16/int8 量化,推理完立即释放运行时 |
03工作计划
| 阶段 | 内容 | 成功标准 | 状态 |
| Phase 0 | 立项与可行性评估 | 关键事实全部一手核实 | 完成 |
| Phase 1 | ONNX 推理验证与后处理对齐:服务器端跑通 ONNX Runtime 全链路,与 GPU 版 PyTorch 输出数值对齐 | 同一张图两端点云误差在浮点噪声量级 | 完成 |
| Phase 2 | 后处理 Kotlin 移植:focal 恢复、affine→metric、反投影、点云生成 | 手机端结果与 Phase 1 基准对齐 | 完成 |
| Phase 3 | APP 骨架:拍照 → 本地推理(进度 UI)→ Filament 点云查看(复用 DeepImage 查看器) | 虚拟机全链路 E2E 通过 | 完成 |
| Phase 4 | 真机实测与性能优化:用户真机(4GB/Android 12)验证,视情况做 fp16/int8 与分辨率分档 | 真机 60s 内出点云且不 OOM | 待真机 |
| Phase 5 | 发布 v1.0:APK 托管 + 模型文件分发 + 检查更新 | 公网安装可用 | 待开始 |
原则:每阶段先自验证再进入下一阶段;发现问题立即报告不隐瞒;本页持续追加进度记录。
04进度日志
2026-11-03
立项:需求确认 + 可行性评估 + 项目页上线完成
- 需求确认:拍照→端侧重建→APP 内查看点云;仅 MoGe-2 单算法;算力在手机端。
- 可行性核实(全部 API 一手验证):官方 ONNX 三档导出存在;ViT-S 140MB / ViT-B 419MB / ViT-L 1.3GB(fp32);MIT 许可可商用;TensorRT 实时推理有第三方先例;ONNX 不含后处理(需 Kotlin 移植,为最大工程量)。
- 技术路线定案:ONNX Runtime + MoGe-2 ViT-S(fp16)+ Filament 点云查看器(复用 DeepImage 资产)。
- 本项目页上线(sunearthl2.cn/localdeep/),后续所有进度在此追加跟踪。
2026-11-03
Phase 1 + 2 完成:ONNX 路线验证 + 后处理移植完成
- 数值对齐(关键验收):同一 ViT-S 模型,PyTorch vs ONNX Runtime 原始输出逐元素 max_diff=4.9e-3(浮点噪声量级);后处理 numpy 参考实现与官方 infer() 对齐:focal 误差 1.4%、深度中位数误差 0.76%。
- GPU 机全链路跑通:CPU 前向 1.65s(服务器 2 核),输出点图/法线/掩码/米制缩放四件套。
- int8 量化评估:全图量化踩 ORT ConvInteger 坑(不可用);MatMul-only 量化 76.7MB 但点图 max_diff 0.62(精度损失明显)。决策:首版 fp32(140MB)入包,int8 留待后续校准量化(QDQ+校准数据)再评估。
- 后处理完整移植为 Kotlin(focal/shift Gauss-Newton、米制缩放、反投影、15B/点 PLY——与服务器 PLY 格式逐字节一致,查看器零改动复用)。
- APP 骨架成型:复用 DeepImage 的 CameraX 拍照/Filament 查看器/PLY 解析,新增 ORT 会话(XNNPACK)+ 本地推理 Worker(零网络约束)。
2026-11-03
v0.1.0 发布:E2E 全链路跑通 + APK 上线下载完成
- E2E 验证(redroid 虚拟机):相册导入照片 → 端侧 ONNX 推理(约 45s,虚拟机 CPU 慢于真机)→ PLY 落盘(1820 顶点,与服务器端 Phase 1 对齐点数一致,米制深度范围 3.2m 符合室内场景)→ Filament 点云查看器渲染成功。
- 修复两处端侧 bug:ORT Java 输出张量须用 FloatBuffer 直读(非多维数组强转);XNNPACK EP 暂禁(转译层兼容性,纯 CPU EP 与服务器验证环境一致)。
- 新增相册导入功能(不依赖现场拍照,已拍照片可直接重建)。
- LocalDeep-v0.1.0-debug.apk(199MB)已挂本页下载:arm64 + x86_64 双架构,模型打包内置,全程离线可用。
05APK 下载
LocalDeep v0.1.1199MB(含 140MB 端侧模型) · Android 8.0+ · arm64 / x86_64 · 2026-11-03 发布 · 新增运行日志自动上报
⬇ 下载 APK(199MB)
安装提示:拍照或从相册导入照片,重建全程在手机本地完成,零照片上传。v0.1.1 起自动上报运行日志(耗时/异常/设备型号,不含任何照片数据),便于远程诊断问题。当前为 debug 签名版,正式签名版随后发布。MD5: a22d20e928b4db66e8fb865e935aba42
06留言板
项目进度会在下方留言板同步刷新,欢迎随时留言交流意见。