⌂

LocalDeep

端侧拍照转 3D 点云 — 重建发生在手机里,照片不出设备
MoGe-2 · 单算法 端侧推理 · 零上传 立项 2026-11-03

01项目目标

用户在手机上拍一张照片,AI 重建算法完全在手机本地运行,生成 3D 点云并可在 APP 内交互查看(拖动旋转/缩放)。

与姊妹项目 DeepImage(云端多算法重建)同属"拍照转 3D"方向,但定位有两点重大区别:

维度DeepImage(云端)LocalDeep(本项目)
算法数量9 算法矩阵 + TRELLIS + DAGE 视频仅 MoGe-2 一个算法,做深不做广
算力位置上传照片 → GPU 服务器推理 → 下载结果手机本地推理,零上传零服务器
网络依赖强(弱网用户痛点多)仅首次下载模型文件
隐私照片上云照片不出设备
成本GPU 服务器持续消耗零边际成本

02可行性评估

以下数据均于 2026-11-03 立项时经 GitHub API / HuggingFace API 逐一核实,非二手资料。

结论:可行

核实项数据判定
官方 ONNX 导出ViT-S / ViT-B / ViT-L 三档,动态分辨率,opset ≥ 14✓ 端侧部署路线官方支持
ViT-S 模型体积140MB(fp32)→ fp16 ≈ 70MB → int8 ≈ 35MB✓ 4GB 内存手机可承受
实时推理先例ika-RWTH TensorRT 实时推理(2026-09 仍在维护)✓ 模型部署友好
许可证MIT(DINOv2 部分为 Apache 2.0)✓ 可商用,无 DAGE 式 NC 限制
后处理ONNX 仅含 forward(),focal 恢复/反投影需自行移植⚠ 真正的工程量所在

技术路线

1
拍照系统相机拍照 → 缩放至推理分辨率(518px 或降档)
2
端侧推理ONNX Runtime(XNNPACK/NNAPI 后端)跑 MoGe-2 ViT-S fp16,输出 affine 点图 + normal + mask + metric_scale
3
后处理(Kotlin 移植)focal 恢复 → affine→metric 解算 → 像素反投影 → 彩色点云
4
本地渲染Filament 点云查看器(轨道相机,复用 DeepImage 验证过的代码)

风险(立项时即明示)

风险影响缓解
后处理移植精度focal/尺度解算若与 GPU 版有偏差,点云整体畸变Phase 1 强制与 PyTorch GPU 版输出做数值对齐验证
ViT-S 质量降档精度低于服务器端 ViT-L,点云更糙预期管理 + 后续可给大内存机型开 ViT-B 分档
低端机耗时CPU 推理预估 10-30s/张进度 UI + 分辨率分档;NNAPI GPU 加速待真机验证
4GB 设备内存模型+运行时+相机+渲染叠加fp16/int8 量化,推理完立即释放运行时

03工作计划

阶段内容成功标准状态
Phase 0立项与可行性评估关键事实全部一手核实完成
Phase 1ONNX 推理验证与后处理对齐:服务器端跑通 ONNX Runtime 全链路,与 GPU 版 PyTorch 输出数值对齐同一张图两端点云误差在浮点噪声量级完成
Phase 2后处理 Kotlin 移植:focal 恢复、affine→metric、反投影、点云生成手机端结果与 Phase 1 基准对齐完成
Phase 3APP 骨架:拍照 → 本地推理(进度 UI)→ Filament 点云查看(复用 DeepImage 查看器)虚拟机全链路 E2E 通过完成
Phase 4真机实测与性能优化:用户真机(4GB/Android 12)验证,视情况做 fp16/int8 与分辨率分档真机 60s 内出点云且不 OOM待真机
Phase 5发布 v1.0:APK 托管 + 模型文件分发 + 检查更新公网安装可用待开始

原则:每阶段先自验证再进入下一阶段;发现问题立即报告不隐瞒;本页持续追加进度记录。

04进度日志

2026-11-03 立项:需求确认 + 可行性评估 + 项目页上线完成
  • 需求确认:拍照→端侧重建→APP 内查看点云;仅 MoGe-2 单算法;算力在手机端。
  • 可行性核实(全部 API 一手验证):官方 ONNX 三档导出存在;ViT-S 140MB / ViT-B 419MB / ViT-L 1.3GB(fp32);MIT 许可可商用;TensorRT 实时推理有第三方先例;ONNX 不含后处理(需 Kotlin 移植,为最大工程量)。
  • 技术路线定案:ONNX Runtime + MoGe-2 ViT-S(fp16)+ Filament 点云查看器(复用 DeepImage 资产)。
  • 本项目页上线(sunearthl2.cn/localdeep/),后续所有进度在此追加跟踪。
2026-11-03 Phase 1 + 2 完成:ONNX 路线验证 + 后处理移植完成
  • 数值对齐(关键验收):同一 ViT-S 模型,PyTorch vs ONNX Runtime 原始输出逐元素 max_diff=4.9e-3(浮点噪声量级);后处理 numpy 参考实现与官方 infer() 对齐:focal 误差 1.4%、深度中位数误差 0.76%。
  • GPU 机全链路跑通:CPU 前向 1.65s(服务器 2 核),输出点图/法线/掩码/米制缩放四件套。
  • int8 量化评估:全图量化踩 ORT ConvInteger 坑(不可用);MatMul-only 量化 76.7MB 但点图 max_diff 0.62(精度损失明显)。决策:首版 fp32(140MB)入包,int8 留待后续校准量化(QDQ+校准数据)再评估。
  • 后处理完整移植为 Kotlin(focal/shift Gauss-Newton、米制缩放、反投影、15B/点 PLY——与服务器 PLY 格式逐字节一致,查看器零改动复用)。
  • APP 骨架成型:复用 DeepImage 的 CameraX 拍照/Filament 查看器/PLY 解析,新增 ORT 会话(XNNPACK)+ 本地推理 Worker(零网络约束)。
2026-11-03 v0.1.0 发布:E2E 全链路跑通 + APK 上线下载完成
  • E2E 验证(redroid 虚拟机):相册导入照片 → 端侧 ONNX 推理(约 45s,虚拟机 CPU 慢于真机)→ PLY 落盘(1820 顶点,与服务器端 Phase 1 对齐点数一致,米制深度范围 3.2m 符合室内场景)→ Filament 点云查看器渲染成功。
  • 修复两处端侧 bug:ORT Java 输出张量须用 FloatBuffer 直读(非多维数组强转);XNNPACK EP 暂禁(转译层兼容性,纯 CPU EP 与服务器验证环境一致)。
  • 新增相册导入功能(不依赖现场拍照,已拍照片可直接重建)。
  • LocalDeep-v0.1.0-debug.apk(199MB)已挂本页下载:arm64 + x86_64 双架构,模型打包内置,全程离线可用。

05APK 下载

LocalDeep v0.1.1199MB(含 140MB 端侧模型) · Android 8.0+ · arm64 / x86_64 · 2026-11-03 发布 · 新增运行日志自动上报
⬇ 下载 APK(199MB)

安装提示:拍照或从相册导入照片,重建全程在手机本地完成,零照片上传。v0.1.1 起自动上报运行日志(耗时/异常/设备型号,不含任何照片数据),便于远程诊断问题。当前为 debug 签名版,正式签名版随后发布。MD5: a22d20e928b4db66e8fb865e935aba42

06留言板

项目进度会在下方留言板同步刷新,欢迎随时留言交流意见。

匿名留言 · 单条 ≤ 1 万字 · 保留最新 1000 条
加载中…