⌂ SunEarth L2

LocalDeepV2

端侧拍照转 3D 点云 — 重建在手机里完成,照片不出设备

MoGe-2 ViT-S · ONNX Runtime release 包零网络权限 立项 2026-11-16

00当前状态

当前阶段P1服务器基线(即将开始)
最新版本—尚无 APK
真机验证未开始华为 Mate 60(P4 实测)

总体进度 1 / 6 阶段(P0 完成)· 最后更新 2026-11-17

01目标与验收标准

手机拍一张照片(或从相册导入),在手机本地运行 MoGe-2 单目几何模型,生成彩色 3D 点云,在 APP 里拖动旋转、双指缩放查看。

v1.0 硬指标(全部满足才算交付)

#指标怎么验证
1验收真机华为 Mate 60(麒麟 9000S)连续 3 张照片,每张 ≤ 60 秒出点云,0 崩溃;同时保留 4GB 档低内存降级路径真机实测 + 诊断日志
2release 包不申请网络权限,"零上传"可被任何人验证aapt dump permissions 输出中无 INTERNET
3端侧点云与服务器参考实现对齐:深度中位数误差 < 2%同图双端对比

02为什么重做:V1 复盘

V1(/localdeep/)已停止维护。它在虚拟机里能跑,但在真机上从未成功出过一次点云。

V1 问题证据V2 对策
真机推理崩溃循环,且没留下任何错误遥测:三星 SM-G9860 模型加载完即进程重启,重试 4 次,0 次前向推理放独立进程;每步同步落盘面包屑;按可用内存自动降档
从 DeepImage 拷贝,残留云端逻辑拍视频会上传到一个不存在的服务器接口,违背"零上传"从零新建,没有任何网络代码
无版本控制,版本号不更新源码无 git;发布 0.1.1,代码里仍是 0.1.0第一天上 git;版本号由提交数自动生成
依赖臃肿Room/OkHttp/Glide/Filament/WorkManager,构建机 2G 内存要靠 swap极简依赖,点云渲染用自研 OpenGL ES 小渲染器
只在 x86 虚拟机验证唯一一次成功推理来自 redroid 虚拟机先在服务器建"金标准",核心算法用单测对齐;真机作为阶段门槛

03技术方案

┌──────── UI 进程 ────────────────────────────────────────┐
│ CameraX 拍照 / 相册导入 → 存 APP 私有目录 → 启动推理服务   │
│ GLES 3.0 点云查看器(轨道相机:拖动旋转 / 双指缩放)        │
│        ▲ 进度 / 结果 / 崩溃检测(读面包屑文件)           │
└────────┼────────────────────────────────────────────────┘
┌────────┴── :infer 独立进程(前台 Service)────────────────┐
│ ① 内存探测 → 选档 tokens 1800 / 1200 / 800               │
│ ② 解码 + 缩放 + 归一化                                    │
│ ③ ONNX Runtime 前向(CPU)                               │
│ ④ focal/shift 求解 → 反投影 → 彩色 PLY 点云               │
│ ※ 每步开始前 fsync 写 breadcrumb.json                     │
└──────────────────────────────────────────────────────────┘

关键设计决策

决策选择理由
崩溃隔离推理跑在独立进程 :infernative 崩溃 / 系统杀进程只影响推理进程,UI 能感知并降档重试——直接针对 V1 的死法
可诊断性阶段面包屑同步落盘V1 的 native 崩溃 JVM 抓不到;面包屑能精确告诉我们死在哪一步
内存策略按可用内存三档分辨率;fp32/fp16 由 P1 实测决定不凭感觉选模型精度,用服务器上的内存峰值实测数据说话
代码结构core(纯 Kotlin,可在服务器跑单测)+ app(Android)没有虚拟机也能验证算法正确性
依赖AndroidX + CameraX + ONNX Runtime + 协程,仅此构建快、包小、问题面小
渲染自研 GLES 3.0 点云渲染(GL_POINTS)点云只需几百行代码,不必引入 Filament
隐私release 包无 INTERNET 权限"零上传"从承诺变成可验证的事实
诊断debug 包可上报技术日志;release 包提供"导出诊断日志"兼顾真机调试与隐私

04阶段计划

阶段内容完成标准状态
P0方案设计、代码仓库、项目页方案文档 + 本页上线完成
P1服务器基线:ONNX 参考管线;生成金标准数据;实测内存峰值(各分辨率档 × fp32/fp16 × 内存池开关)产出"内存-耗时-精度"对照表,选定端侧配置待开始
P2core 模块:预处理、focal/shift 求解、反投影、PLY,JVM 单测对齐金标准单测全过,深度中位数误差 < 1%待开始
P3APP MVP:拍照/导入 → 独立进程推理 → 点云查看;面包屑 + 自动降档构建通过,debug APK 挂到本页待开始
P4真机验证(需要你的手机)达到 v1.0 硬指标待开始
P5v1.0 发布:正式签名、零网络权限、公布 MD5公网可下载安装待开始

05风险

风险影响应对
高 没有可用的安卓虚拟机构建服务器内核不支持 binder,跑不了 redroid;端到端只能靠真机算法正确性靠 JVM 单测兜底;P4 需要你装包实测并回传诊断日志
高 鸿蒙系统版本Mate 60 若已升级到 HarmonyOS NEXT(5.x,纯血鸿蒙),无法安装任何 APK;HarmonyOS 4.x 可装待确认手机系统版本;如为 NEXT 需改走 ArkTS/鸿蒙原生路线(方案需重评)
中 内存与推理稳定性Mate 60 内存充裕,但 V1 在真机上的崩溃原因未明,可能是 native 兼容性而非内存独立进程 + 面包屑精确定位;P1 实测内存峰值;保留降档
中 麒麟 9000S / 无谷歌服务ONNX Runtime 在麒麟 CPU 上的表现缺少公开数据;手机无 GMSV2 不依赖任何谷歌服务;纯 CPU 推理为基线,NPU 加速后续评估
中 构建机 2 核 / 2GB编译慢,dex 阶段可能 OOM极简依赖 + swap 兜底;Gradle 缓存需联网重新拉取
中 ViT-S 精度点云比服务器大模型粗糙预期管理;后续可给大内存机型开 ViT-B 档

06进度日志

2026-11-17 确定验收真机:华为 Mate 60
  • 验收标准改为以 Mate 60 实测为准,低内存降档路径保留。
  • 新增风险:若手机为 HarmonyOS NEXT(纯血鸿蒙)则不能安装 APK,待确认系统版本。
  • 主站导航页已加入本项目入口。
2026-11-16 P0 立项:方案定稿 + 仓库 + 项目页 完成
  • 复盘 V1:真机崩溃循环(无错误记录)、云端逻辑残留、无版本控制、依赖臃肿。
  • V2 方案定稿:独立推理进程 + 面包屑 + 自动降档;core/app 分层;极简依赖;release 零网络权限。
  • 代码仓库 /root/localdeepv2 初始化(git),方案文档 docs/PLAN.md。
  • 本项目页上线,后续进度在此追加。

07APK 下载

暂无。P3 完成后在此提供 debug 版下载及 MD5。

08留言板

加载中…