- 验收标准改为以 Mate 60 实测为准,低内存降档路径保留。
- 新增风险:若手机为 HarmonyOS NEXT(纯血鸿蒙)则不能安装 APK,待确认系统版本。
- 主站导航页已加入本项目入口。
端侧拍照转 3D 点云 — 重建在手机里完成,照片不出设备
总体进度 1 / 6 阶段(P0 完成)· 最后更新 2026-11-17
手机拍一张照片(或从相册导入),在手机本地运行 MoGe-2 单目几何模型,生成彩色 3D 点云,在 APP 里拖动旋转、双指缩放查看。
| # | 指标 | 怎么验证 |
|---|---|---|
| 1 | 验收真机华为 Mate 60(麒麟 9000S)连续 3 张照片,每张 ≤ 60 秒出点云,0 崩溃;同时保留 4GB 档低内存降级路径 | 真机实测 + 诊断日志 |
| 2 | release 包不申请网络权限,"零上传"可被任何人验证 | aapt dump permissions 输出中无 INTERNET |
| 3 | 端侧点云与服务器参考实现对齐:深度中位数误差 < 2% | 同图双端对比 |
V1(/localdeep/)已停止维护。它在虚拟机里能跑,但在真机上从未成功出过一次点云。
| V1 问题 | 证据 | V2 对策 |
|---|---|---|
| 真机推理崩溃循环,且没留下任何错误 | 遥测:三星 SM-G9860 模型加载完即进程重启,重试 4 次,0 次前向 | 推理放独立进程;每步同步落盘面包屑;按可用内存自动降档 |
| 从 DeepImage 拷贝,残留云端逻辑 | 拍视频会上传到一个不存在的服务器接口,违背"零上传" | 从零新建,没有任何网络代码 |
| 无版本控制,版本号不更新 | 源码无 git;发布 0.1.1,代码里仍是 0.1.0 | 第一天上 git;版本号由提交数自动生成 |
| 依赖臃肿 | Room/OkHttp/Glide/Filament/WorkManager,构建机 2G 内存要靠 swap | 极简依赖,点云渲染用自研 OpenGL ES 小渲染器 |
| 只在 x86 虚拟机验证 | 唯一一次成功推理来自 redroid 虚拟机 | 先在服务器建"金标准",核心算法用单测对齐;真机作为阶段门槛 |
┌──────── UI 进程 ────────────────────────────────────────┐ │ CameraX 拍照 / 相册导入 → 存 APP 私有目录 → 启动推理服务 │ │ GLES 3.0 点云查看器(轨道相机:拖动旋转 / 双指缩放) │ │ ▲ 进度 / 结果 / 崩溃检测(读面包屑文件) │ └────────┼────────────────────────────────────────────────┘ ┌────────┴── :infer 独立进程(前台 Service)────────────────┐ │ ① 内存探测 → 选档 tokens 1800 / 1200 / 800 │ │ ② 解码 + 缩放 + 归一化 │ │ ③ ONNX Runtime 前向(CPU) │ │ ④ focal/shift 求解 → 反投影 → 彩色 PLY 点云 │ │ ※ 每步开始前 fsync 写 breadcrumb.json │ └──────────────────────────────────────────────────────────┘
| 决策 | 选择 | 理由 |
|---|---|---|
| 崩溃隔离 | 推理跑在独立进程 :infer | native 崩溃 / 系统杀进程只影响推理进程,UI 能感知并降档重试——直接针对 V1 的死法 |
| 可诊断性 | 阶段面包屑同步落盘 | V1 的 native 崩溃 JVM 抓不到;面包屑能精确告诉我们死在哪一步 |
| 内存策略 | 按可用内存三档分辨率;fp32/fp16 由 P1 实测决定 | 不凭感觉选模型精度,用服务器上的内存峰值实测数据说话 |
| 代码结构 | core(纯 Kotlin,可在服务器跑单测)+ app(Android) | 没有虚拟机也能验证算法正确性 |
| 依赖 | AndroidX + CameraX + ONNX Runtime + 协程,仅此 | 构建快、包小、问题面小 |
| 渲染 | 自研 GLES 3.0 点云渲染(GL_POINTS) | 点云只需几百行代码,不必引入 Filament |
| 隐私 | release 包无 INTERNET 权限 | "零上传"从承诺变成可验证的事实 |
| 诊断 | debug 包可上报技术日志;release 包提供"导出诊断日志" | 兼顾真机调试与隐私 |
| 阶段 | 内容 | 完成标准 | 状态 |
|---|---|---|---|
| P0 | 方案设计、代码仓库、项目页 | 方案文档 + 本页上线 | 完成 |
| P1 | 服务器基线:ONNX 参考管线;生成金标准数据;实测内存峰值(各分辨率档 × fp32/fp16 × 内存池开关) | 产出"内存-耗时-精度"对照表,选定端侧配置 | 待开始 |
| P2 | core 模块:预处理、focal/shift 求解、反投影、PLY,JVM 单测对齐金标准 | 单测全过,深度中位数误差 < 1% | 待开始 |
| P3 | APP MVP:拍照/导入 → 独立进程推理 → 点云查看;面包屑 + 自动降档 | 构建通过,debug APK 挂到本页 | 待开始 |
| P4 | 真机验证(需要你的手机) | 达到 v1.0 硬指标 | 待开始 |
| P5 | v1.0 发布:正式签名、零网络权限、公布 MD5 | 公网可下载安装 | 待开始 |
| 风险 | 影响 | 应对 |
|---|---|---|
| 高 没有可用的安卓虚拟机 | 构建服务器内核不支持 binder,跑不了 redroid;端到端只能靠真机 | 算法正确性靠 JVM 单测兜底;P4 需要你装包实测并回传诊断日志 |
| 高 鸿蒙系统版本 | Mate 60 若已升级到 HarmonyOS NEXT(5.x,纯血鸿蒙),无法安装任何 APK;HarmonyOS 4.x 可装 | 待确认手机系统版本;如为 NEXT 需改走 ArkTS/鸿蒙原生路线(方案需重评) |
| 中 内存与推理稳定性 | Mate 60 内存充裕,但 V1 在真机上的崩溃原因未明,可能是 native 兼容性而非内存 | 独立进程 + 面包屑精确定位;P1 实测内存峰值;保留降档 |
| 中 麒麟 9000S / 无谷歌服务 | ONNX Runtime 在麒麟 CPU 上的表现缺少公开数据;手机无 GMS | V2 不依赖任何谷歌服务;纯 CPU 推理为基线,NPU 加速后续评估 |
| 中 构建机 2 核 / 2GB | 编译慢,dex 阶段可能 OOM | 极简依赖 + swap 兜底;Gradle 缓存需联网重新拉取 |
| 中 ViT-S 精度 | 点云比服务器大模型粗糙 | 预期管理;后续可给大内存机型开 ViT-B 档 |
/root/localdeepv2 初始化(git),方案文档 docs/PLAN.md。暂无。P3 完成后在此提供 debug 版下载及 MD5。
加载中…