MultimodalFlow
技术出版物 · 边缘 AI · 多模态

多模态 AI 部署、边缘视觉与实时三维感知

MultimodalFlow 是一个技术出版物,记录多模态 AI、计算机视觉、边缘 AI 部署(Jetson 设备)、TensorRT 优化、立体深度估计、热成像 RGB 融合与工业检测系统的工程实践。

精选文章

128 GB Thor 跑 120B 级模型:Qwen3.5-122B 与 Flash-Next NVFP4 实测

Jetson AGX Thor 单机部署 Qwen3.5-122B-A10B 与 Qwen3.8-Flash-Next NVFP4:64K 上下文、约 16–22 tok/s、PLE disk offload、长输入延迟,以及 FP4-Local 的 sm_110 内核兼容性问题。

Jetson ThorQwen3.5Qwen3.8

Thor 上验证 vLLM:Qwen3-0.6B 的 8/9 项检查与三个 API Demo

thortest quick 档在 Jetson AGX Thor 上完成 vLLM × Qwen3-0.6B 验证:短输入单路约 142 tok/s、四路约 494 tok/s,JSON Schema 失败记录,以及流式输出、工具调用和 JSON 的可下载 Demo。

Jetson ThorQwen3vLLM

Edge AI 实验室周报:双 Thor 网络、模型可运行性与自动化测试

本周 Edge AI 实验室简报:从双 Jetson Thor 10GbE 实测、模型可运行性判断到候选模型自动发现,整理三条可以直接复用的工程方法。

Edge AIJetson ThorLLM Benchmark

双 Jetson AGX Thor 四路 10GbE 直连实测:为什么总带宽只有 12 Gbps?

两台 Jetson AGX Thor 通过 4 路 10GbE 直连,使用 iperf3 测试单链路、多流和多链路并发吞吐,并分析它对分布式 LLM 推理与 KV Cache 传输的实际影响。

Jetson Thor10GbEiperf3

边缘结构化决策实测:Thor 上的 27B 准确率 0.958 反超云端 Jev 的 0.883,校准却输了

把 TypeSafe Jev 和 Jetson AGX Thor 上的本地模型放在同一批人工标注任务上对比。边缘赢了准确率、Brier 和延迟,输了 ECE;成本上永远追不平。过程中发现约束解码有三条静默失效路径——其中一条让准确率塌了 37.5 个百分点,却不报任何错。

Jetson Thor约束解码结构化输出

Qwen3.8-27B 实测:RTX 3090 跑 Q4 拿 58 tok/s,Jetson Thor 跑 BF16 只有 4.1 tok/s

同一个 27B 模型,两台机器给出 14 倍的速度差。本文用 RTX 3090(Ollama Q4_K_M)和 Jetson AGX Thor(vLLM BF16)的实测数据,拆解这个差距里有多少来自量化、多少来自内存带宽,以及 Thor 在并发下扳回了什么。

Qwen3.8跑分RTX 3090

2×Jetson Thor 跑 DeepSeek-V4-Flash-NVFP4:QSFP28 互联前置测试与真实阻塞点

尝试评估 nvidia/DeepSeek-V4-Flash-NVFP4 是否能在两台 Jetson Thor 上运行。本文记录 QSFP28 链路、SGLang/vLLM 容器、权重访问方式、磁盘空间和多节点启动前置条件,结论是当前环境尚未达到下载和启动 V4-Flash 的最低条件。

DeepSeek-V4-FlashNVFP4Jetson Thor

DeepSeek 最近开源的 V4-Flash-0731,Jetson Thor 能跑吗?284B MoE 的边缘部署边界

DeepSeek 最近开放权重的 DeepSeek-V4-Flash-0731 是 284B 参数、13B 激活、1M 上下文的 MoE 模型,MIT License。本文基于官方模型卡和 Thor 真机环境,分析它为什么不是 Jetson Thor 单机本地模型,并给出可测替代方案。

DeepSeek-V4DeepSeek-V4-FlashJetson Thor

DeepSeek V4 Flash NVFP4 在 2×Jetson Thor 上的调试记录 1:SGLang 走到 DeepGEMM 前

记录 nvidia/DeepSeek-V4-Flash-NVFP4 在两台 Jetson Thor 上的第一轮真实调试:QSFP28、模型下载、SGLang nightly、KV cache 补丁、Docker runtime 修复,以及最终卡在 DeepGEMM HyperConnection 不支持 Thor sm110。

DeepSeek-V4DeepSeek-V4-FlashNVFP4

应用场景

工业质检

使用热成像相机与 RGB 相机融合检测焊接缺陷、布料瑕疵与产品表面问题。

机器人感知

基于立体深度估计与点云的实时三维环境感知,支持移动机器人导航。

热成像融合

将热红外与可见光图像融合用于夜间目标检测与温度异常预警。

边缘 AI 部署

在 Jetson AGX Thor、Jetson Orin 等边缘设备上部署 TensorRT 优化的推理流水线。

实时点云可视化

使用 Three.js 与 WebGL 将深度传感器数据以三维点云形式实时呈现。

本地 GPU 推理

在消费级 GPU(RTX 3090 等)上以 Ollama 或 llama.cpp 运行大型语言模型。

关于本站

MultimodalFlow 由工程师运营,所有内容来源于真实硬件测试和项目部署经验——从 Jetson 边缘设备的推理调优,到消费级 GPU 上的大模型跑分,再到工业视觉检测系统的落地实践。 本站不发布未经验证的规格参数或厂商 PR 稿。每篇基准测试文章都附有真实命令和原始输出,读者可以自行复现。 如果你在做边缘 AI 部署、视觉模型优化或多模态系统集成,这里记录的坑和经验或许对你有帮助。
了解本站 →