边缘推理的硬件选型：Jetson、RK3588 与开发板生态

边缘推理的硬件版图：四类设备

「边缘推理」的硬件不是单一品类，四类设备各有生态。类一：GPU 开发板（Jetson 系列）。NVIDIA Jetson（Orin Nano/NX/AGX）——CUDA 生态的边缘延伸（JetPack 与 CUDA 同源——云上模型与代码的迁移成本最低）、算力从 20 TOPS（Orin Nano）到 275 TOPS（AGX Orin）、内存 8–64GB。类二：国产 NPU 开发板（RK3588 类）。瑞芯微 RK3588（6 TOPS NPU）、国产生态的代表（RKLLM 的模型支持——Llama/Qwen 系的量化模型可跑）、价格亲民（数百元级）、但软件生态弱于 Jetson。类三：专用推理加速器（Hailo/Coral）。Hailo-8（26 TOPS）、Google Coral（Edge TPU）——为 CNN/小模型优化的推理专用硬件、功耗极低（瓦级）、但 LLM 支持有限（LLM 的自回归与显存需求不是它们的设计目标）。类四：手机与 PC 芯片。手机 SoC 的 NPU（骁龙 8 系、天玑——本库端侧篇）、Apple Silicon 的统一内存、PC 的 NPU（Core Ultra）——消费设备的边缘推理（本库端侧篇已详述，本篇聚焦开发板）。

选型的核心公式：内存带宽与算力的匹配

边缘硬件选型的核心公式：模型的需求 vs 设备的供给。模型的需求三要素：参数量（决定显存）、量化后的位宽（INT4 下 7B 约 4GB）、以及推理速度的要求（实时交互需要 20+ tok/s、后台任务可慢）。设备的供给三要素：内存容量与带宽（边缘推理的瓶颈常是内存带宽而非算力——本库端侧篇的「TOPS 虚高、带宽才是真」）、NPU 的算力（TOPS 的 marketing 数字要打折——INT8 的峰值 TOPS 与实际 LLM 推理速度差距很大）、以及软件生态（能跑 llama.cpp/MLC 吗——生态决定你能用哪个模型与量化格式）。匹配的决策表：7B Q4 模型（4GB 权重 + 1–2G 运行）→ 8GB 内存起步（Orin Nano 8G/RK3588 16G 版/手机旗舰）；14B Q4（8GB 权重）→ 16G 内存（Orin NX 16G/PC）；实时交互（20 tok/s+）→ 内存带宽要 60GB/s+（Orin NX 达标、RK3588 的 30GB/s 偏紧）。

边缘部署的工程要点：与云端的四个差异

边缘部署与云端的四个工程差异。差异一：量化是必需品。边缘的显存与带宽跑不动 FP16——INT4/INT8 量化是默认配置（本库量化篇）、且边缘芯片的量化内核支持要确认（NPU 的量化格式与 CPU 的 GGUF 不同——芯片的 SDK 决定量化路径）。差异二：编译与优化的芯片特化。Jetson：TensorRT 的边缘版（CUDA 生态的直接复用）、RK3588：RKNN 工具链（RKLLM 的转换与部署——NPU 的模型要经过厂商工具链编译，不是通用格式直接跑）、Hailo：HailoRT + 模型编译（Dataflow Compiler——专有工具链的学习成本）。差异三：运维的「无人在场」。边缘设备的更新（模型的 OTA 更新——带宽受限的差分更新）、监控（无人的设备状态上报）、以及故障的自愈（重启与降级——边缘设备的运维半径）。差异四：功耗与散热。边缘设备的功耗预算（电池供电的场景、被动散热的限制——算力与功耗的取舍是边缘的常态，本库电力篇的边缘版）。

选型的决策框架与生态的观察

决策框架。按模型规模：≤3B → 手机/低配开发板即可；7B → 8G+ 内存的主流开发板；14B+ → AGX 级或 PC；按场景：视觉 + LLM 的组合（Jetson 的 CUDA 视觉栈有优势）、纯 LLM 文本（RK3588 的性价比）、量产 vs 原型（原型用 Jetson 快速验证、量产的成本敏感转国产板）。生态的观察。边缘 LLM 的快速成熟：RKLLM/llama.cpp 的边缘适配、MLC 的编译路线（把模型编译到任意设备——编译型部署正在降低边缘的门槛）、以及模型的小型化竞赛（1.5–3B 模型的能力快速提升——「够用的小模型」让边缘的场景面快速扩大，本库蒸馏篇）。选型的收束：边缘推理的硬件选型，核心不是「谁的 TOPS 高」，而是「谁的内存带宽够、谁的软件生态通、谁的成本结构匹配产量」——TOPS 是营销数字，带宽与生态才是工程现实。

边缘硬件的进阶实战：Jetson 与 RK3588 的部署对比

边缘硬件（正文版图）的进阶实战：Jetson 与 RK3588 的部署对比——同一模型在两块板上的部署实录。Jetson Orin 的部署路径：JetPack 的安装（CUDA 生态的边缘版——云上代码的迁移成本最低：TensorRT 的编译、llama.cpp 的 CUDA 版直跑）、模型的选择（TensorRT engine 的转换或 GGUF）、性能的实测（7B Q4 的 tok/s——Orin NX 的实测约 15-25 tok/s 量级）。RK3588 的部署路径：RKLLM 工具链（模型的转换——RKLLM 格式的转换与部署）、性能的实测（7B Q4 的 tok/s——内存带宽 30GB/s 的限制下约 8-12 tok/s）、生态的差异（NPU 的专有工具链——学习成本是 RK3588 的主要门槛）。部署对比的结论。Jetson 的优势：CUDA 生态的顺滑（云边同栈、迁移零成本）、性能的稳定。RK3588 的优势：价格（Jetson 的几分之一）、国产生态的合规。选型的收束：原型与性能敏感 → Jetson（生态顺滑省时间）；量产与成本敏感 → RK3588（单位算力的成本优势）——「原型 Jetson、量产国产板」是边缘 LLM 部署的务实接力路线。

边缘推理的运维：无人设备的更新与监控

边缘推理（正文工程差异）的运维：无人设备的更新与监控——边缘设备的「无人在场」运维。模型的 OTA 更新。差分更新（几十 GB 的模型——差分传输只传变化：带宽受限的边缘设备的必需，本库模型分发篇的边缘分发）、灰度的边缘版（先更新部分设备验证——边缘的灰度与云端的灰度同逻辑）、更新的回滚（更新失败的自恢复——边缘设备没有工程师在场）。监控的架构。状态的回报（设备的健康、模型的版本、推理的统计——边缘监控的「心跳+摘要」模式：全量日志不上传、摘要与异常上传）、离线容忍（网络断连时的本地缓存——恢复后补传）。故障的自愈。降级的自愈（模型加载失败的降级路径——回退到上一版本或更小模型）、重启的自愈（watchdog 的自动重启——本库后台智能体篇的自愈原则）、以及现场的兜底（SD 卡的双分区（A/B 分区——更新的失败自动回滚——嵌入式运维的经典模式）。边缘运维的收束：边缘推理的运维，是「云运维」在「无人、弱网、异构」条件下的强化版——OTA 差分、心跳摘要、A/B 分区自愈，三件套让边缘设备「自己照顾自己」；运维半径内无人，运维体系必须全覆盖。

边缘硬件的进阶：功耗、散热与可靠性的约束

边缘硬件（正文选型）的进阶：功耗、散热与可靠性的约束——边缘部署的三大物理约束。功耗的约束。功耗预算的刚性（边缘设备的功耗上限——电池供电的场景（功耗直接决定续航）、被动散热的场景（功耗决定温度）、以及电源的容量（边缘站点的供电预算——功耗是边缘部署的第一约束）。散热的约束。无风扇的设计（被动散热——功耗上限更低）、散热与环境温度（夏季高温的降频——环境温度 45 度时的性能与可靠性——边缘设备的环境适应范围是采购的必查项）。可靠性的约束。7×24 的运行（边缘设备的不间断运行——MTBF（平均无故障时间）与 MTTR——边缘设备的故障没有工程师在场——本库边缘运维篇）、温度循环的寿命（日夜温差的循环应力——温度循环是电子设备的寿命杀手）、以及电源的波动（边缘站点的电力质量——电压波动与断电的保护）。三大约束的收束：边缘推理的硬件选型，不只是「算力够不够」，还有「功耗在预算内吗、散热撑得住吗、可靠性达标吗」——三大物理约束是边缘与云端的本质区别：云端可以重启、加卡、换机器；边缘只有这块板、这点电、这个温度。**

边缘硬件的进阶案例：一个边缘推理节点的完整搭建

边缘硬件（正文选型）的进阶案例：一个边缘推理节点的完整搭建——从硬件到服务的过程。硬件的选型与采购：Jetson Orin NX 16G（CUDA 生态 + 性能适中——本库正文选型表的选择）。系统的搭建。步骤一：系统与运行时——JetPack 安装（CUDA + cuDNN + TensorRT 的边缘版）、llama.cpp 编译（CUDA 后端的编译）。步骤二：模型的部署——模型的量化与转换（INT4 GGUF 或 TensorRT engine——本库量化篇）、权重的本地部署（本库模型分发篇的边缘分发）。步骤三：服务的封装——推理服务的 API 封装（llama.cpp server 或自定义封装）、监控的部署（设备状态与推理指标的采集——本库边缘运维篇）。步骤四：混合策略的配置——本地任务的清单（哪些任务跑本地）、云端任务的清单（哪些任务上云）、路由的规则（本库正文混合架构的三模式）。案例的收束：边缘推理节点的搭建，是「硬件选型 + 模型部署 + 服务封装 + 混合策略」的完整工程——每个环节都有成熟方案、组合起来的门槛是「全栈的整合能力」——这个整合能力，就是边缘 AI 工程师的核心技能。

边缘推理的进阶案例：工业质检 Agent

边缘推理的进阶案例：工业质检 Agent 的部署——视觉加 LLM 的边缘组合。场景：生产线质检——视觉模型检测缺陷、LLM 生成质检报告与处置建议。架构：Jetson Orin NX（视觉推理加 LLM 推理的边缘节点）——视觉模型（缺陷检测的 CNN/YOLO——Jetson 的 CUDA 视觉栈）、LLM（Qwen-3B Q4——报告生成与处置建议）。工作流：工业相机拍图→视觉模型检测缺陷（CNN 推理毫秒级）→缺陷的类型与位置→LLM 生成质检报告（缺陷描述处置建议统计——LLM 推理秒级）→结果上传统计系统。边缘部署要点：视觉与 LLM 的资源分配（同一设备的 GPU NPU 分配——视觉模型与 LLM 的显存划分）、延迟的要求（生产线节拍——质检延迟要跟上线速——视觉是实时的 LLM 是准实时的——两者延迟预算分开设计）、离线的运行（产线不能依赖云端——全链路离线是质检场景的硬要求）。案例收束：工业质检 Agent 是边缘推理的典型应用——视觉（快而准）加 LLM（能说会道）的组合是边缘场景的黄金搭档——视觉负责看到 LLM 负责说清楚——两者组合创造了单一模型做不到的价值。