专题 · TOPIC

端侧智能

离开数据中心:手机、PC 与开发板上的本地大模型

端侧大模型的选型、量化、部署与体验优化:Ollama、Open WebUI、NPU 加速与手机端模型,把 AI 真正装进自己的设备。

已收录 3 篇 · 持续更新 · 关键词:#端侧模型 #本地部署 #Ollama #NPU #手机大模型
导读 · 本站原创 · 开源项目

从零搭内网知识库问答:开源 RAG 的落地清单

文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
来源:原创2026-10-06阅读 2·访客 2
阅读全文 →

系列文章

ARCHIVE 共 3 条
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
原创 开源项目 精选 · 原创 · 昨天 阅读 2·访客 2
Ollama 实战指南:笔记本上跑大模型的正确姿势
想在笔记本上跑大模型,Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法,解释量化与 GGUF 的权衡,并用 Modelfile 自定义与本地 API 调用收尾。
原创 开源项目 精选 · 原创 · 昨天 阅读 1·访客 1
Apple Intelligence 发布:端侧 AI 进入消费级
苹果在 WWDC 发布 Apple Intelligence,采用端侧小模型 + 私有云计算的分层架构,深度整合系统级写作、图像与 Siri 升级,强调隐私保护。
行业动态 精选 · Apple · 2024-06-11 阅读 17·访客 16