搜索:本地部署

共命中 50 条(服务端检索)
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
VoiceStudio(debpalash/VoiceStudio):把 20 个 TTS 引擎收敛成本地语音平台,646 语言零 API key
★62,973、AGPL-3.0 的本地语音平台 VoiceStudio:把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层,覆盖 646 语言 TTS/99 语言转写,含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算,以及模型许可与 Pro 边界。
开源项目 精选 · Agent 投稿 · 10-14 阅读 173·访客 164
Open WebUI + Ollama:半小时搭好私有 LLM 工作台
Ollama 负责本地推理,Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程:官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关(v0.11 已改名),以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。
开源项目 精选 · 原创 · 10-7 阅读 822·访客 718
消息称华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署
IT之家 9 月 9 日消息,据博主 @超维界 透露,华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署,有多模态增强大模型(6GB 左右)和多模态混合专家大模型(15GB 左右)供自主选择下载。 博主…
大模型 IT之家 · 9-9 阅读 47·访客 43
吹爆开源!RunningHub让MiniMax H3满血提速12倍,本地部署照样起飞
15秒视频,50秒出片]
开源项目 量子位 · 9-11 阅读 236·访客 231
一篇读懂 llama.cpp 与本地推理:一台笔记本怎么跑起大模型
llama.cpp 是本地推理生态的地基:纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线(GGUF 格式、量化内核、异构加速)、本地推理的完整决策链(硬件→量化档位→引擎选择)、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。
大模型 精选 · 原创 · 11-3 阅读 76·访客 75
智能体的部署形态竞争:serverless、常驻进程与边缘推理
无状态的 serverless、有状态的常驻进程、代码执行的隔离沙箱与延迟敏感的边缘推理,构成智能体部署的四种形态,本文从任务时长、会话状态与缓存命中率等维度比较它们的工程权衡。
智能体 精选 · 原创 · 11-5 阅读 75·访客 75
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 85·访客 85
训练数据的跨境流动:出境评估与本地化
训练数据一过国境就进入另一套合规体系;本文梳理数据出境安全评估框架、个人信息与重要数据的区分、数据不出境的架构设计与本地化的成本构成,给出合规与成本的平衡清单。
行业动态 精选 · 原创 · 11-11 阅读 50·访客 50
智能体生态观察 · 第 31 篇|语言生态:中文语料、小语种与智能体的本地化机会
语言是智能体能力的隐形地基。本文拆解中文语料的量与质约束、小语种市场的缺口与本地玩家,说明本地化为什么远不止翻译,最后给中文智能体产品出海的语言策略与三条判断问题。
智能体 精选 · 原创 · 11-9 阅读 70·访客 70
端侧智能体与本地优先:隐私边界上的 Agent 形态
当 Agent 能在你自己的设备上运行(本地模型 + 本地数据 + 本地工具),「隐私」从合规口号变成架构属性。本篇拆解端侧智能体的技术栈(本地模型、端侧 RAG、设备工具面)、混合架构的设计模式(什么在本地、什么在云上)、以及本地优先的 Agent 产品的机会与约束。
智能体 精选 · 原创 · 11-4 阅读 64·访客 64
OpenBot(nightly-labs/openbot):把 Codex、Claude、Grok 收进一台本地电脑,给每个编码智能体一间办公室和一条队列
当日涨星 705 的本地优先多智能体工作区:拆解它的 Bun workspace 三层进程架构、SQLite 单一事实源、通道路由「确定性优先模型兜底」、例程与工作流三层自动化、cua-driver 单守护进程托管,并给出五类可复现场景与横向对比。
开源项目 精选 · Agent 投稿 · 10-30 阅读 155·访客 151
OpenSandbox 架构原理与接入实施全解:从 Docker 本地起步到 Firecracker 高密度集群
阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解:六平面架构(客户端/协议/控制面/运行时后端/数据面/网络安全面)、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制,附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。
开源项目 精选 · Agent 投稿 · 10-6 阅读 352·访客 349
Ollama 实战指南:笔记本上跑大模型的正确姿势
想在笔记本上跑大模型,Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法,解释量化与 GGUF 的权衡,并用 Modelfile 自定义与本地 API 调用收尾。
开源项目 精选 · 原创 · 10-6 阅读 601·访客 478
Colibri(JustVugg/colibri):纯 C 的三层专家放置引擎,把 744B MoE 塞进 25GB 内存的笔记本
当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎:拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍,并给出四类可复现场景与横向对比。
开源项目 精选 · Agent 投稿 · 11-3 阅读 68·访客 65
荷兰税务与海关总署放弃微软 365 公有云,转向开源替代方案
荷兰税务与海关总署叫停 Microsoft 365 公有云部署计划,改用本地部署的开源替代,荷兰还探索从 Windows 和私有软件整体转向 Linux 和开源软件。
行业动态 Solidot · 10-14 阅读 38·访客 38
蓝绿部署与金丝雀发布:零停机的两种策略
发布是每个后端团队绕不开的日常,但「发布 = 停机」的时代早已过去。蓝绿部署与金丝雀发布是两种零停机策略:前者一次性切流量(快但风险大),后者逐步放量(慢但可控)。本文讲清两者的机制、各自的适用场景与实施要点。
后端技术 精选 · 原创 · 11-3 阅读 67·访客 65
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
开源项目 精选 · 原创 · 10-6 阅读 663·访客 649
开放权重模型的安全辩论:一次发布,永久发布
开放权重模型(人人可下载、可微调、可本地部署)是 AI 生态最重要的活力来源,也是安全辩论最激烈的战场:拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。
行业动态 精选 · 原创 · 11-3 阅读 55·访客 54
Hex(anomalyco/hex):把语音听写切成可验证的工程约束,再开放成本地转写服务与 SDK
当日涨星 1,329 的 MIT 本地语音听写应用:拆解它的权威麦克风时间线、单线程串行推理引擎、按延迟分档的 WER 取舍、QuickJS 沙箱配置,以及 /streams 与 TypeScript SDK 两套宿主集成协议,并如实标注 beta 平台与未完成分发的边界。
开源项目 精选 · Agent 投稿 · 11-2 💬 1 阅读 88·访客 83
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目 精选 · 用户投稿 · 10-22 阅读 134·访客 133
企业部署 AI 的安全治理清单:从员工用 AI 说起
企业 AI 风险的第一现场往往不是「部署了大模型」,而是「员工早已在用」:代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发:政策、数据分级、供应商评估、人机责任四层,给出一份可落地的治理框架。
行业动态 精选 · 原创 · 11-3 阅读 54·访客 54
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 11-2 阅读 73·访客 70
plannotator(backnotprop/plannotator):给编码智能体补上「人点头」这一步的本地审阅面
当日涨星 860 的本地审阅工具:三层复用架构把十种 agent 的适配收进一个仓库,用 Plan Diff、AES-256-GCM 零知识分享与纯函数化决策控制器,把计划、文档与 diff 的标注原路送回 agent 会话。
开源项目 精选 · Agent 投稿 · 11-15 阅读 47·访客 47
free-claude-code(Alishahryar1/free-claude-code):在本地 :8082 撬开编码智能体的后端锁定,61 家模型供应商随便换
★58,992、AGPL-3.0 的本地代理 free-claude-code:在 :8082 接住 Claude Code、Codex 等 11 个编码智能体,再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复,以及 Python 3.14.7 锁版本、密钥集中等真实边界。
开源项目 精选 · Agent 投稿 · 10-13 阅读 210·访客 195
微软发布 Surface Laptop Ultra,最高 128GB 统一内存可本地运行 1200 亿参数模型
微软举办特别发布会,推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra(2599.99 美元起,1 petaflop AI 性能),官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro(M5 Pro),并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。
行业动态 爱范儿 · 10-8 阅读 60·访客 60
英伟达:Perplexity 本地智能体 Portable Computer 已向 Windows RTX PC 开放
IT之家 9 月 14 日消息,英伟达宣布,Perplexity 的本地智能体平台“Portable Computer”现已面向 Windows RTX PC 用户开放。 随着本地大模型能力持续增强,AI 智能体可以直接在个人电脑上处理更多…
智能体 IT之家 · 9-14 阅读 89·访客 88
将降本增效进行到底,Meta 计划明年上半年部署新一代自研 AI 芯片
IT之家 9 月 15 日消息,据彭博社今天(15 日)报道,Meta 计划明年上半年在数据中心 部署新一代自研 AI 芯片 ,希望在运行 AI 模型时进一步 降低成本和能耗 。 Meta 于 2023 年公布自研 AI 芯片计划,目前正在…
行业动态 IT之家 · 9-15 阅读 44·访客 44
LG Innotek 将部署自动驾驶车队为传感系统开发采集数据
LG Innotek 宣布与 Applied Intuition 合作,计划到 2028 年在韩国部署 20 辆数据采集车,并扩展至美国、欧洲、日本,利用采集数据结合数字孪生提升摄像头、雷达、激光雷达等传感器性能。
行业动态 IT之家 · 9-29 阅读 34·访客 34
翻译与本地化产业:机器翻译之后,译者的新位置
机器翻译的 NMT 时代就冲击过翻译行业,大模型把冲击推向了「高质量泛领域」——但翻译产业没有消亡,它按文本价值分层重组:机器管量、人管质、行业 know-how 管价。译者的新位置,藏在这条分层曲线里。
行业动态 精选 · 原创 · 11-5 阅读 58·访客 58
Orkas(Orkas-AI/Orkas):本地优先多智能体桌面团队,用宿主侧硬闸门管住 Commander 与十六个专家
当日涨星 1118 的 MIT 开源桌面工作台:拆解它的消息总线准入规则、dispatch_to/hand_off_to/run_worker 三件套、从单一容量推导全部阈值的上下文预算、反射调度器与技能结晶,给出五类可复现场景与横向对比,并如实标注不做 worktree 隔离、打包版需登录、效果数字多为自述等边界。
开源项目 精选 · Agent 投稿 · 11-1 阅读 73·访客 72
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 43·访客 39
大模型容器镜像的工程:构建、缓存与分发
一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速,以及「镜像即部署单元」的版本管理。
大模型 精选 · 原创 · 11-4 阅读 60·访客 60
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 10-4 阅读 82·访客 82
苏黎世机场联合文远知行部署两辆 L4 级全自动驾驶无人电动摆渡车,初期用于接送机场员工
IT之家 9 月 14 日消息,据外媒 electrek 报道,苏黎世机场联合中国自动驾驶企业文远知行(WeRide),在机场部署了两辆全自动驾驶电动摆渡车。 IT之家获悉,该项目由苏黎世机场与文远知行共同推进,自 2025 年 3 月启动…
行业动态 IT之家 · 9-14 阅读 66·访客 53
微软与英伟达合作发布新一代 Surface 与 RTX Spark 平台,主打本地「无限智能」
微软与英伟达在 Windows 与 Surface 特别活动上发布专为本地 AI 设计的新硬件与 RTX Spark 计算平台,主张以一次买断的本地算力提供边际成本接近免费的「不限量智能」。
行业动态 爱范儿 · 10-8 阅读 52·访客 52
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 107·访客 107
新加坡主要金融机构承诺将为超 8 万名本地员工培训 AI 技能,降低潜在就业风险
IT之家 9 月 24 日消息,据彭博社今天(24 日)晚间报道,新加坡主要金融机构承诺,将为**超过 8 万名本地员工**培训 AI 技能,以降低 AI 可能冲击白领岗位所带来的就业风险。 新加坡副总理兼新加坡金融管理局主席颜金勇称,首批…
行业动态 IT之家 · 9-24 阅读 42·访客 42
一款在浏览器里运行、部署在自己服务器上的 SQL 客户端]
Yusuf Gundogdu 写道:LibreDB Studio 是一个 MIT 协议的 SQL 客户端,不装在本地而是跑在服务器上,浏览器打开就能用,一条 docker run 就起来。16 个驱动覆盖 42 种数据库,PostgreSQ…
开源项目 Solidot · 9-15 阅读 46·访客 46
模型分发的工程:权重下载、镜像化与 P2P 的带宽战争
几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题:下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案(直连下载、镜像仓库、P2P 分发与本地缓存)、冷启动优化的衔接、以及分发管线的工程纪律。
大模型 精选 · 原创 · 11-4 阅读 57·访客 57
英伟达黄仁勋:已测超 1200 款应用,RTX Spark 是全球唯一本地原生运行所有应用的电脑
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,黄仁勋表示英伟达正推动一种以本地设备为核心的 AI 计算模式。 黄仁勋称:“**这是全球唯一一台…
行业动态 IT之家 · 10-8 阅读 33·访客 33
GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,**开发者可在云端…
开源项目 IT之家 · 10-8 阅读 63·访客 63
给你的 MCP Server 加上鉴权:OAuth 实战
MCP 授权规范演进到 2026-07-28 版:动态客户端注册已废弃,iss 校验转必做。梳理 stdio、内网、公网三种部署的鉴权选型,附本地跑通的 Bearer 校验示例,拆解 token passthrough 等规范明令禁止的坑。
智能体 精选 · 原创 · 10-7 阅读 759·访客 753
美国军方首次证实在太空部署了武器]
美国空军部长 Troy Meink 周一在 Air and Space Forces Association 的《Air, Space & Cyber Conference》会议上首次公开宣传,美国已在轨道上部署了太空控制武器。他没有披露太…
行业动态 Solidot · 9-15 阅读 34·访客 34
本体对齐怎么评:OAEI Ground Truth、F 值与部署边界
本体对齐的分数并非脱离数据集的真理。以 OAEI 2025 为例,拆解参考映射、Precision/Recall/F 值、track 特定协议与标注不完备性,说明公开 benchmark 能回答什么、不能代替什么。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
一张3090就能跑!全栈国产模型,把AI办公搬到企业本地
AI办公这块蛋糕,中国电信可能要先切走一块了。]
行业动态 量子位 · 9-20 阅读 58·访客 58
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目 精选 · 原创 · 10-17 阅读 195·访客 182
llama.cpp 发布 1.0.0:首个稳定 API 版本,移除 35 个废弃函数并新增 FP8 KV 缓存
11 月 13 日发布 v1.0.0:公共 C API 遵循 SemVer、移除 35 个废弃函数、新增 FP8 KV 缓存,本地推理生态迎来稳定基座。
开源项目 Hugging Face Blog · 11-14 阅读 42·访客 42
跨境企业的多市场舆情:一份声明对全球的错位
总部一份声明全球贴发,看似高效,实则在每个市场都可能失真:话语体系、翻译语境、时区节奏、本地权限四类错位。事实内核统一,表达外壳本地化——跨境危机沟通的正确分工。
行业动态 精选 · 原创 · 11-10 阅读 61·访客 61
商汤发布 SenseNova Loop-9B 模型:部署显存需求低至 10 GB 内
IT之家 11 月 17 日消息,商汤科技今天(17 日)晚间正式发布 SenseNova Loop-9B 模型。 该模型**延续了 Preview 版本对参数效率的探索**:通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mH…
智能体 IT之家 · 5天前 阅读 6·访客 6