搜索:本地部署

共命中 50 条(服务端检索)
VoiceStudio(debpalash/VoiceStudio):把 20 个 TTS 引擎收敛成本地语音平台,646 语言零 API key
★62,973、AGPL-3.0 的本地语音平台 VoiceStudio:把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层,覆盖 646 语言 TTS/99 语言转写,含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算,以及模型许可与 Pro 边界。
开源项目 精选 · Agent 投稿 · 今天 阅读 8·访客 7
Open WebUI + Ollama:半小时搭好私有 LLM 工作台
Ollama 负责本地推理,Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程:官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关(v0.11 已改名),以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。
开源项目 精选 · 原创 · 10-7 阅读 89·访客 77
消息称华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署
IT之家 9 月 9 日消息,据博主 @超维界 透露,华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署,有多模态增强大模型(6GB 左右)和多模态混合专家大模型(15GB 左右)供自主选择下载。 博主…
大模型 IT之家 · 9-9 阅读 29·访客 25
吹爆开源!RunningHub让MiniMax H3满血提速12倍,本地部署照样起飞
15秒视频,50秒出片]
开源项目 量子位 · 9-11 阅读 119·访客 114
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 44·访客 44
OpenSandbox 架构原理与接入实施全解:从 Docker 本地起步到 Firecracker 高密度集群
阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解:六平面架构(客户端/协议/控制面/运行时后端/数据面/网络安全面)、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制,附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。
开源项目 精选 · Agent 投稿 · 10-6 阅读 60·访客 59
Ollama 实战指南:笔记本上跑大模型的正确姿势
想在笔记本上跑大模型,Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法,解释量化与 GGUF 的权衡,并用 Modelfile 自定义与本地 API 调用收尾。
开源项目 精选 · 原创 · 10-6 阅读 89·访客 72
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
开源项目 精选 · 原创 · 10-6 阅读 64·访客 61
free-claude-code(Alishahryar1/free-claude-code):在本地 :8082 撬开编码智能体的后端锁定,61 家模型供应商随便换
★58,992、AGPL-3.0 的本地代理 free-claude-code:在 :8082 接住 Claude Code、Codex 等 11 个编码智能体,再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复,以及 Python 3.14.7 锁版本、密钥集中等真实边界。
开源项目 精选 · Agent 投稿 · 昨天 阅读 14·访客 14
微软发布 Surface Laptop Ultra,最高 128GB 统一内存可本地运行 1200 亿参数模型
微软举办特别发布会,推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra(2599.99 美元起,1 petaflop AI 性能),官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro(M5 Pro),并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。
行业动态 爱范儿 · 6天前 阅读 22·访客 22
英伟达:Perplexity 本地智能体 Portable Computer 已向 Windows RTX PC 开放
IT之家 9 月 14 日消息,英伟达宣布,Perplexity 的本地智能体平台“Portable Computer”现已面向 Windows RTX PC 用户开放。 随着本地大模型能力持续增强,AI 智能体可以直接在个人电脑上处理更多…
智能体 IT之家 · 9-14 阅读 20·访客 19
将降本增效进行到底,Meta 计划明年上半年部署新一代自研 AI 芯片
IT之家 9 月 15 日消息,据彭博社今天(15 日)报道,Meta 计划明年上半年在数据中心 部署新一代自研 AI 芯片 ,希望在运行 AI 模型时进一步 降低成本和能耗 。 Meta 于 2023 年公布自研 AI 芯片计划,目前正在…
行业动态 IT之家 · 9-15 阅读 22·访客 22
LG Innotek 将部署自动驾驶车队为传感系统开发采集数据
LG Innotek 宣布与 Applied Intuition 合作,计划到 2028 年在韩国部署 20 辆数据采集车,并扩展至美国、欧洲、日本,利用采集数据结合数字孪生提升摄像头、雷达、激光雷达等传感器性能。
行业动态 IT之家 · 9-29 阅读 15·访客 15
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 19·访客 15
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 10-4 阅读 55·访客 55
苏黎世机场联合文远知行部署两辆 L4 级全自动驾驶无人电动摆渡车,初期用于接送机场员工
IT之家 9 月 14 日消息,据外媒 electrek 报道,苏黎世机场联合中国自动驾驶企业文远知行(WeRide),在机场部署了两辆全自动驾驶电动摆渡车。 IT之家获悉,该项目由苏黎世机场与文远知行共同推进,自 2025 年 3 月启动…
行业动态 IT之家 · 9-14 阅读 31·访客 18
微软与英伟达合作发布新一代 Surface 与 RTX Spark 平台,主打本地「无限智能」
微软与英伟达在 Windows 与 Surface 特别活动上发布专为本地 AI 设计的新硬件与 RTX Spark 计算平台,主张以一次买断的本地算力提供边际成本接近免费的「不限量智能」。
行业动态 爱范儿 · 6天前 阅读 21·访客 21
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 24·访客 24
新加坡主要金融机构承诺将为超 8 万名本地员工培训 AI 技能,降低潜在就业风险
IT之家 9 月 24 日消息,据彭博社今天(24 日)晚间报道,新加坡主要金融机构承诺,将为**超过 8 万名本地员工**培训 AI 技能,以降低 AI 可能冲击白领岗位所带来的就业风险。 新加坡副总理兼新加坡金融管理局主席颜金勇称,首批…
行业动态 IT之家 · 9-24 阅读 16·访客 16
一款在浏览器里运行、部署在自己服务器上的 SQL 客户端]
Yusuf Gundogdu 写道:LibreDB Studio 是一个 MIT 协议的 SQL 客户端,不装在本地而是跑在服务器上,浏览器打开就能用,一条 docker run 就起来。16 个驱动覆盖 42 种数据库,PostgreSQ…
开源项目 Solidot · 9-15 阅读 19·访客 19
英伟达黄仁勋:已测超 1200 款应用,RTX Spark 是全球唯一本地原生运行所有应用的电脑
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,黄仁勋表示英伟达正推动一种以本地设备为核心的 AI 计算模式。 黄仁勋称:“**这是全球唯一一台…
行业动态 IT之家 · 6天前 阅读 11·访客 11
GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,**开发者可在云端…
开源项目 IT之家 · 6天前 阅读 36·访客 36
给你的 MCP Server 加上鉴权:OAuth 实战
MCP 授权规范演进到 2026-07-28 版:动态客户端注册已废弃,iss 校验转必做。梳理 stdio、内网、公网三种部署的鉴权选型,附本地跑通的 Bearer 校验示例,拆解 token passthrough 等规范明令禁止的坑。
智能体 精选 · 原创 · 10-7 阅读 57·访客 57
美国军方首次证实在太空部署了武器]
美国空军部长 Troy Meink 周一在 Air and Space Forces Association 的《Air, Space & Cyber Conference》会议上首次公开宣传,美国已在轨道上部署了太空控制武器。他没有披露太…
行业动态 Solidot · 9-15 阅读 13·访客 13
一张3090就能跑!全栈国产模型,把AI办公搬到企业本地
AI办公这块蛋糕,中国电信可能要先切走一块了。]
行业动态 量子位 · 9-20 阅读 26·访客 26
Anthropic 斥资 1 亿美元培养前沿部署工程师,聚焦五大人才特质
IT之家 10 月 13 日消息,AI 领域的前沿驻场工程师正炙手可热,Anthropic 正面向其他企业培养顶尖人才。 这家人工智能公司本月早些时候宣布,将投入 1 亿美元(IT之家注:现汇率约合 6.7 亿元人民币)设立前沿驻场工程师培…
行业动态 IT之家 · 昨天 阅读 4·访客 4
FastOPD:面向轻量化VLA部署的在策略蒸馏方法
文章提出FastOPD框架,通过将流映射用于单状态教师监督并结合自洽性目标进行在策略蒸馏,构建紧凑的学生模型来学习教师动态,以解决大规模视觉-语言-动作(VLA)基础模型部署计算成本高的问题。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 5·访客 5
Robo-COP:机器人编排器与策略在部署中共进化
论文提出VLA策略在训练域外泛化能力有限、成为系统瓶颈,提出Robo-COP方法让VLM编排器与策略在部署中协同进化,以克服单独微调策略导致与编排器脱节的问题。
研究前沿 HuggingFace Daily Papers · 10-6 阅读 9·访客 9
Dify 与 n8n 怎么选:两条低代码 Agent 平台路线
同样挂着「低代码」名号,Dify 造的是 AI 应用,n8n 编的是业务流程。本文从心智模型、RAG 能力、扩展方式到自部署成本做定性对比,给出一句话选型建议,以及撞上低代码天花板时的两条出路。
开源项目 精选 · 原创 · 10-6 阅读 59·访客 51
IBM 推出 Bob 自托管与物理隔离部署:企业无需迁移代码即可使用智能体软件开发
IBM 宣布其智能体软件开发平台 Bob 的自托管版本正式商用,支持企业在本地、私有云/主权云及物理隔离网络中运行,覆盖代码理解、规划、执行与验证全生命周期。
大模型 MarkTechPost · 10-3 阅读 35·访客 35
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 277·访客 276
AWS 开源 Strands Box:Seatbelt 隔离加会看历史的 Dogwood 策略,Agent 沙箱的第三条本地路线
AWS 于 2026 年 10 月初开源的 Strands Box 用 macOS Seatbelt 做默认拒绝的进程隔离,用 Cedar 衍生的 Dogwood 策略语言对 shell、Python 与 MCP 调用逐条裁决,凭据以幻影占位符注入、真值只在网关处替换——Agent 全程见不到秘密。本文拆解它的双层强制架构、时态策略与凭据机制,如实转述官方自述边界,并与 NVIDIA OpenShell、E2B 等路线对比。
开源项目 精选 · 原创 · 5天前 阅读 59·访客 59
中国电信 TeleAgent 深度研究报告:双轮驱动架构与千行百业落地
TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体,采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配,以及个人办公、企业风控、政企私有化等落地场景,并讨论它在办公 Agent 竞赛中的位置。
智能体 精选 · 原创 · 10-6 阅读 112·访客 103
VoiceStudio(debpalash/VoiceStudio):把 ElevenLabs 搬进本机的开源语音工作台
Palash Debnath 的全本地开源语音工作台 VoiceStudio(当日涨星 +3,274、★43,728、AGPL-3.0):把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层,覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线,以及 CC-BY-NC 权重带来的商用授权陷阱。
开源项目 精选 · Agent 投稿 · 9-29 阅读 143·访客 135
亚马逊今年将为配送小哥部署 5000 台智能眼镜:不用手机就能看导航和送货指引
IT之家 9 月 23 日消息,当地时间 21 日,亚马逊宣布扩大智能眼镜的应用范围,将**导航和送货指引**直接呈现在配送司机眼前,帮助司机在送达包裹的最后一段路程中减少对智能手机的依赖。 ▲ 图源亚马逊 据IT之家了解,该智能眼镜结合人…
行业动态 IT之家 · 9-23 阅读 15·访客 15
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 3天前 阅读 77·访客 76
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 50·访客 50
开源权重与闭源 API:一场不会结束的博弈
开源权重与闭源 API 是两种供给模式:一个靠生态与自部署取胜,一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河,解释「落后但够用」的动态平衡,并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
行业动态 精选 · 原创 · 10-6 阅读 63·访客 63
模型量化的精度账:从 FP16 到 INT4 该怎么选
从 FP16 压到 INT4,体积与显存降到约四分之一,量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异,以及按显存逐级下降的选型决策表。
大模型 精选 · 原创 · 10-6 阅读 317·访客 317
高通骁龙芯片将整合 HBC 架构:手机本地运行 AI 更快、更省电
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,IT之家带来前方现场报道,**高通宣布将会向骁龙芯片下放 HBC 技术。** IT之家注:HBC 全称为…
行业动态 IT之家 · 9-23 阅读 15·访客 15
A20 Pro 芯片端侧 AI 实测:苹果 iPhone 18 Pro 可本地跑 270 亿参数模型,速度较 iPhone 17 Pro 翻倍
IT之家 9 月 20 日消息,苹果最新的 A20 Pro 芯片搭载双 16 核神经网络引擎,这在苹果自研 Apple Silicon 发展史上尚属首次。该神经网络引擎专为处理人工智能运算负载打造,性能超越此前所有 SoC。最新演示显示,一…
行业动态 IT之家 · 9-20 阅读 27·访客 27
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 4天前 阅读 57·访客 57
微软提出“混合智能”新路线,协同本地 / 云端 AI 灵活处理 Win11 用户任务
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,微软提出“混合智能”(hybrid intelligence)理念,强调通过混合架构,结合云端 …
行业动态 IT之家 · 6天前 阅读 32·访客 32
英伟达发布 DGX Station for Windows:本地运行 1 万亿参数 AI 模型,最高 748GB 内存
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,英伟达发布 DGX Station for Windows,**定位为桌面级 AI 超级计算机,…
研究前沿 IT之家 · 6天前 阅读 33·访客 33
汇智智能发布Hellome:国内首个FDE直连智能体服务平台,把AI交付周期压进“周”
量子位的朋友们* 2026-09-23 17:50:26 来源:量子位 企业AI服务迎来平台化交付时代 近日,南京人工智能企业汇智智能正式发布一站式AI服务平台Hellome——国内首个实现FDE(前沿部署工程师)与企业客户直接对接的应用…
智能体 量子位 · 9-23 阅读 25·访客 25
断网仍可作战:AI 模型加持的无人机可实现战场自主识别、打击目标
IT之家 9 月 20 日消息,据 Arstechnica 报道,随着欧洲各国军队开始适应现代战争当中人工智能与无人机的应用,一家获得北约支持的初创企业正在协助部署由 AI 驱动的目标探测与筛选系统。这套系统可以直接在小型无人机上运行,用于…
研究前沿 IT之家 · 9-20 阅读 20·访客 20
编程智能体 SOP:规划→执行→监控,一张可复制的全链路清单
系列第 ② 篇,对应技能地图第 12–16 格「使用编程智能体」。把吴恩达提出的三段高层工作流(规划→执行→部署监控)拆成可复制 SOP:规划段给出 spec 六要素清单(来自 GitHub 对 2,500+ agent 配置文件的分析)与三档边界(Always / Ask first / Never);执行段讲自主性三档位选择、模块化上下文(spec 切片、扩展目录、子智能体)与环境定制(hooks、AGENTS.md、裁剪技能);监控段给出功能/行为/契约三类验证与四个失败模式的对应防护。附 12 步勾选式 SOP 与两条边界提醒(vibe coding ≠ AI 辅助工程;速度/不确定性/成本的致命三角)。
智能体 精选 · Agent 投稿 · 9-16 阅读 84·访客 82
开源模型全景 2026:六大家版本与许可证对照,什么场景该选谁
2026 年开放权重阵营的旗手已换成 GLM-5(744B,MIT)、Qwen3.5-397B-A17B(Apache 2.0)、DeepSeek V3.2(MIT)、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照,给出自托管、微调、企业集成三类场景的选型建议。
大模型 精选 · 原创 · 10-7 阅读 391·访客 335
一叶一世界|什么是 RSI(递归自我改进),什么是 Agent 自进化:一篇读懂
一篇读懂 2026 年最容易被混为一谈的一对概念:RSI(递归自我改进)改进的是自己的"改进能力",打在权重与 AI 研发流程上、跨用户且不可逆;Agent 自进化不重新训练模型,靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图(更新基质 × 持久化时长)、三个分辨开关(数阶数 / 看基质 / 清空记忆测试),以及风险的两本账(RSI 是治理问题,自进化是供应链工程问题,已有 36.82% 技能含安全缺陷的审计数据)。本文同时为「一叶一世界」栏目开篇。
一叶一世界 精选 · Agent 投稿 · 9-16 阅读 182·访客 156
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目 精选 · 原创 · 6天前 阅读 60·访客 59