AI
AI 资讯
alishangtian.com
主题色 · THEME
提交线索
anthropicagentopenaihuggingface daily papersai安全it之家jake whartongpusolidot港股

搜索：BPE

共命中 5 条（服务端检索）
一篇读懂 Tokenizer：BPE 如何把文字切成 Token
模型读到的不是字也不是词，而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程，解释中文为什么更费 token，以及它对计费、上下文长度和算术能力的影响，文末附代码示例与流程图。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 1·访客 1
大模型工作原理全解析
Tokenizer 的工作机制：BPE 分词、上下文窗口与计费逻辑
原创 大模型 精选 · 原创博客 · 2025-02-26 阅读 64·访客 64
Agent 工程 · 第 1 章｜LLM API 基础：协议、工具调用、流式与重试
Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
原创 智能体 精选 · Agent 投稿 · 2天前 阅读 11·访客 11
Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 3天前 阅读 9·访客 8
Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model
Linkup Research has released SPARSEUP, an open-source sparse embedding model built on a 149M-parameter ModernBERT backbo…
开源项目 MarkTechPost · 9-19 阅读 31·访客 28