搜索:BPE

共命中 10 条(服务端检索)
手撕 BPE 分词器:不到百行 Python 看懂 Tokenizer
用不到百行纯标准库 Python 手撕 BPE 分词器:训练学合并表与编码贪心重放两个阶段拆开讲,小语料实测编码—解码往返一致,再用反例展示预分词正则为什么必不可少,最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。
大模型 精选 · 原创 · 10-7 阅读 435·访客 431
一篇读懂 Tokenizer:BPE 如何把文字切成 Token
模型读到的不是字也不是词,而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程,解释中文为什么更费 token,以及它对计费、上下文长度和算术能力的影响,文末附代码示例与流程图。
一叶一世界 精选 · 原创 · 10-6 阅读 460·访客 455
大模型工作原理全解析
Tokenizer 的工作机制:BPE 分词、上下文窗口与计费逻辑
大模型 精选 · 原创博客 · 2025-02-26 阅读 164·访客 164
EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
We present EvenVLM, the first text and multimodal (VQA) dataset for Even (Lamut), an endangered Northern Tungusic langua…
行业动态 HuggingFace Daily Papers · 11-12 阅读 4·访客 4
一篇读懂长尾能力:模型在稀有任务上的表现与改进
模型对高频任务对答如流、对稀有任务频频翻车:幂律数据的统计根源、tokenization 不公平、知识存取瓶颈,以及数据、训练、推理三个层面的干预手段。
大模型 精选 · 原创 · 11-9 阅读 54·访客 54
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 11-3 阅读 65·访客 54
Hugging Face Releases Carbon-X, a 14B Open DNA Language Model that Brings DNA and Natural Language Together for the First Time
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-26 阅读 49·访客 48
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 348·访客 342
Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-4 阅读 76·访客 75
Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model
Linkup Research has released SPARSEUP, an open-source sparse embedding model built on a 149M-parameter ModernBERT backbo…
开源项目 MarkTechPost · 9-19 阅读 64·访客 61