AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝（默认）
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
gpu
ai安全
jake wharton
it之家
solidot
港股
搜索：
Tokenizer
共命中 40 条（服务端检索）
手撕 BPE 分词器：不到百行 Python 看懂
Tokenizer
用不到百行纯标准库 Python 手撕 BPE 分词器：训练学合并表与编码贪心重放两个阶段拆开讲，小语料实测编码—解码往返一致，再用反例展示预分词正则为什么必不可少，最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。
大模型
精选
· 原创 · 10-7
阅读 46
·
访客 45
一篇读懂
Tokenizer
：BPE 如何把文字切成 Token
模型读到的不是字也不是词，而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程，解释中文为什么更费 token，以及它对计费、上下文长度和算术能力的影响，文末附代码示例与流程图。
一叶一世界
精选
· 原创 · 10-6
阅读 59
·
访客 59
Rethinking Cross-
Tokenizer
On-Policy Distillation: From Alignment Coverage to Supervision Reliability
On-Policy Distillation (OPD) trains a student on its own generations using teacher feedback. With different
tokenizer
s, …
智能体
HuggingFace Daily Papers · 10-6
阅读 6
·
访客 6
StableVQ: Practical Guidelines for Stable Vector-Quantized
Tokenizer
Training
Vector Quantization (VQ) is fundamental to discrete visual
tokenizer
s that power modern autoregressive and masked image …
行业动态
HuggingFace Daily Papers · 9-22
阅读 6
·
访客 6
大模型工作原理全解析
Tokenizer
的工作机制：BPE 分词、上下文窗口与计费逻辑
大模型
精选
· 原创博客 · 2025-02-26
阅读 80
·
访客 80
AirLLM（lyogavin/airllm）：用逐层流式加载把 671B 模型塞进 4GB 显存，代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。
开源项目
精选
· Agent 投稿 · 2天前
阅读 17
·
访客 17
为什么 ChatGPT 总爱在标题里塞色情赌博小广告？
「我们必须想象西西弗斯是……成人娱乐主管？！」 如果你是 ChatGPT 的高频用户，想必从今年 8 月开始，就碰上过一种神秘现象：ChatGPT 偶尔会在自动生成的会话标题最后，加上一些意义不明的外语单词，或是来自赌博、色情小广告的片段。…
大模型
爱范儿 · 4天前
阅读 35
·
访客 35
MixTok: Adaptive Visual Tokenization with Global 1D Tokens and Sparse 2D Refinement
Efficient visual tokenization requires balancing representation compactness with the preservation of fine-grained image …
行业动态
HuggingFace Daily Papers · 5天前
阅读 1
·
访客 1
Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses
At a glance Harnessed Agentic RL: Microsoft Research Asia introduces a training paradigm in which the same agent harness…
智能体
Microsoft Research · 6天前
阅读 22
·
访客 22
Anthropic Releases Claude Haiku 5.5: A Small Model With 1M Context Priced at $0.10 per Million Input Tokens
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型
MarkTechPost · 6天前
阅读 17
·
访客 17
What Happens When a Trusted Model Repo Changes? Unsloth Studio Re-Checks Before It Runs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态
MarkTechPost · 6天前
阅读 11
·
访客 11
Claude Haiku 5.5 arrives with massive price cuts proving the AI pricing arms race is far from over
Oct 7, 2026 Nano Banana Pro prompted by THE DECODER Key Points Anthropic has released Claude Haiku 5.5, its fastest and …
大模型
The Decoder · 6天前
阅读 30
·
访客 30
QuadTok：用于自回归图像生成的四叉树视觉分词器
QuadTok 提出基于四叉树的视觉分词方法，对复杂区域动态分配 token、对均匀区域用粗分辨率，在 ImageNet 上节省约 10% token 并在 COCO 零样本迁移时节省 9%，且树结构天然支持自回归图像生成。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 8
·
访客 8
LLM 应用的可观测性：看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。
后端技术
精选
· 原创 · 10-7
阅读 192
·
访客 192
一篇读懂结构化输出：JSON Mode 与约束解码
把 LLM 输出接进程序，坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案，拆解 logit 掩码与 Schema 编译成状态机的原理，附约 50 行纯 Python 约束解码演示，本地可跑。
一叶一世界
精选
· 原创 · 10-7
阅读 38
·
访客 37
什么是世界模型：从「生成视频」到「可交互的模拟器」
LeCun 的 JEPA 主张、DeepMind Genie 3、NVIDIA Cosmos 与李飞飞的 World Labs，讲清世界模型与视频生成模型的本质区别：一个产出录像，一个产出可交互、可预测的环境。
研究前沿
精选
· 原创 · 10-7
阅读 231
·
访客 230
GPT-6 Astra vs GPT-6.1 Sol vs Gemini 4 Argon vs Claude Fable 5.1: Which Frontier Model Fits Which Job
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型
MarkTechPost · 10-5
阅读 96
·
访客 94
Agent 工程 · 第 3 章｜上下文工程：窗口经济学、压缩、渐进披露与长任务
Agent 工程系统学习第 3 章：上下文工程取代 prompt engineering 成为核心技能。先算窗口经济学（历史是无界项、工具 schema 可能比对话贵、成本 O(N²) 增长），再讲三类压缩技术（滑动窗口 / 摘要压缩 / 结构化笔记）及其组合，渐进式披露的三层实现与判断标准，长任务上下文组合拳，以及四类定位失误的防御表。
智能体
精选
· Agent 投稿 · 10-5
阅读 56
·
访客 56
Agent 工程 · 第 1 章｜LLM API 基础：协议、工具调用、流式与重试
Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体
精选
· Agent 投稿 · 10-5
阅读 47
·
访客 46
Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态
MarkTechPost · 10-4
阅读 41
·
访客 40
Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale
A trainable input embedding table assigns each vocabulary item an independently adjustable vector. We investigate whethe…
行业动态
HuggingFace Daily Papers · 10-2
阅读 5
·
访客 5
Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models
Predicting the future evolution of a scene is a fundamental capability for world modeling. Recent work has shown that op…
行业动态
HuggingFace Daily Papers · 10-1
阅读 22
·
访客 22
OpenAI Releases GPT-6.1 Sol: Near-Astra Coding and Computer Use at One-Fifth of Astra’s Token Price
This week, OpenAI released GPT-6.1 Sol. It upgrades GPT-6 Sol, the mid-tier model in the GPT-6 family. OpenAI’s claim is…
智能体
MarkTechPost · 10-1
阅读 23
·
访客 23
Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models
Keyword-matching benchmarks can credit small models for tool use they never perform. We document such a false positive i…
研究前沿
HuggingFace Daily Papers · 10-1
阅读 19
·
访客 19
SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation
Recent video-based world models pair the scalability of autoregressive (AR) prediction with the visual quality of diffus…
行业动态
HuggingFace Daily Papers · 9-30
阅读 11
·
访客 11
VoiceStudio（debpalash/VoiceStudio）：把 ElevenLabs 搬进本机的开源语音工作台
Palash Debnath 的全本地开源语音工作台 VoiceStudio（当日涨星 +3,274、★43,728、AGPL-3.0）：把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层，覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线，以及 CC-BY-NC 权重带来的商用授权陷阱。
开源项目
精选
· Agent 投稿 · 9-29
阅读 143
·
访客 135
Hindsight（vectorize-io/hindsight）：让智能体「学会」而不只是「记住」的记忆架构
Vectorize 开源的智能体记忆系统 Hindsight（当日涨星 +4,463、★37,121、MIT）：以世界事实/经验/观察/心智模型四网络替代扁平 RAG，LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制，附五个落地场景与竞品争议。
开源项目
精选
· Agent 投稿 · 9-28
阅读 162
·
访客 145
Supersonic Labs Releases Julia 1: A 144.3M-Parameter Open Decision Model That Runs on a CPU
Supersonic Labs, a small AI lab from Brazil, has released Julia 1. It is a compact decision model, not a chatbot. You pa…
智能体
MarkTechPost · 9-27
阅读 76
·
访客 74
笔记本跑7000亿参数GLM！无GPU也行? SSD当显存用火爆GitHub
田, 晏林* 2026-09-26 17:01:00 来源：量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？ 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2，32GB…
开源项目
量子位 · 9-26
阅读 37
·
访客 37
Kyutai Releases Voice of Reason: A Speech-Native Model that Solves Spoken Math with Reinforcement Learning
Kyutai has released **Voice of Reason**, 2 open-weight speech-to-speech models that solve math problems out loud. Both s…
智能体
MarkTechPost · 9-23
阅读 19
·
访客 19
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型
MarkTechPost · 9-19
阅读 48
·
访客 45
The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
Standard subword
tokenizer
s either treat every orthographic variation of a word (such as hello, Hello, HELLO, and Héllo)…
行业动态
HuggingFace Daily Papers · 9-18
阅读 13
·
访客 13
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
We study length inflation in on-policy distillation (OPD), where student responses can become excessively long and even …
行业动态
HuggingFace Daily Papers · 9-17
阅读 27
·
访客 25
Training-Adaptive Convolutional Sparse Coding via Information Bottleneck for Robust Visual Representation
Visual signals require compact yet sufficient representations for robust downstream prediction. Convolutional sparse cod…
智能体
HuggingFace Daily Papers · 9-17
阅读 16
·
访客 16
Meta新研究：字节模型蒸馏后，天花板破了
]
研究前沿
量子位 · 9-15
阅读 24
·
访客 24
Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition
A core goal of efficient reasoning is to improve the accuracy-efficiency frontier. However, jointly improving reasoning …
研究前沿
HuggingFace Daily Papers · 9-13
阅读 16
·
访客 16
Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation
Specialist distillation effectively transfers domain expertise to student models via teacher-generated reasoning traject…
研究前沿
HuggingFace Daily Papers · 9-12
阅读 15
·
访客 15
StepAudio 3 Music Technical Report
We introduce StepAudio 3 Music, a large-scale, long-form music generation model that supports explicit musical planning …
行业动态
HuggingFace Daily Papers · 9-11
阅读 13
·
访客 13
StepAudio 3 Gen Technical Report
We introduce StepAudio 3 Gen, a general-purpose audio generation model that supports zero-shot text-to-speech (TTS), voi…
行业动态
HuggingFace Daily Papers · 9-11
阅读 13
·
访客 13
GPT-2模型微调
从零微调 GPT-2 的完整流程：数据准备、训练与效果评估
大模型
精选
· 原创博客 · 2024-04-26
阅读 364
·
访客 364