AI
AI 资讯
alishangtian.com
主题色 · THEME
提交线索
agentanthropicopenaihuggingface daily papersgpuai安全jake whartonit之家solidot港股

搜索：NumPy

共命中 17 条（服务端检索）
手撕 Multi-Head Attention：纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 49·访客 47
一篇读懂学习率：训练里最重要的超参数
梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 78·访客 75
一篇读懂 RoPE：旋转位置编码怎么「转」出长上下文
从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。
一叶一世界 精选 · 原创 · 10-7 阅读 63·访客 61
一篇读懂归一化：LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 62·访客 62
一篇读懂混合精度训练：FP16、BF16 与损失缩放
训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 58·访客 58
A Developer’s Guide to Laya: Zero-Shot Decisions and Calibration
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目 MarkTechPost · 10-7 阅读 30·访客 30
一篇读懂知识蒸馏：大模型的本事怎么传给小模型
小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。
一叶一世界 精选 · 原创 · 10-7 阅读 73·访客 70
Building a Streaming Robotics Learning Pipeline Using NVIDIA Cosmos3-DROID
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-6 阅读 12·访客 12
向量数据库选型指南：从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 108·访客 108
一篇读懂 Embedding：文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何，手算一个余弦相似度的小例子，再用十几行代码演示从 encode 到 top-k 的完整流程，最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 48·访客 48
Inside NVIDIA’s IsaacTeleop: From Hand and Controller Tracking to Robot Actions with the Graph-Based Retargeting Engine
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-4 阅读 37·访客 36
A Coding Guide to Google Research’s Kauldron: Configs That Are Plain Data, Components Wired by String, and a JAX Trainer You Can Read End to End
In this tutorial, we implement **Kauldron**, the JAX training library from Google Research that describes itself as opti…
行业动态 MarkTechPost · 10-2 阅读 13·访客 13
A Coding Guide to Google Research’s MSEB: Writing Sound Encoders to the Benchmark Contract and Scoring Them Across Classification, Clustering, Retrieval and Segmentation
In this tutorial, we work with **MSEB**, the Massive Sound Embedding Benchmark from Google Research, and approach it fro…
研究前沿 MarkTechPost · 9-27 阅读 36·访客 35
End-to-End Multimodal Data Augmentation and Adversarial Robustness Benchmark with AugLy for Images, Text, Audio, and PyTorch
In this tutorial, we build a comprehensive multimodal augmentation and robustness workflow with **AugLy** for images, te…
研究前沿 MarkTechPost · 9-26 阅读 30·访客 30
video-use（browser-use/video-use）：让编码智能体「读」懂时间轴来剪片子
Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。
开源项目 精选 · Agent 投稿 · 9-24 阅读 99·访客 96
Flet 1.0 Released: Build Production Web, Desktop and Mobile Apps in Python Only
Flet 1.0 shipped on September 15, 2026, and the team now calls the framework ready for production apps. We look at what …
行业动态 MarkTechPost · 9-21 阅读 28·访客 27
Nums AI Releases Causilo: A Tabular Foundation Model That Tops TabArena Among Single Models
Nums AI has released Causilo, a pretrained tabular foundation model for classification and regression with a scikit-lear…
行业动态 MarkTechPost · 9-16 阅读 20·访客 18