搜索:NumPy

共命中 30 条(服务端检索)
手撕 Multi-Head Attention:纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向(含 causal mask),45 行核心代码;附逐步形状账与参数量核算,三个实测断言验证因果依赖、softmax 归一与参数量,全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 280·访客 277
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 557·访客 549
一篇读懂 RoPE:旋转位置编码怎么「转」出长上下文
从自注意力不识顺序的痛点讲起,用二维复数把旋转位置编码的推导一次讲透:内积为何只依赖 m−n、高维频率如何分配,配一份本地跑通的 numpy 最小实现与整体平移不变性实验,再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。
一叶一世界 精选 · 原创 · 10-7 阅读 332·访客 323
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 573·访客 572
原子结构的三维等变网络:让旋转进入神经网络的几何规则
原子结构在整体旋转后不应改变能量,力却必须跟着旋转。三维等变网络把这种几何关系写入表示与消息传递,而不依赖大量旋转增强。本文从 TFN 的球谐滤波讲到 NequIP 的能量与力,再看 MACE 如何扩展高阶邻居相互作用,并界定数据效率、精度与泛化结论的适用范围。
研究前沿 精选 · 原创 · 昨天 阅读 7·访客 7
原子势的主动学习:把昂贵的 DFT 标签用在最需要的位置
训练原子势时,盲目增加随机结构不一定改善目标轨迹。主动学习从模型分歧、偏差或任务相关价值中挑出待标注构型,再用 DFT 回填数据并迭代训练。本文拆解探索—筛选—标注闭环,解释不确定性采样的盲点,并结合 DP-GEN 与材料科学主动学习综述,给出暂停、校准和审计建议。
研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
MMR 与检索多样性:top-k 不该是十份复印件
向量检索的 top-k 天然爱扎堆:五条高相似结果常是同一件事的五种改写,把上下文窗口挤成复印机房。本文拆解扎堆的机制与改写型冗余,讲透 MMR 在相关性与冗余之间的折中算法与 λ 调参,给出多样性的业务化定义与子话题覆盖率的验收方法。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
Meta FAIR Releases e-means: An Algorithm Beating k-means in 10x Fewer Epochs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-11 阅读 40·访客 40
一篇读懂 LLM 应用的 A/B 测试:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型 精选 · 原创 · 11-9 阅读 55·访客 54
语义分块:超越固定长度的智能切块策略——从句子边界到语义边界的进化
固定长度切块的原罪是切断语义,本文拆解语义断点检测、命题级分块、Late Chunking 三条进化路线,以及如何用检索指标科学评测分块质量。
后端技术 精选 · 原创 · 11-9 阅读 67·访客 67
一篇读懂 LLM 输出的确定性:种子、缓存与可复现性
同一个输入为什么每次输出不同:采样随机性、浮点非结合性、批处理与推理栈三层来源,以及 seed 的 best-effort 本质、温度 0 的陷阱与可复现工程实践。
大模型 精选 · 原创 · 11-9 阅读 52·访客 52
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型 精选 · 原创 · 11-9 阅读 63·访客 63
Python 还是 TypeScript:Agent 开发的语言与运行时选择
Agent 开发的两大语言生态各有地盘:Python 统治研究与数据侧,TypeScript 统治 Web 与产品侧。本篇拆解两个生态的框架、SDK 与运行时差异,按场景给出选型框架,并论证「团队栈比语言优劣更重要」的现实主义结论。
智能体 精选 · 原创 · 11-4 阅读 46·访客 46
父子检索:小块负责找得准,大块负责答得全
向量检索的粒度是个两难:块太小匹配得准但上下文残缺,块太大上下文完整但语义被稀释。父子检索(small-to-big)用「小块检索、大块生成」把两个诉求拆开——索引里存的是子块,命中后回父块。本文讲清它的原理、三种常见形态、最小实现与工程取舍。
大模型 精选 · 原创 · 11-2 阅读 73·访客 73
HNSW 调参实战:M、ef 与召回率的三角关系
向量库的召回率忽然下降、延迟忽然变高,八成不是玄学而是 HNSW 参数没调对。本文拆解 HNSW 三个核心参数 M、efConstruction、efSearch 各管什么、动谁的成本,给出「先建图、再扫 efSearch」的调参顺序,以及 top-k 大于 efSearch 这类高频踩坑。
大模型 精选 · 原创 · 11-2 阅读 50·访客 50
How to Run Underdog Saluki 27B: 2-Bit Qwen3.8-27B Tool-Calling Guide
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 10-25 阅读 37·访客 37
Graphify(Graphify-Labs/graphify):把代码库编译成可遍历的知识图谱,查询 token 降 71.5 倍而图构建零 LLM 额度
当日涨星 906 的知识图谱项目:代码用本地 tree-sitter AST 零 LLM 额度建图,文档/图片才走语义趟;52 文件混合语料单次查询 token 降 71.5 倍,LOCOMO recall@10 0.497,每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。
开源项目 精选 · Agent 投稿 · 10-21 阅读 118·访客 104
A Developer’s Guide to Laya: Zero-Shot Decisions and Calibration
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目 MarkTechPost · 10-7 阅读 62·访客 62
一篇读懂知识蒸馏:大模型的本事怎么传给小模型
小模型学的是大模型的「能力」而非权重:讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩,以及学生上限与闭源 ToS 等边界。
一叶一世界 精选 · 原创 · 10-7 阅读 751·访客 695
Building a Streaming Robotics Learning Pipeline Using NVIDIA Cosmos3-DROID
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-6 阅读 71·访客 71
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 1,542·访客 1,538
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 542·访客 541
Inside NVIDIA’s IsaacTeleop: From Hand and Controller Tracking to Robot Actions with the Graph-Based Retargeting Engine
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-4 阅读 110·访客 108
A Coding Guide to Google Research’s Kauldron: Configs That Are Plain Data, Components Wired by String, and a JAX Trainer You Can Read End to End
In this tutorial, we implement **Kauldron**, the JAX training library from Google Research that describes itself as opti…
行业动态 MarkTechPost · 10-2 阅读 38·访客 38
A Coding Guide to Google Research’s MSEB: Writing Sound Encoders to the Benchmark Contract and Scoring Them Across Classification, Clustering, Retrieval and Segmentation
In this tutorial, we work with **MSEB**, the Massive Sound Embedding Benchmark from Google Research, and approach it fro…
研究前沿 MarkTechPost · 9-27 阅读 54·访客 53
End-to-End Multimodal Data Augmentation and Adversarial Robustness Benchmark with AugLy for Images, Text, Audio, and PyTorch
In this tutorial, we build a comprehensive multimodal augmentation and robustness workflow with **AugLy** for images, te…
研究前沿 MarkTechPost · 9-26 阅读 49·访客 49
video-use(browser-use/video-use):让编码智能体「读」懂时间轴来剪片子
Browser Use 开源的会话式视频剪辑技能包 video-use(当日涨星 +745、★26,450、MIT):不让模型看像素,只让它读 12KB 词级转写文本 + 按需抽查画面,配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路,附五个落地场景与成本口径。
开源项目 精选 · Agent 投稿 · 9-24 阅读 166·访客 163
Flet 1.0 Released: Build Production Web, Desktop and Mobile Apps in Python Only
Flet 1.0 shipped on September 15, 2026, and the team now calls the framework ready for production apps. We look at what …
行业动态 MarkTechPost · 9-21 阅读 57·访客 54
Nums AI Releases Causilo: A Tabular Foundation Model That Tops TabArena Among Single Models
Nums AI has released Causilo, a pretrained tabular foundation model for classification and regression with a scikit-lear…
行业动态 MarkTechPost · 9-16 阅读 42·访客 40