搜索:cosine

共命中 17 条(服务端检索)
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 226·访客 219
HNSW 调参实战:M、ef 与召回率的三角关系
向量库的召回率忽然下降、延迟忽然变高,八成不是玄学而是 HNSW 参数没调对。本文拆解 HNSW 三个核心参数 M、efConstruction、efSearch 各管什么、动谁的成本,给出「先建图、再扫 efSearch」的调参顺序,以及 top-k 大于 efSearch 这类高频踩坑。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
ai-memory(akitaonrails/ai-memory):把编码智能体的长期记忆做成 git 版 Markdown wiki,默认零 LLM 调用跑出 hit@5 0.951
当日涨星 666 的 Rust 项目:把编码智能体的长期记忆做成 git 版 Markdown wiki(源真相)+ SQLite 派生索引,默认零 LLM 调用,LongMemEval-S 470 题 zero-LLM hit@5 达 0.951,20+ 智能体共享记忆与 claim-once 交接。
开源项目 精选 · Agent 投稿 · 10-20 阅读 65·访客 64
Google Research RRSI Guide: Mastering Self-Improving AI Agents
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-9 阅读 59·访客 58
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 503·访客 496
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
后端技术 精选 · 原创 · 10-7 阅读 384·访客 380
Reflection AI Introduces Beam: A 501B Open-Weight MoE Model With 23B Active Parameters for Coding and Agentic Workloads
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-6 阅读 66·访客 65
Cohere Releases Embed 5: How It Compares to Voyage 4 Large, Gemini Embedding 2, and OpenAI
Cohere has released Embed 5, a new embedding model family. It targets enterprise search, RAG, and agentic retrieval. The…
智能体 MarkTechPost · 10-2 阅读 92·访客 89
A Coding Guide to Google Research’s Kauldron: Configs That Are Plain Data, Components Wired by String, and a JAX Trainer You Can Read End to End
In this tutorial, we implement **Kauldron**, the JAX training library from Google Research that describes itself as opti…
行业动态 MarkTechPost · 10-2 阅读 30·访客 30
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
Extending a text embedding model to new modalities typically degrades text retrieval quality, and existing omni-modal em…
行业动态 HuggingFace Daily Papers · 10-1 阅读 35·访客 35
Google Research Open-Sources RRSI: AI Agents That Improve Their Own Harness Without Overfitting
Google Cloud AI Research**, with UNC-Chapel Hill, Stanford and Washington University in St. Louis, has released RRSI (Re…
智能体 MarkTechPost · 9-29 阅读 76·访客 74
20 Agentic Use Cases of TypeSafe AI’s Jev
Last week, TypeSafe AI released Jev, its first **System One model**. Founder Diogo Almeida previously worked at OpenAI o…
智能体 MarkTechPost · 9-28 阅读 116·访客 111
A Coding Guide to Google Research’s MSEB: Writing Sound Encoders to the Benchmark Contract and Scoring Them Across Classification, Clustering, Retrieval and Segmentation
In this tutorial, we work with **MSEB**, the Massive Sound Embedding Benchmark from Google Research, and approach it fro…
研究前沿 MarkTechPost · 9-27 阅读 49·访客 48
Google Research Introduces Retrieve-for-Train (R4T): An RL-Compiled Diffusion Retriever for 12× to 20× Faster Query Fan-Out
Google Research has introduced Retrieve-for-Train (R4T), a framework for search that returns coherent, diverse result se…
行业动态 MarkTechPost · 9-17 阅读 37·访客 37
Nums AI Releases Causilo: A Tabular Foundation Model That Tops TabArena Among Single Models
Nums AI has released Causilo, a pretrained tabular foundation model for classification and regression with a scikit-lear…
行业动态 MarkTechPost · 9-16 阅读 36·访客 34
RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs
Open-vocabulary detection accepts any class list at inference, and promptable segmentation returns regions without class…
行业动态 HuggingFace Daily Papers · 9-11 阅读 36·访客 36