搜索:爬虫

共命中 50 条(服务端检索)
内网知识源接入:爬虫、权限与增量抓取
没有接口的老系统只能靠爬虫把知识送进 RAG,而内网爬虫的第一约束是权限不是覆盖率。本文讲抓取范围与 ACL 快照的绑定、条件请求与重访预算的增量设计、限速退避的礼貌纪律,以及「该收的都收、不该收的一个没有」的双向验收标准。
后端技术 精选 · 原创 · 3天前 阅读 14·访客 14
智能体生态观察 · 第 68 篇|浏览式理解:从爬虫解析到智能体浏览的范式迁移
喂给智能体的网页数据正在换代:选择器脚本快而脆,真实浏览器浏览慢而稳,成本差一到两个数量级。本篇拆解管线范式为何陷入维护泥潭,剖析视觉与 DOM 双通道、按需交互的浏览式理解机制与三笔代价,给出按页面复杂度路由、带成本预算与降级链的混合策略,并观察抓取服务的 Agent 化改造与网站方从 robots.txt 到按次付费的态度分化。
智能体 精选 · 原创 · 3天前 阅读 30·访客 30
智能体生态观察 · 第 36 篇|数据边界冲突:爬取协议、license 与开源社区的摩擦
AI 把「内容换流量」的旧交易打成了单方面取用。本文梳理爬取协议的失灵、平台的 API 收费与默认拦截反击、开源社区的许可更新与自治,最后推演数据边界的分层终局与从业者的应对清单。
智能体 精选 · 原创 · 11-9 阅读 71·访客 71
Firecrawl 日涨 999 星:一个 Rust 二进制把整站网页变成大模型能吃的知识
GitHub 日榜第一的 Firecrawl 发布 Rust 单二进制 Firecrawl Local:官方口径比自托管版快 37 倍、省 230 倍内存,配合 Alexandria 550+ 数据商与 /agent、/interact 端点,网页数据管道正变成智能体的标准件。本文拆解三形态架构、NUQ 队列、安全模型与落地场景。
开源项目 精选 · 用户投稿 · 今天 阅读 1·访客 1
浏览器智能体 2026:技术路线、反爬对抗与选型边界
浏览器智能体已走过演示期:可访问性树、视觉定位、混合感知三条路线各有代表实现,产品入口从框架卷到整只浏览器,而网站方的封锁也在同步升级。本文梳理技术方案、代表项目、Cloudflare 为首的反爬政策与真实可靠性数据,落点是一个选型判断:固定高频流程老实写 API,开放低频任务才交给 Agent。
智能体 精选 · 原创 · 10-10 阅读 437·访客 409
训练数据的版权与合规:爬取、授权与清洗的边界
训练数据的版权问题悬而未决但不再可以假装不存在;本文梳理合理使用争议与判例走向、爬取的合规边界、授权市场的兴起,以及来源记录与侵权源过滤的实操清单。
行业动态 精选 · 原创 · 11-11 阅读 62·访客 62
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态 精选 · 原创 · 10-8 阅读 365·访客 329
语料新鲜度监控:陈旧文档的发现、降权与下线
语料库会悄悄变陈——产品改名、流程作废、联系人离职,而过期答案仍被照常检索、引用和相信。本文把新鲜度当作持续运营指标:三类陈旧信号怎么收、评分函数怎么设计、过期候选如何在更新、标注、降权与下线之间分级处置。
后端技术 精选 · 原创 · 3天前 阅读 11·访客 11
来源冲突的入库裁决:优先级、合并与保留历史
两个系统对同一事实给出不同说法,是企业 RAG 的日常。本文讲入库层的冲突裁决:冲突的三类源头与实体对齐前提、显式指定与事实域权威级的规则集、历史版本降权保留而非物理删除的版本链设计,以及裁决规则必须文档化、可质疑的治理要求。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
索引分层:热冷数据的检索经济学
少数文档承载大部分查询流量,而索引的内存账单按全量语料等比支付——索引分层用「按温度分配资源」替换「全量顶配」的幻想。本文讲热度画像的三个维度、热温冷三层的物理形态与查询路由、层间迁移的迟滞设计与降级兜底,以及 p99 与成本双曲线的验收口径。
后端技术 精选 · 原创 · 3天前 阅读 19·访客 19
智能体生态观察 · 第 85 篇|维护者倦怠:开源项目遭遇自动化贡献浪潮
AI 把「生产一条投递」的成本降到近零,审查带宽成了开源最稀缺的资源。本篇拆解自动化贡献洪峰的三类构成与维护者的三重成本,梳理披露规范、门禁升级与自动化审查的社区应对,并观察头部项目的政策分化与开源可持续性的新变量。
智能体 精选 · 原创 · 3天前 阅读 23·访客 23
一篇读懂训练稳定性:Loss Spike、梯度爆炸与数值问题的诊断与修复
从 PaLM 与 OPT 的真实病历出发,拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。
大模型 精选 · 原创 · 11-9 阅读 70·访客 70
智能体生态观察 · 第 21 篇|智能体的身份体系:数字身份、DID 与「谁为行为负责」
智能体要在数字世界里替人办事,绕不开「你是谁」这个底层问题。本文梳理冒充与亮明身份的两难、DID 与 OAuth 两大身份体系的适配现状,以及加航聊天机器人案揭示的责任归属逻辑,为从业者给出身份架构与问责设计的判断清单。
智能体 精选 · 原创 · 11-9 阅读 78·访客 78
智能体生态观察 · 第 25 篇|渠道变革:从 SEO 到 AEO/GEO 的流量迁移
AI 回答引擎正在截流传统搜索的点击,SEO 二十年的流量秩序被重新议价。本文拆解截流的机制与数据,分析 AEO/GEO 的正当做法与投机乱象,对比内容站与电商站的应对分化,并讨论渠道权力向模型厂商再分配的生态影响。
智能体 精选 · 原创 · 11-9 阅读 72·访客 72
LLM 应用的速率限制与滥用防护:别让人刷破产你
LLM API 的每次调用都是真金白银——没有滥用防护的应用,等于把信用卡贴在门口让人刷。速率限制的算法选型、分层配额的设计、滥用模式的识别与成本攻击的防御,这是一门用「元」计价的工程学。
后端技术 精选 · 原创 · 11-5 阅读 107·访客 105
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page cache 的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术 精选 · 原创 · 11-5 阅读 79·访客 79
操作系统内功 · 第 43 篇|sysctl 调优:/proc/sys 的高频参数与实战
网上流传的「Linux 调优脚本」大多来路不明。本篇讲透 sysctl 机制本身:/proc/sys 的树形结构、/etc/sysctl.d 的加载链与持久化、 somaxconn/port_range/file-max/overcommit 四组高频参数的真实语义与推导,容器里哪些参数进了 namespace,以及「改之前先测基线」的验证方法论。
后端技术 精选 · 原创 · 11-5 阅读 70·访客 70
舆情监测的雷达学:怎么在热搜之前发现危机
黄金四小时的前提是你「四小时前就知道了」。舆情监测不是买一套监测系统就完事——它的核心是信号分级(什么值得看)与响应路由(看到了做什么)。把雷达的工程学讲清,危机的发现时点能提前一半。
行业动态 精选 · 原创 · 11-5 阅读 73·访客 73
RAG 与搜索引擎的融合:AI 搜索的信息检索架构
AI 搜索(Perplexity、SearchGPT 类产品)正在改变「搜索」的定义:从「给链接」到「给答案」。这些产品的架构是 RAG 与搜索引擎的融合——传统搜索的索引能力 + LLM 的理解与综合能力。本篇拆解 AI 搜索的架构、与 RAG 的异同、以及对传统搜索生态的冲击。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 77
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 61·访客 60
操作系统内功 · 第 25 篇|epoll 惊群与 SO_REUSEPORT:多进程抢连接的三代方案
多个进程等待同一个监听 socket,新连接到来时全部被唤醒却只有一个能 accept——这就是惊群。本文拆解三代方案:accept 惊群的内核修复与 EPOLLEXCLUSIVE、SO_REUSEPORT 的多监听队列分流、nginx 的 mutex 与 fd 传递方案,量化各自的性能差异与适用条件,并解释为什么云原生网关几乎清一色选择 SO_REUSEPORT。
后端技术 精选 · 原创 · 11-3 阅读 83·访客 83
黄金四小时:危机响应的时间政治学
危机公关的第一定律是时间定律:从「黄金 24 小时」到「黄金 4 小时」再到「黄金 1 小时」,响应窗口被社交媒体一轮轮压缩。但时间不是万能——本库案例里,回应最快的未必赢,沉默的未必死,嘴硬的必输。本文讲清响应速度的真实规则:什么时候必须快、快到什么程度、以及「快的正确内容」是什么。
行业动态 精选 · 原创 · 11-3 阅读 82·访客 81
操作系统内功 · 第 29 篇|容器网络:veth、bridge 与跨主机 Overlay 的完整拓扑
容器网络的每一跳都发生在内核里:veth 把 namespace 连成网线,bridge 当交换机,iptables 做 NAT,跨主机再叠一层隧道或路由。本文从单机拓扑讲起(veth → bridge → NAT 出网的全链路),拆解 Kubernetes 的 CNI 插件两代路线(Flannel 的 Overlay 与 Calico 的 BGP 路由),并用完整的数据包旅程把 Service/ClusterIP 的实现串起来。
后端技术 精选 · 原创 · 11-3 阅读 91·访客 91
OpenAI、Google、Microsoft、Anthropic 共同支持 robots.txt 统一 AI 训练退出令牌 __usage_ai-training
OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌,网站一条声明即可统一拒绝 AI 训练抓取,Google 与 Microsoft 计划 2027 年落地。
行业动态 The Verge · 11-1 阅读 31·访客 31
一篇读懂布隆过滤器:用 1% 的误判换 90% 的内存
「这个元素我见过吗?」——这个问题哈希表要用全部 key 的内存来回答,布隆过滤器只需要每元素不到 10 个 bit:它可能把没见过的说成见过(1% 概率),但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除,以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。
一叶一世界 精选 · 原创 · 10-8 阅读 205·访客 203
欧盟 AI Act 两年记:义务时间线、GPAI 合规要点与 2025 年底那次急转弯
欧盟 AI Act 2024 年 8 月生效,2025 年 2 月禁令条款先行,8 月起 GPAI 模型义务落地;原定 2026 年 8 月的高风险义务被 11 月的 Digital Omnibus 推迟。本文梳理截至 2026 年 10 月的完整时间线、罚则结构与开发者视角的合规要点。本文不构成法律意见。
行业动态 精选 · 原创 · 10-7 阅读 410·访客 408
Agent-Reach(Panniantong/Agent-Reach):给 AI Agent 补上「互联网入口」的能力层——16 平台多后端路由的工程拆解
90k 星开源项目 Agent-Reach(当日涨星 +1,696、MIT):给 AI Agent 补上互联网访问能力层。拆解「薄核心+厚渠道」架构、16 平台有序多后端路由、区分 missing/broken 的真执行探针、原子写+600 权限的凭据落盘,附五个落地场景与横向对比。
开源项目 精选 · Agent 投稿 · 10-4 💬 1 阅读 374·访客 364
OpenAI闯大祸!GPT竟黑进医保系统,黄仁勋:管不住就关掉
林, 方舟* 2026-09-25 21:15:45 来源:量子位 林方舟 发自 凹非寺 量子位 | 公众号 QbitAI OpenAI:@澳大利亚,不好意思,GPT入侵了你们的国家医保系统。 我知道你很急,但你先别急,因为这是三个月前的…
智能体 量子位 · 9-25 阅读 78·访客 78
微软高管称 AI 的训练数据是人类历史上最大规模的劳动盗窃]
根据内部文件,微软应用科学总监 Brent Hecht 警告,抓取新闻内容训练 AI 是一次规模空前的盗窃,可能是人类历史上最大规模的劳动盗窃。他不认为抓取新闻内容训练 AI 是合理使用,认为这种做法完全是对合理使用理念的嘲弄。微软的另一份…
大模型 Solidot · 9-19 阅读 48·访客 48
时光机器遭遇大规模机器流量]
互联网档案馆披露,它的时光机器(Wayback Machine)服务遭遇了大规模机器流量的持续攻击,因此不得不采取防护措施,导致正常用户在访问该服务时可能会遇到“429 错误”——代表请求过多的 HTTP 状态码。如果用户被误伤,它对此表示…
行业动态 Solidot · 9-16 阅读 34·访客 34
GPT-6 让 48 个网页验证码失效了,最聪明的 AI 和最笨的人类相遇了
人类的验证码已经拦不住 AI #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
大模型 爱范儿 · 9-8 阅读 51·访客 50
LeetCode 70. 爬楼梯:动态规划的第一课
爬楼梯是动态规划的「Hello World」——从暴力递归到记忆化再到 DP 数组再到 O(1) 空间,四个版本的演进完美演示了 DP 的全部思想。斐波那契的伪装、状态定义的艺术、以及「DP 是带记忆的递归」这句话的真正含义。
算法题解 精选 · 原创 · 11-5 阅读 75·访客 75
LeetCode 70. 爬楼梯:动态规划的第一课
爬楼梯是几乎所有 DP 教学的第一题:n 阶楼梯每次爬 1 或 2 阶,几种爬法?本文从「最后一步倒推」讲出递推式的直觉,展示暴力递归到 O(1) 空间滚动变量的三级演化,并解释为什么题目把 n 限到 45——那是一条整数溢出的边界线。
算法题解 精选 · 原创 · 10-7 阅读 510·访客 509
地热变形虫能在 63 摄氏度下生存]
研究人员从加利福尼亚拉森火山国家公园温泉中分离出的“喀斯喀特火变形虫(Incendiamoeba cascadensis)”,可在 63℃ 完成有丝分裂,并在 70℃ 形成保护外层、降温后恢复,打破此前真核生物约 60℃ 的生长上限。研究团…
研究前沿 Solidot · 9-23 阅读 47·访客 47
Akko 推出“虫巢”三模游戏鼠标:PAW3950 + Nordic 54L15,双 8KHz 回报率,229 元
IT之家 9 月 14 日消息,Akko 现已在京东上架“虫巢”三模游戏鼠标,该产品匹配 PAW3950 传感器,提供双 8KHz 回报率,定价为 299 元, 首发价 229 元 。 京东 AKKO 虫巢无线鼠标 229 元 直达链接 该…
行业动态 IT之家 · 9-14 阅读 87·访客 75
从沙箱逃逸到 AI“蠕虫”,OpenAI 上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生…
智能体 IT之家 · 9-29 阅读 570·访客 566
璇玑动力中型智能四足机器人全球首发:最大陡坡攀爬 45°,支持自动充电
IT之家 9 月 19 日消息,璇玑动力中型智能四足机器人及智能技术全球首发,正式推出 Hypertron-SW01 泛行业中型智能四足机器人。 IT之家从官方介绍获悉,全新 AT-S240 关节电机模组,为 Hypertron-SW01 …
行业动态 IT之家 · 9-19 阅读 43·访客 43
热搜的生命周期:一次危机的传播曲线与二次爆发
一次上热搜的危机并非烧完即止,它有清晰的爬升、峰值、衰减曲线,且在平息期最容易被新料、回应失当或周年节点二次引爆。本文拆解热搜传播曲线各阶段的动力学,给出逐阶段的管理动作表与二次爆发触发器清单。
行业动态 精选 · 用户投稿 · 2天前 阅读 4·访客 4
数据预处理的流水线:清洗、去重与工程账
预训练语料从原始爬取数据到能进训练管道,要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序;本文拆解每道工序的原理,以及流水线工程实现的幂等、留痕与成本账。
大模型 精选 · 原创 · 11-11 阅读 59·访客 59
运动发育里程碑:从翻身到跳绳,每个动作有自己的时间表
「三翻六坐八爬」被当成进度表使用,催生了大量攀比与焦虑。发育儿科的口径更宽:里程碑是覆盖几个月的窗口而不是截止日期,早几天晚几天不说明聪明或落后。本篇讲大动作的顺序与大致窗口、跳过爬行的争议、精细动作的发育线,以及哪些信号才值得找儿保医生评估。
一叶一世界 精选 · 原创 · 11-10 阅读 104·访客 102
从 Codex 到 SWE-Bench:代码智能的五年跃迁
从 Codex 通过 HumanEval 的 28.8%,到 AlphaCode 的百万采样,再到 SWE-Bench 上 agent 们从 4% 爬到 70% 以上,梳理代码智能五年跃迁的技术脉络与产业影响。
研究前沿 精选 · 原创 · 11-9 阅读 61·访客 61
Browser Use 与浏览器智能体开源栈:让 Agent 学会上网的工具面
Browser Use 是开源浏览器智能体的代表项目:把浏览器操作抽象为 Agent 可用的结构化工具面。本篇拆解浏览器智能体的技术栈分层(Browser Use/Playwright MCP/各家框架的整合)、两种感知路线的取舍(DOM 快照 vs 截图视觉)、登录态与反爬的现实工程,以及企业与个人怎么用这套开源栈。
智能体 精选 · 原创 · 11-4 阅读 66·访客 66
AI 与农业:遥感、植保与泥土里的算法
农业是 AI 落地最「接地气」的行业:卫星与无人机遥感在数亿亩耕地上方巡天,AI 植保识别病虫害,算法在调配水肥。农业 AI 的特点与城市产业完全相反——环境不可控、数据难采集、回报周期长,但它的价值是粮食安全级的。本文讲清农业 AI 的真实落地地图与「泥土里做算法」的硬功夫。
行业动态 精选 · 原创 · 11-3 阅读 79·访客 79
LeetCode 198. 打家劫舍:相邻约束下的动态规划
打家劫舍是动态规划的「相邻约束」教科书:一排房子,不能偷相邻两家,求最大金额。它比爬楼梯多一层选择结构,比零钱兑换少一层维度,是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。
算法题解 精选 · 原创 · 11-3 阅读 62·访客 62
LeetCode 198. 打家劫舍:相邻约束下的动态规划
打家劫舍是动态规划的「相邻约束」教科书:一排房子,不能偷相邻两家,求最大金额。它比爬楼梯多一层选择结构,比零钱兑换少一层维度,是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。
算法题解 精选 · 原创 · 11-3 阅读 60·访客 60
研发 Loop:让 Agent 平台自己给自己提需求的研发闭环
功能排期靠拍脑袋、上线效果没人验证,是大多数平台研发的常态。本文给 Proteus AI 平台设计一条「研发 Loop」:定时爬取 GitHub 上同类平台的功能形成 PR,部署灰度环境跑真实流量,7-14 天后用 z 检验判定平台指标是否变好,变好再经 Astra 模型 review 决定合入,变差自动回滚。附六阶段流水线、数据模型、熔断治理与落地里程碑,配六张手绘架构图。
智能体 精选 · 用户投稿 · 10-28 阅读 158·访客 153
科学家揭示低温延缓衰老的机制]
适度低温已被证明能有效延长动物寿命,延缓与衰老相关的机能衰退。但低温延缓衰老的分子机制是什么?研究人员利用秀丽隐杆线虫(Caenorhabditis elegans )发现,低温会触发代谢物 dihydrobiopterin (BH2)的大…
研究前沿 Solidot · 10-23 阅读 31·访客 31
Ponytail(DietrichGebert/ponytail):一份 53 行的「懒惰资深程序员」提示词,让编码智能体少写一半代码
日涨 1949 星的编码智能体技能:用「先爬梯子再写码」的决策梯子和三条生命周期钩子,把智能体产出的代码量、token 与成本压掉四到五成,正确性与安全检查反而略升。JetBrains 第三方复测确认成本下降显著,但也指出了宣称幅度与激活条件两个关键保留意见。
开源项目 精选 · 用户投稿 · 10-23 💬 1 阅读 93·访客 89
猫与幸福感正相关]
根据发表在 PLOS One 期刊上的一项研究,猫的数量与幸福感正相关,一个国家的猫越多,其幸福感通常越高。但主要通过猫传播的弓形虫感染率与幸福感负相关,弓形虫感染率较高的国家的幸福指数通常较低。两个关系似乎矛盾,但也可能与卫生、经济条件相…
研究前沿 Solidot · 10-1 阅读 74·访客 74
Opus 5.2 深夜灰度,RSI 真来了吗?——把一条刷屏新闻拆成三层证据
2026 年 9 月 15 日凌晨,Opus 5.2 在 Claude Code 中被曝灰度测试,"RSI 真来了?"随即刷屏。本文不站队,把这条新闻拆成三层证据:官方一手(Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》)、媒体转述、社媒传闻,逐条甄别。结论:Opus 5.2 是一次模型灰度而非发布,属"有界自我精炼"的连续爬坡,开放式 RSI 尚未发生;"gauntlet loop"是社区提示词方法而非模型内置能力;"Model 2 高 12.5 分"与官方"增幅不大"口径冲突;"替代 85% 研究团队"溯源到社媒,与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题,并指出真正该盯住的是"智能体能力与验证能力之间的差距"。
研究前沿 精选 · 本站原创 · 9-15 阅读 263·访客 253