小红书没有开放数据接口,想扒一个话题下的笔记数据,只能一篇篇手点。
我没写爬虫,也没学命令,只发了不到 100 个字。
浏览器丢给 AI,它自己滚屏、翻笔记、碰到登录墙喊我搭把手,把整理好的表格端到我面前。
一条链接,一句需求
先说清楚我面对的麻烦。
我想摸一摸”AI 工具”这个话题在小红书上的内容生态——哪些笔记火、博主怎么起标题、都爱打什么标签,给自己的选题做点参考。问题是小红书没有对外的开放数据接口,第三方工具要么收费、要么数据残缺。剩下的笨办法只有一个:一篇篇点开笔记,记下点赞收藏,抄下标签,几十篇翻完眼都花了。
我给 AI 的第一句话,几乎就是大白话:
给你一个小红书的话题链接,用 agent-browser 把这一页的笔记整理成表格:标题、博主、点赞、收藏、评论。
后面跟一条链接。就这些。
我没告诉它怎么打开页面,没教它怎么解析 DOM,更没说”先定位第几个卡片、再读哪个数字”。它自己把活拆了:
打开链接,先用 snapshot 把页面结构读出来;发现是个瀑布流,笔记得往下滚才会继续加载,于是它一边滚一边抓;每冒出一批卡片就用一段 JS 把标题、博主、互动数据批量抠下来;最后拼成一张 Markdown 表。
终端里它的动作大概长这样(标题是示意,非真实账号):
> agent-browser snapshot -i
- link "3个免费AI工具,效率直接翻倍 |赞 2.3万" [ref=e12]
- link "AI写作神器盘点,第3个绝了 |赞 1.1万" [ref=e13]
- link "保姆级:用AI做PPT全流程 |赞 8923" [ref=e14]
...(瀑布流,滚动加载更多)
> eval --stdin # 边滚动边批量抓卡片
结果:抓到 30+ 篇笔记
最后交回来的表格,标题、博主、点赞、收藏、评论一应俱全,30 多行。
我从头到尾只干了一件事:把链接贴进去。
它凭什么能”看懂”网页
这里值得停一下,因为很多人对”AI 操作浏览器”的第一反应是:它得把整个网页吞进去吧?那得多少 token?
agent-browser 是 Vercel 开源的一个浏览器自动化命令行工具,专门为 AI 设计。它的聪明之处,是没有把整张网页的”无障碍树”(accessibility tree)一股脑塞给模型,而是只留下能交互的元素,再给每个挂一个短编号:
- button "查看笔记" [ref=e9]
- textbox "搜索笔记" [ref=e8]
想点哪个,AI 就说一句 click @e9。不用写 CSS 选择器,不用 XPath,不用等 DOM 稳定下来——这个编号就钉死了那个元素。
这一刀砍下去,效果有多狠,看图就明白:
公开评测里有组很扎眼的数字。同样一个页面,传统的 Playwright MCP 回吐 8000 多个字符,agent-browser 只用 280 个。点一下按钮,前者把整页状态再回一遍、上万字符;后者就回俩字:Done,6 个字符。一整套 6 步的操作跑下来,上下文体积砍掉 82.5%,同样的预算能多跑 5.7 倍的循环。
更阴的是开机成本。基于 MCP 的浏览器工具,光是把自己的工具说明塞进上下文,就先吃掉一两万 token——Playwright MCP 约 1.3 万,Chrome DevTools MCP 约 1.7 万,你还啥都没干呢。agent-browser 走命令行,AI 直接用 bash 调,这部分是 0。
这背后是 Vercel 一个挺反直觉的发现:他们做数据库智能体时,本来堆了 17 个专用工具,后来砍到只剩 2 个,成功率反而从 80% 飙到 100%,token 还省了快四成。结论是他们自己的原话——“我们一直在限制模型的推理,因为我们不信任它会推理”。工具越少、噪音越小,模型反而想得越清楚。
省 token 不是抠门。token 省下来,意味着同一段对话里 AI 能多滚几屏、多点几篇、多扛几轮,不会半路把上下文撑爆然后开始犯傻。这就是为什么我那条链接能一路追问到底——它有预算去探索。
顺带一提,agent-browser 还有个常驻后台进程,第一条命令把浏览器拉起来之后就一直留着,后面每条命令都接着用,不用反复冷启动。这也是它快的原因之一。
整套链路串起来是这样:去程是 AI 发的一条短命令,回程是一段被压缩过的精简文本,浏览器始终在线,上下文却几乎不增重。
追问,追问,再追问
第一张表拿到手,我没收工,直接追了第二句:
点进点赞最高的那几篇,把正文和话题标签都抓下来。
我依然没给步骤。它自己摸索的过程,比我预想的有意思得多:
它逐个点开点赞靠前的笔记卡片,进详情页再 snapshot 一次,把正文文本和底下那串 #话题标签 一并提出来;翻到一半撞上了登录墙——小红书弹窗,要登录才能看更多。它没硬刚,回我一句”这里需要登录态”,我手动扫码登录,它接着往下跑(agent-browser 能把登录状态保持住,后面不用反复登)。
接着我又追了第三句,同样没几个字:
统计这些笔记都打了哪些标签,哪些出现最多;顺便看看爆款标题有什么共性。
它当然知道该干嘛:把所有 #标签 用正则抽出来,做词频统计、排序,拉出一张高频标签榜;标题那边它也归纳了几个套路——数字打头(”3个””5款”)、强诱惑词(”免费””保姆级””绝了”)、痛点加解法的结构。它顺手补了一句:点赞过万的那几篇,几乎都踩中了”数字 + 免费/保姆级”这个组合。
三轮下来,我说的话加起来不到 40 个字,换回来一份带正文、标签、互动数据,外加标题套路提炼的选题分析。
这里藏着第一条、也是最重要的一条经验:给目标,别给步骤。
| 别这么说 ❌ | 换成这么说 ✅ |
|---|---|
| 打开 URL,定位第 N 个卡片的 class,取文本…… | 把这页笔记整理成表格 |
用 querySelectorAll 抓所有 a 标签…… |
点进点赞最高的几篇,抓正文和标签 |
| 把数据写进 json 再逐行解析…… | 统计哪些标签出现最多 |
你一旦开始规定步骤,就等于把自己当成了项目经理,还得是个懂每一步细节的项目经理——那 AI 的价值就缩水成一个手脚。反过来,你只交代”要什么”,把”怎么做”整个让出去,它才有空间去拆解、去试错、去绕过你根本想不到的坑。
一句”写成 Skill”,把探索变成资产
追问到第三轮我已经挺满意了。但真正值钱的一步是第四句:
把刚才这套——给个小红书话题链接,抓笔记、提标签、统计高频词和标题套路——写成一个 skill,放在当前目录。
AI 把整段对话里探索出来的东西——前置条件、瀑布流怎么滚动加载、登录态的提醒、标签正则、字段规范、输出格式——全压成了一份结构化的 SKILL.md。
这一下质变了。前面那几十次滚动、点击、踩过的登录墙、归纳的标题套路,本来散在一长串对话里,关掉窗口就烟消云散。固化成 Skill 之后,下次换个话题、甩来另一条链接,AI 照着这份说明就能跑完一轮选题分析,不用再从头摸索。
一次性的探索,是消耗品;固化成 Skill 的探索,是资产。
这条经验单拎出来就够用:当你发现某个操作以后大概率还要再做,就说一句”把刚才的操作写成 skill”。AI 会把过程里踩的坑、摸出的门道,一并打包成下次的起点。
“重点错了”:一句话让它重写整篇
故事还没完。我又让它把这次折腾写成一篇复盘文档,配上截图——它真就自己回到关键页面截图、组织结构、调接口把文档建出来了。
但它第一版写歪了。
它写成了一篇规规矩矩的技术教程:agent-browser 有哪些命令、那段 JS 怎么写、标签正则长啥样……全是”工具怎么用”。这恰恰不是我想要的。我想讲的是人怎么跟 AI 把这件事聊成的——工具只是中间环节,对话本身才是主角。
我没有逐段去改它的措辞,只回了一句话,意思是:重点错了,我要的是”怎么跟 AI 沟通达成目的”,agent-browser 只是顺手用的工具,所以聊天的过程才是核心,重写。
它立刻把整篇推倒,重心从”工具”挪到了”对话”。
这件事本身,就是一次沟通示范:当 AI 的产出方向不对,别陷进去抠细节,退一步把”重点应该是什么”讲清楚,它会重新理解意图、整篇返工。 你纠正的是方向,不是字句。盯着字句改,你会越改越累,还容易把它带进沟里。
把这几条经验摆一起看
回头看整条链路,从一条链接到一篇文档,一共六轮对话:
值得带走的就那么几条,都不玄:
给目标,不给步骤。 你说清楚要什么,把怎么做让出去。前面那张对照表就是全部秘诀。
用追问逐步深入。 别想一口气把需求说全。先看第一步的结果,再决定下一步要啥——抓笔记列表、点进正文提标签、统计高频词、固化 Skill,每一步都是看到上一步的产出之后才长出来的。这跟人协作其实一模一样。
出问题时只描述现象。 弹窗挡住了,你就说”这里弹了个登录框过不去”,不用替它诊断”是不是要带 cookie”。把现象抛给它,让它自己查——它见过的报错比你多。
重复的活,固化成 Skill。 一句”写成 skill”,把这次的探索变成下次的起点。
这四条背后是同一个心智模型:你是出题的人,AI 是解题的人。你越想替它解题,它越解不好。
哪些地方它会翻车
吹完了,得说点冷的。这套玩法很爽,但远不是”贴个链接就高枕无忧”,几个坑得记牢。
它会”自信地跳过”,也会”自信地编”。 被登录墙挡住的笔记,AI 判断进不去就跳过了——大多数时候没错,但”跳过”意味着那部分是空的,它不会主动敲锣告诉你”这里缺了一块”。再说那些点赞收藏数,抓到的只是某一刻的快照,瀑布流要是没滚到底,尾巴上的笔记也会漏。关键数字,抽样核一下,别全盘照单全收。
等待逻辑还嫩。 agent-browser 还很年轻,碰上接口返回后才弹出来的内容、懒加载才出现的元素,经常得你显式让它”等一下”再继续。这方面 Playwright 那套成熟的等待机制要稳得多。它胜在省 token、胜在简单,不胜在面面俱到。
反爬和登录墙是它的软肋。 agent-browser 在”配合型”的页面上最顺手;小红书这类社区,反爬严、有登录墙和验证码,它没法替你硬闯。靠谱的玩法是你自己先登录、让它保持登录态,在你的会话里按人的节奏慢慢翻,而不是开个无人值守的进程去刚风控。真要大规模、高频抓,分分钟被封,那也不是它的强项。选工具看场景,下面这张表摆清楚了各自的脾气:
守规矩这条,比技术更重要。 抓公开能看到的信息、压低频率、只用于自己的选题研究,守住平台的 robots 协议和使用条款;别去碰用户隐私数据,别把扒来的内容商用倒卖,更别拿别人的原创笔记洗稿。这不是法务套话,是能让你睡安稳的底线。
一句话:AI 把脏活累活包了,但”准不准、合不合规”这道关,还得你自己守。
跑题一下:和 AI 的对话,本身就是产物
最后想顺着这次经历,抛个更大的问题。
这一趟下来,我手里多出来的不只是一张表、一个 Skill、一篇复盘。还有一样东西差点被顺手丢掉——整个探索过程本身:哪些标签真的火、爆款标题踩中了什么套路、哪条路走不通、为什么最后这么收口。
这些信息全散在一轮轮对话里。我要是想分享给同行、沉淀成一套”选题方法论”、或者三个月后回头问自己”上次那个话题是怎么拆的”,还得手动翻聊天记录、重新整理。
可这件事本来不该这么费劲。传统笔记是事后凭记忆拼凑;而和 AI 的对话天生就是结构化的——有明确的输入(我的指令)、明确的输出(它的产出)、清清楚楚的中间过程(每一次工具调用)。在这之上做一层自动提炼,技术上几乎是现成的。
于是几个方向就冒出来了。
能不能有个 Skill,对话一结束就自动提炼:做了什么、发现了什么、定了什么、还欠什么?直接生成一份复盘。能不能一键把”问题 → 探索 → 结论”那条主线分享出去,而不是甩一长串日志给别人。再往深一点:当你某个判断被质疑,能不能溯源回”当初和 AI 讨论时,掂量过哪些选项、为什么挑了这个”,让对话成为决策的可追溯依据。
说到底,如果每个人都在跟 AI 的对话里解决问题,这些对话里的知识该怎么流动出去?是不是该有个”AI 对话精华库”,让别人趟过的路,变成你的起点。
我没有答案。但我越来越觉得,下一个值得做的 Skill,可能就是让 AI 帮你整理”你和 AI 到底聊了什么”。
写在最后
回到开头那条没有 API 的链接。
放在以前,研究一个话题就是大半天的手工活:一篇篇点开笔记、抄点赞收藏、记标签、再人肉找规律,中途还得忍着别看花眼。这次我的全部输入不到 100 个字,AI 替我滚完了整页瀑布流、点进几十篇笔记、扛过登录墙、统计出高频标签和标题套路,还附赠一个能复用的 Skill。
但这篇文章真正想说的,不是 agent-browser 多能打。工具会一直换,今天是它,明天可能是别的。不变的是那条分工线:
你负责想清楚”要什么”,AI 负责搞定”怎么做”。
agent-browser 这种工具的意义,是把”没有 API”这道墙拆掉了——只要人能在浏览器里点出来的东西,AI 就能替你点出来,而且更快、更少漏。但能不能把它用好,不取决于你背了多少命令,取决于你会不会说话:把目标讲清楚,把步骤让出去,方向错了及时拨一下。
AI 不是工具的替代品,是工具的编排者。你当好那个出题的人就够了。
参考与延伸
- agent-browser:Vercel 开源的浏览器自动化命令行工具(GitHub 搜
vercel-labs/agent-browser),核心是无障碍树快照 +@eN元素编号 - 同类对比:Playwright MCP(微软)、Chrome DevTools MCP(Google)——重型自动化、深度调试更强,但上下文开销大
- Vercel 博客《We removed 80% of our agents’ tools》——“工具越少,模型推理越好”的来源
- 本文 token 对比数据来自 agent-browser 公开评测及 Pulumi、dev.to 等第三方实测,具体数字以你自己的场景为准
- 合规提醒:抓取任何平台数据前,先看清该平台的 robots 协议与使用条款,控制频率、仅作个人研究,别触碰隐私与版权红线