Browser Use自测: 控制浏览器Agent,人机验证是一大难点

目前，Browser Use的功能可以通过自然语言直接描述命令任务，AI便能自动执行。例如，用户只需说“打开5个Bing网页”，不再需要像以前那样写繁琐的代码来完成这一操作。

然而，当前的应用仍不够成熟，主要局限于一些简单的任务，如在特定网站上传文件、同时打开多个标签页搜索不同内容，或在HuggingFace上根据下载量排名找到特定项目等。

而我觉得这类控制浏览器的Agent，主要应该应用于自动化平台的内容发布，或者将网页数据自动化采集到本地。对于这两大应用场景，通常需要登录进入特定平台，而不像HuggingFace或Google这样可以直接搜索获取内容。

然而，由于许多网页需要进行机器人验证（例如通过勾选自行车、红绿灯等Google的reCAPTCHA验证），这让我自己手动点击都感到麻烦。另一个问题是某些应用程序需要登录验证，如豆包搜索数据需要扫码登录或者手机号登录，Twitter以及Chromium等都需要输入登录信息。如果能绕过这些验证会更方便，但目前我还没有尝试过绕过这些验证的方法。

下面是一些实际的部署和应用测试: 

01

避免环境冲突, 建议用conda专门创建一个环境, 命令行先安装

可以把Github文件直接下载下来, 里面有很多模版py文件, 可以在此基础上修改, 包括打开多个tab进行搜索,让AI查找机票等模版

可能出现Playwright错误

1234567ERROR    [browser] Failed to initialize Playwright browser: BrowserType.launch: Executable doesn't exist at Library/Caches/ms-playwright/chromium-1148/chrome-mac/Chromium.app/Contents/MacOS/Chromium╔════════════════════════════════════════════════════════════╗║ Looks like Playwright was just installed or updated.       ║║ Please run the following command to download new browsers: ║║                                                            ║║     playwright install                                     ║║                                                            ║

需要安装playwright的chromium浏览器, 不是在我们常用的Chrome浏览器操作的, 因此针对需要登录注册信息的比较麻烦

playwright安装成功后是下面分布的执行界面

自定义OpenAI API

在env环境变量修改OpenAI的OPENAI_BASE_URL, OPENAI_API_KEY , 但经测试这样会检测不到, 需要直接把api key和base url写到ChatOpenAI里

891011llm = ChatOpenAI(    model='gpt-4o',    base_url= os.getenv("OPENAI_BASE_URL"),    api_key=os.getenv("OPENAI_API_KEY "),

调用一次gpt 4o , 0.1元

Windsurf

额度, 现在把Vs code删除了, 改成Windsurf, 在IDE本身嵌入AI对话工具,不需要额外下载插件

在编写代码时, Windsurf会出现可能会用到的代码自动提示

现在也更新了AI搜索问答的功能, @链接,AI能帮你整理网页内容

通过Cascade告诉Windsurf帮我运行应用, AI就可以帮你运行了; 也可以直接说明自己想要开发的任务, AI会帮你创建各个文件,生成代码,对上下文的理解要比Cursor多一些

我自己简单测试下来对话框ai生成代码效果不如Claude,ChatGPT和豆包结合着来。 我不是程序员也没怎么敲过代码,这只是简单测试。 对专业的程序员生产力应该是有帮助的,毕竟连淘宝都有各种方案的付费链接了。 

我测试没有设置Prompt,用的默认的。 可以创建.windsurfrule文件, 设置Prompt, 让AI按照你自己的需求来回答。 后续打算再深入研究一下,反正VS code是不用再用了

豆包可以直接跟Github库连接,能够更智能地理解代码上下文，并提供更精准的建议。 但是生成的代码还是会出现明显的错误, 执行不了。 

Claude代码生成更专业更准确, 但Claude生成的代码(Claude我上传了4个browser use的使用案例)没有很好结合browser use这个库库的特点,没有太结合上下文, 右侧打开浏览器的步骤完全可以用自然语言叙述, 放在Agent的task里, Claude则没有考虑到这个框架task的作用。上面豆包考虑到了, 因为把整个Github库传输过去了。

ChatGPT则用来一些代码解释和Claude额度没有时备用

02

内容平台分发

substack需要输入网站登录信息,邮箱,密码

1314151617 task_description = (        f"go to https://pamperherself.substack.com/publish/home, "        f"enter your email:{email},click sign in with password,enter your password:{password},if the email still needed then enter your email again:{email}"        f"create a new post, paste the following content: {user_content}, "        f"add the Thistle tag, and click publish"

但是仍然有I'm not a robot验证

下图这些五颜六色的数字编号就是Browser User再起作用,让AI知道每个元素的含义进一步操作

这就是AI控制浏览器类Agent的通用问题: 怎么绕过登录和机器人验证

豆包新闻搜索

中文内容建议直接通过豆包搜索,ima搜索等AI搜索去查找, 比直接到谷歌,百度查找的信息多

搜索后会要求你登录才能查看具体搜索结果

命令行返回的结果也是搜索界面已经有的内容, 没有按照我们要求的黏度计搜索的内容

尝试遇见登录框时等待用户手动登录。 代码有问题, Browser-Use没有必要的方法, 比如下面new page, 框架库没有这个应用,不知道怎么await

await agent.browser.start()page = await agent.browser.new_page("https://www.doubao.com/chat/search")

中国微信, 小红书, 飞书这些很屏蔽的, 不会让你通过浏览器就能爬下来很多信息,而往往高质量一些的内容都在这些平台。 目前这些平台的信息,有微信公众号数据源是ima搜索, 抖音数据源是豆包搜索, 都只有在各自平台去搜索,这些平台又需要电话验证码。 

百度搜索

Ai搜索也要注册, 直接搜索信息流问题不准

直接百度搜索的大都是广告

Epilogue

整体控制浏览器的Agent还可以再等等, 看后面有没有出来专门对人机验证有完善的功能。 本以为像Browser Use这类AI控制电脑Agent是像影刀RPA一样通过屏幕来Chrome浏览器操作, 结果还是需要用playwright,用Chromium