免费POC, 零成本试错
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


我要投稿

AI 操控手机,在极空间NAS部署类“豆包手机助手”... 支持安卓/IOS/模拟器

发布日期:2025-12-23 14:03:06 浏览次数: 1539
作者:可爱的小Cherry

微信搜一搜,关注“可爱的小Cherry”

推荐语

AI手机助手时代来临,极空间NAS带你体验类"豆包手机助手"的本地化部署方案!

核心内容:
1. 极空间NAS设备如何通过DroidRun框架实现AI操控手机
2. 安卓/iOS设备部署AI手机助手的详细步骤解析
3. 本地化AI助手在文件管理、智能检索等方面的实际应用效果

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

操控视频在文章最后,可以直接拉到最后看效果!

这段时间豆包和中兴合作的首款”豆包手机助手“火上天了,反正我在看完后只有一个感觉,那就是打工人的时代要结束了。

我连刷短视频赚米都打不过 AI ,我还能干啥呢?

不过随着事情继续发酵,听闻支付宝、微信又给豆包手机助手下绊子,不支持通过 AI 操作支付宝、微信了。

道理是有的,毕竟涉及到支付账户,多少还是手工操作安全一点,但是否有其它因素,不多说也不多猜。

现在这款手机买不到了,很多想体验一下的小伙伴没了机会。不过虽然我们玩不到真的“豆包手机助手”,但是通过开源项目体验一下另类的“AI手机助手”也未尝不可。

作为 AI+NAS 的领航品牌,极空间最近推出的 AI空间 那是真的强力,极空间 Z425/ 极空间 T6 两款设备凭借强大的 TOPS 输出,通过多个渠道、多个维度重新解构 NAS 里存储的文件资料、照片相册,并且更专业的 AI 解读,更快速的文件检索能力,让用户可以重构文件视角,实现更有序、更深入的资料查找。

同时,强大的 TOPS 算力,又可以配合 AI助手 的反向 API 来提供本地 Ollama 算力,关于如何将极空间本地 AI助手转换为 API,可以参照我以前的文章,因为时间太久了,不确定是否还生效。

>文章地址:https://post.smzdm.com/p/a64oenoz/

DroidRun 是一个功能强大的框架,可通过 LLM 代理控制 Android 和 iOS 设备,它允许您使用自然语言命令自动执行设备交互。

它支持通过GoogleGenAI、OpenAI、Anthropic、DeepSeek、Ollama提供的 AI 能力操作手机执行任务,并且具有多轮思考,多次执行的能力。

相对来说,iOS 由于系统的封闭性,使用效果不如安卓那么给力,所以本文演示,我们以安卓手机(安卓11以上)以及网易MUMU模拟器为例,iOS 参照操作即可。

一、确保 ADB 连接

因为我使用的手机是小米6,不是安卓11的,所以只能执行到 adb 连接这一步,后续实际演示以网易MUMU 模拟器来做,所以教程也分为两块。

先说 droidrun 这个项目的核心逻辑,它需要手机安装 Droidrun-Portal 应用(包括安卓/iOS 两个版本)来获取手机页面的浏览权限,然后通过界面分析,提供和反馈信息给 AI,并且进行手机操作。

1、安装 ADB

在使用 droidrun 之前,我们需要确保设备上支持python3和adb指令。

极空间私有云内置了python3,无需再次安装下载,所以我们主要手动安装adb来进行手机初次授权认证,以及设备绑定。

首先下载 adb(版本≥30.0.0 ),将它存到极空间任意位置并解压缩。

下载地址:https://dl.google.com/android/repository/platform-tools-latest-linux.zip

接下来打开 docker 应用,在 compose 界面下的【查询路径】功能里,找到解压后的文件夹路径,保存备用。

登录 SSH 界面,将复制的路径替换为下面的【路径】,分别执行两条软连接指令,将adb和fastboot映射成系统级指令。


1.ln -sf 路径/adb /usr/bin/adb
2.ln -sf 路径/fastboot /usr/bin/fastboot

2、绑定手机

根据自己的手机型号搜索资料并开启“开发者模式——ADB调试相关指令”,接着使用 USB 数据线连接极空间和手机,输入下面的指令。


1.adb devices

这个时候手机上会弹出信任设备,点击确认。可以看我下面的图,第一次输入adb devices,设备的名字是unauthorized,只有点击过信任以后,才会变成下面的device。

然后输入指令ls ~/.android查看设备是否生成信任密钥。包括adb.5037,adkey,adbkey.pub,三者缺一不可。

以上两步完成,并且输出结果和我一样后,再次输入指令:


1.lsusb

现在我们要找到 USB 总线,可以看到红框的这一条,最后有(MTP +ADB)的,就是我们的手机,记录下红框内的值 idVendor:idProduct 备用。

接着我们需要编写设备绑定规则,这一步的目的是确保后续无论如何插拔 USB,极空间都可以认出这台手机,不需要再重新绑定。

输入指令打开文本编辑模式:


1.nano /etc/udev/rules.d/51-android.rules

修改下面这一行代码,然后黏贴到nano编辑页面。

XXXX= 供应商 ID 即 idVendor ,我的是2717

YYYY =产品 ID 即 idProduct,我的是ff48

SSSS =手机序列号 ,自己在手机里查看


SUBSYSTEM=="usb", ATTR{idVendor}=="XXXX", ATTR{idProduct}=="YYYY", ATTR{serial}=="SSSS", MODE="0666", GROUP="plugdev", SYMLINK+="phone1/phone"

黏贴完成以后,键盘上按CTRL+O 保存,再按一下回车确认路径,最后按CTRL +W关闭nano界面。

然后依次输入以下指令,重新读取udevadm规则,并且杀掉目前的adb连接。


1.udevadm control --reload-rules
2.udevadm trigger
3.adb kill-server

3、连接模拟器

模拟器和实体手机不同,它不需要通过 USB 连接,可以直接使用无线 ADB 连接。我们的安卓手机,只要第一次通过 USB 连接后,后续也可以通过局域网无线或者异地组网来连接。

以网易 MUMU 为例,首先在网络里打开桥接模式。

接着在其它-ADB调试里打开本地和远程连接。

重启模拟器后,来到设备诊断里,下拉查看网络信息,这里有模拟器的 IP 地址,以及远程ADB的端口,默认的都是5555。

接下来,回到极空间的 SSH 界面,输入下面的指令来远程连接设备。


1.adb connect ip:5555

注意,远程模拟器不需要修改51-android.rules这个文件,这个只有安卓实体手机才需要(也就是说安卓必须先执行一次 USB ADB,才可以启动后续的 Wifi ADB)。

二、安装 droidrun APK/APP

1、手机

首选方案是手动安装 APK 并且授权打开,这样就不需要考虑 github 的网络访问问题。安卓下载地址:https://github.com/droidrun/droidrun-portal/releases/download/v0.4.7/droidrun-portal-v0.4.7.apk

如果感觉手机安装 APK 麻烦的,那么就需要使用 docker 指令来安装 APK(这一步需要挂科学),在 SSH 而界面里可以看到 APK 的安装情况。

🔻 docker run 指令


docker run --name=droidrun --user='0:0' --network=host --group-add plugdev --device /dev/phone1/phone:/dev/phone -v /dev/bus/usb:/dev/bus/usb -v ~/.android:/home/droidrun/.android -e http_proxy=http://192.168.0.135:7890 -e https_proxy=http://192.168.0.135:7890 -e ADB_VENDOR_KEYS=/home/droidrun/.android/adbkey.pub ghcr.io/droidrun/droidrun:latest setup

2、模拟器

模拟器的话直接安装就行了,安装以后会看到带颜色的框框,这个就是 droidrun 对手机界面的识别情况,很直观。

一定要用 docker 安装也可以,最后 setup 命令后加上--device ip:prot实现远程连接。


docker run -itd --name=droidrun --user='0:0' --network=host --group-add plugdev -v ~/.android:/home/droidrun/.android -e http_proxy=http://192.168.0.135:7890 -e https_proxy=http://192.168.0.135:7890 -e ADB_VENDOR_KEYS=/home/droidrun/.android/adbkey.pub ghcr.io/droidrun/droidrun:latest setup --device 192.168.0.122:5555

三、利用 AI 操控手机

前面也说了,droidrun 目前支持的模型来源有限,因此这里建议使用deepseek或者本地ollama。

最后,激动人心的一刻到了,剩下的就是我们通过 docker 指令来启动 droidrun 应用,并且操作手机的步骤了。

这一步目前官方是通过 docker run 来执行的,理论上直接使用 docker exec 或者后续通过 docker api 来实行更方便的操作也没问题。当然这不是本文的核心,本文只是将这个流程跑通。

更详细的 cli 指令,这些都是加在 docker cli 代码的最后面。

🔻比如


docker run 
--group-add plugdev \
--network=host \
--device /dev/phone1/phone:/dev/phone \ ## USB 连接才需要,wifi删掉
-v /dev/bus/usb:/dev/bus/usb \ ## USB 连接才需要,wifi删掉
-v ~/.android:/home/droidrun/.android \
--env DEEPSEEK_API_KEY= 你的API-KEY \
ghcr.io/droidrun/droidrun:latest \
run "具体的命令,比如打开TapTap,并且随便浏览一下" \
## --ios (如果是ios加这条,安卓删了) \
-p DeepSeek \
-m deepseek-chat \

在容器跑的日志过程中,可以看到 AI 模型每一步思考的过程。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询