逛 GitHub 的时候,发现一个叫TuriX-CUA 的开源项目。这是一个 Computer-Use Agent,电脑使用智能体框架。它可以让 AI 大模型可以像人类一样,直接在桌面电脑上看屏幕 + 动手操作。完成跨应用的复杂任务,而不是只在对话框里输出文字。

它不像传统 RPA 或基于 API 的集成方式,用如果人能点到的地方,TuriX 也能点的方式,实现跨应用自动化。通过自然语言描述任务,AI 自动规划并执行,操纵的应用不提供 API 也没事儿。而且,现在有专门的 Skill,能让你的 OpenClaw 或 Claude Code 使用TuriX-CUA。目前在 Skill 广场中,Computer Use Agent 里排最高:

01开源项目简介这个开源项目专注的是整个桌面环境,在 Mac 上可以操作浏览器、文档类应用、邮件/聊天应用,进行系统设置等。Windows 上有专门分支支持 GUI 自动化、浏览器操作。比如自动搜索 YouTube 视频并点赞。
如果人可以用鼠标点出来的东西,TuriX 一样可以做到,不需要目标软件给你 API。这让它比很多 仅限浏览器、仅限网页 DOM 控制的 Agent更通用。感兴趣的 Star 收藏一下,后面用到不迷路:
开源地址:https://github.com/TurixAI/TuriX-CUA
MacOS 控制预订机票、酒店和 Uber:
查询 iPhone 价格,创建 Pages 文档,并发送给联系人:
Windows 演示在 YouTube 搜索视频内容并点赞:
与 Claude 的 MCP 打通Claude 搜索 AI 新闻并通过 MCP 调用 TuriX,将研究结果写入 Pages 文档并发送给联系人:
架构中把 AI 大模型职责拆成 4 个角色,每个角色可以用不同模型,并通过配置文件热插拔:
- brain_llm:大脑,负责高层决策、整体策略
- actor_llm:执行者,负责根据当前界面和指令生成具体操作(点击哪里、输入什么)
- planner_llm:规划者,负责把自然语言任务拆解为可执行步骤
- memory_llm:记忆管理,负责读取/整理长程记忆、恢复状态

你可以单独替换 planner_llm,做规划器对比实验。可以用小模型做 memory_llm 节省成本,用大模型做 brain_llm 保障智能度,非常适合作为多 Agent 协作结构的基座。
https://clawhub.ai/Tongyu-Yan/turix-cua

02如何使用

地址:https://turix.ai/
另外一个是亲自部署这个开源项目,这里以 Mac 为例:① 安装好环境:
gitclone https://github.com/TurixAI/TuriX-CUA.gitcondacreate -n turix_env python=3.12condaactivate turix_envpipinstall -r requirements.txt
② 配置系统权限这一步,非常关键,不配好就跑不通。首先在隐私与安全 → 辅助功能(Accessibility):勾选 Terminal、VS Code 等,必要时把 /usr/bin/python3 也加进去Safari 自动化:Safari → 设置 → 高级 → 打开“显示开发者菜单”,在“开发者”菜单中启用:Allow Remote Automation,Allow JavaScript from Apple Events通过 osascript 触发权限弹窗,在不同终端各跑一次:
osascript-e 'tell application"Safari"todoJavaScript"alert(\"Triggering accessibility request\")"indocument1'
python examples/main.py
03点击下方卡片,关注逛逛 GitHub
