亚洲财经

☰ 搜索

腾讯WeChat Work发布屏幕读取、点击与输入功能测试版

腾讯推出WorkBuddy电脑操控功能,实现屏幕识别与自动化操作

20日,腾讯(Tencent·0700.HK)正式以公开测试版形式推出了其办公AI助手“WorkBuddy”的电脑操控功能。该功能能够识别屏幕画面,并执行点击、输入和滚动等操作。即使目标软件未提供独立的API接口,WorkBuddy也能通过读取屏幕内容直接进行操控。

支持多平台,需更新客户端并授权

WorkBuddy目前支持macOS和Windows系统。用户需将桌面客户端更新至5.11.0及以上版本,开启相关功能并授予必要权限后方可使用。需要注意的是,屏幕识别的效果可能因不同软件而异。

基于视觉理解的GUI代理

IT时代网在10日的介绍中指出,电脑的操控功能通过分析当前屏幕画面,定位目标窗口位置,随后依次执行鼠标点击、文本输入和滚动操作。无需额外连接配置,即可在多个应用程序之间切换,完成基于屏幕的工作任务。

IT时代网解释称,WorkBuddy作为图形用户界面(GUI)代理,通过截图来理解屏幕内容,模拟人类的“观看”和“点击”行为。在使用过程中,它可以截取屏幕或读取窗口内容,同时系统会提示用户可随时中断功能运行。

从文件处理扩展到应用交互

根据WorkBuddy官方产品介绍,该服务原本定位为桌面AI工作流助手,能够通过自然语言指令处理文件,创建文档、表格和演示文稿,并分析数据。它具备自主规划和执行多步骤任务的能力,无需用户逐一指示操作步骤。

此次新增的电脑操控功能,进一步增强了直接操作现有应用程序按钮和输入框的能力。即使用户未单独连接特定程序的API,也能在同一工作流中整合文档、即时通讯及办公软件等不同界面的工具。

这与通过手机远程控制电脑屏幕的方式有所不同。远程控制技术侧重于让用户通过手机查看和操作电脑屏幕;而WorkBuddy的电脑操控功能则是让AI助手根据用户的指令,直接在电脑屏幕上代为执行工作任务。此前,IT之家曾于10月28日报道称,WorkBuddy已具备通过手机确认并操控电脑屏幕的功能。

此外,腾讯此前也在其大型语言模型Hy4正式版中引入了视觉理解和电脑操控功能。

权限管理与企业级控制

要使用电脑操控功能,用户必须批准操作系统层面的权限,包括屏幕捕获和辅助功能访问等。若无相应权限,系统将无法读取屏幕或代劳鼠标和键盘输入。

腾讯云的企业版文档说明,管理员可以对电脑操控功能进行全局管控:可以选择完全允许、仅对特定成员或部门开放,或在必要时全面禁用。默认策略设置为对所有成员禁用。

根据WorkBuddy官方版本记录,截至11月15日,macOS和Windows版本的安装文件已更新至5.11.3版。实际可用的工作范围将取决于支持的操作系统、权限批准情况以及所用软件的屏幕识别能力。