Google 於 2026 年 11 月 19 日(美國時間;香港時間 11 月 20 日凌晨)公布,Mac 版 Gemini app 新增 computer use:用戶描述一個多步驟流程,Gemini 便在獨立背景視窗內代替人手點擊、打字、開啟選單及填寫表格,跨越本機檔案、桌面應用程式與網站完成工作。官方列出的例子包括由本機 PDF 抽取重量、尺寸及地址去填多箱託運報價、從多區儀表板取數與截圖製作簡報,以及在轉售平台整理放售資料。
對香港企業而言,重點不在「AI 會操作電腦」,而在自動化的對象由「有 API 的系統」延伸到「只有畫面的桌面工序」。對長期靠人手在 Excel、PDF、貨運商網站和內部系統之間搬資料的職位,這確實相關;但審批、資料暴露與責任歸屬的問題,亦一併進入流程。
官方講清楚的事實與限制
- 功能位於 Mac 版 Gemini app 之內,在隔離的背景視窗執行,聊天視窗有即時預覽,主畫面與滑鼠游標可繼續使用。
- 用戶自選 Gemini 可存取哪些應用程式,可即時觀看每一步、隨時暫停,並在關鍵動作前審批。
- 推出範圍為英語、美國市場;需要 Apple Silicon Mac、macOS Sequoia 15.0 或以上,只限 18 歲以上個人 Google 帳戶,並屬 Google AI Plus、Pro 或 Ultra 用戶。
- 官方公告沒有提及 Workspace 管理員控制、審計日誌匯出、資料保存期或 MDM 派送,亦沒有提及任何 CRM、ERP、電郵或 WhatsApp 的原生 API 接駁。
換言之,現階段它是一項面向個人帳戶的桌面自動化功能,並非企業整合方案。香港是否推出、何時推出、收費如何,官方公布未有著墨,屬未知之數。
「代你按」與「接駁系統」是兩種工程
畫面自動化依賴視窗位置、載入速度和彈窗時序;系統一改版、登入一過期,流程就失效,而且同一指令兩次可能走不同路徑,錯誤難以重現。API 接駁則有欄位定義、重複提交保護、錯誤碼和交易日誌。判斷標準很簡單:這步工序有沒有穩定 API?出錯可否即時回滾並由人手補救?兩條答案都是「有」,就應做系統接駁,而不是畫面代按。
今次公布與早前企業瀏覽器的代理瀏覽屬不同層面:後者局限在瀏覽器分頁之內,今次則伸延到本機檔案與桌面應用程式,但同時被個人帳戶與美國英語先行的條件框住。背景可參考 Edge for Business 代理瀏覽的授權界線,以及 AI Agent 與固定自動化的分別。
哪些工序值得先試,哪些不應交出去
工序 | 是否適合畫面自動化 | 主要考慮 由本機 PDF 抽取重量、尺寸、地址填入報價表 | 可以試 | 必須並列原文與抽取值,設人手覆核 把多區儀表板數字與截圖砌成簡報 | 可以試 | 截圖可能含客戶或價格資料 在 CRM/ERP 內建單、改狀態 | 不建議先行 | 無 API 級交易日誌,出錯難追 提交報價、發出電郵、付款、刪除記錄 | 不應交出去 | 不可逆轉,須全程人手把關
若工序本質是單據入帳,先看 AI 發票與文件入單的欄位核對與審批設計;若重複工作發生在共用收件匣,見 AI 電郵轉待辦的流程;要把 Excel 搬上正式系統,次序見 Excel 轉 AI 管理系統的實行指南。
假設例子:由供應商 PDF 到一張多箱報價(數字全屬假設)
假設一間香港電子零件貿易公司,每日收到約 30 份供應商 PDF 報價與裝箱資料,文員逐份抄重量、尺寸、箱數和收貨地址去貨運商報價頁,每份約 6 分鐘,一日約 3 小時。若改用畫面自動化:文員把 PDF 放入指定資料夾觸發流程,代理抽取欄位、開貨運商網頁填表,最後停在「提交前」等文員核對高風險欄位(重量、危險品標記、地址);假設核對降至每份 2 分鐘,一日省約 2 小時。以上純屬假設,未經任何測試,實際結果取決於 PDF 版面穩定程度、單位是否統一(kg 與 lb 混用最易出錯),以及貨運商網站是否阻止自動操作。
限制、資料暴露與人手接手位
- 畫面即資料:背景視窗看得到甚麼,取決於權限設定。客戶名單、薪資、身份證號若同屏出現,會一併進入模型視野,宜先用乾淨的本機帳戶或虛擬機隔離。
- 憑證不應寫進流程描述:不要把密碼或一次性驗證碼交給代理,需要 2FA 的步驟保留人手。
- 不可逆動作一律設閘:提交報價、送出電郵、付款、刪除記錄、更改 CRM 狀態,全部要人手按下最後一步。
- 沒有確定性:驗收要看統計準確率,不是看一次順利的示範。
- 語言與格式:英語、美國先行,術語與日期格式未必對得上香港表單。
驗收條件:怎樣判斷值得繼續用
用 20 至 30 份歷史文件做樣本,第一階段只做「抽取+草稿」,不做提交:
- 欄位準確率:關鍵欄位(數量、重量、單價、地址)達 98% 或以上,其餘達 95% 或以上。
- 未經批准的對外動作:0 次。
- 每宗工作可追溯:能講出讀了哪個檔案、填了哪些值、由誰批准。
- 處理時間:由收檔到交人手核對,每份 3 分鐘以內。
- 失效處理:遇彈窗、登入過期或版面改動時,流程停止而非猜測,並通知負責人。
連續兩星期達標才擴大範圍;任何一項不達標,就應改為 API 接駁或半自動(只抽取、不填表)。
香港企業的下一步
先用一星期記錄三項最耗時的重複工序,逐項標明有無 API、出錯可否回滾、涉及哪些個人資料。有穩定 API 的做系統接駁;只有畫面、且出錯可由人手即時補救的,才考慮畫面自動化,並以「抽取+草稿+人手提交」為第一階段。桌面代理可以減少抄寫,但它不會自動帶來審計軌跡、權限模型或資料保存政策——那些仍要由公司自己補上。
