裝了半年的 AutoGLM,我來說說真實感受

工具 ·约 8 分钟 ·記筆記的貓:團子

AutoGLM 是什麼

AutoGLM官網 是智譜華章推出的一款 AI 交互式軟體,主打一個核心能力:用自然語言指令控制手機。你說「打開美團搜附近咖啡店」,它就自己點打開美團、找搜索框、輸入關鍵詞、幫你把結果列出來。背後跑的是一個 Phone Agent 框架,能識別螢幕畫面、模擬人的點擊滑動輸入,跨 App 串起來做多步驟任務。

對開發者來說,它更像一套 Python 框架(Open-AutoGLM),接上本地或雲端的模型服務,透過 ADB 或 HDC 連手機,就能寫腳本自動化手機操作。對普通用戶來說,就是裝個 APK,用圖形介面跟它對話,讓 AI 幫你跑重複性高的手機操作。

安裝

AutoGLM下載 的 APK 大小約 122MB,直接裝在 Android 手機上就行。安裝本身沒什麼特別的——允許未知來源、點幾下確認就能跑起來。但如果你想讓它真的能操作你的手機(而不是只跟你聊天),還需要幾個額外步驟:

開發者選項與 USB 除錯:先到「設定 → 關於手機 → 版本號」連點 7 次解鎖開發者模式,然後在開發者選項裡打開「USB 除錯」。這是 AutoGLM 透過 ADB 控制手機的基礎。

開發者選項與 USB 除錯

ADB Keyboard:AutoGLM 要輸入文字時需要一個特殊的鍵盤 App,叫 ADB Keyboard。裝完後到系統「語言與輸入法」裡把它設成預設鍵盤,不然 Agent 沒辦法幫你打字。

ADB Keyboard 安裝

如果你用的是華為 HarmonyOS NEXT,流程類似但工具換成 HDC(HarmonyOS Debug Bridge),文字輸入原生就支援中文,不用額外裝鍵盤 App。開發者模式路徑是「設定 → 系統和更新 → 開發者選項」。

裝完、除錯打開、鍵盤設好,重啟一次 AutoGLM 基本就能正常跑起來。我剛開始裝時跳過了鍵盤設置這步,結果 Agent 一直在搜索框那裡卡壳重試,折騰了快十分鐘才發現問題出在這裡——鍵盤設成預設不是可選項,是必經步驟。


當初為什麼試它

去年年底刷到智譜發布 AutoGLM Phone Agent 的時候,我正好在折騰手機自動化——之前用過幾個基於 Accessibility 的腳本方案,穩定性差、App 更新一次就掛一次。AutoGLM 主打的是「視覺理解 + 大模型推理」,不靠硬編碼坐標,這點讓我很動心。

而且當時它已經支援 50+ Android 應用和 60+ 鴻蒙原生應用,清單裡有微信、淘寶、美團這些我常用的。我就想:如果它真能幫我處理那些每天都要做的重複操作,哪怕只是半自動,也值了。

哪點越用越順手

自然語言真的能用。這是我最驚喜的地方。第一次讓它「打開微信給老王發消息說明天見」,它真的找到了老王的對話框、輸入了內容、還問我要不要發送(敏感操作確認)。之前用腳本寫這種邏輯要幾十行代碼,現在一句話解決。

Take_over 機制。碰到驗證碼、指紋支付這種 Agent 無法處理的場景,它會自動把手機控制權還給你,等你操作完再繼續跑。這個設計比我預想的聰明——很多自動化方案要麼硬闖要麼直接掛,AutoGLM 懂得何時該交給人。

Agent 配置的三層體系。命令行參數、Python API、環境變量三層優先級,我跑固定任務時設環境變量,臨時改參數用命令行覆蓋,靈活度很高。溫度參數預設 0.1 也很合理——GUI 任務確實要低溫才穩,我試過調到 0.5,結果它在同一個坐標瘋狂點擊了二十多步。

多設備支援。我桌上同時插了一台 Android 真機和一台模擬器,用 --device-id 就能指定操作哪台,不用拔插切換。鴻蒙設備加 --device-type hdc 就行,框架自動判斷協議,這點做得挺乾淨。

哪點越用越煩

耗電量確實不小。它要持續截圖上傳、模型推理,手機連著電腦跑半小時就燙得不行。如果是筆電掛著跑本地模型,筆電風扇也一直狂轉。我現在養成習慣——只在真的需要時才啟動,不會讓它常駐。

長任務成功率驟降。超過 30 步的複雜任務,中間某一步偏了之後很難自我修正。有次讓它在淘寶搜耳機、比價、加入購物車,結果它在搜索結果頁滑過了頭,之後一直在錯誤的頁面裡繞圈子。max_steps 預設 100 步會擋住死循環,但也意味著長任務經常被中途殺掉。

自訂 System Prompt 的門檻。想加一條「禁止操作支付寶」的規則,得去改 prompts_zh.py 的源碼——框架沒有命令行參數或環境變量來動態覆蓋。雖然改完不用重啟模型服務,但對非開發者來說這門檻太高了。App 名稱映射表也分散在 apps.py,加個新 App 要改兩個文件。

哪個功能成了每天離不開的

日常通勤前的手機整理。這是我現在每天都用 AutoGLM 做的事:「打開飛書看看今天有什麼會 → 打開高德地圖查路線 → 打開微信看看有沒有漏回的消息」。三個 App 串起來跑,大約 2 分鐘完成,比我自己一個一個翻快多了。

本質上是把幾個固定流程組合起來當個「早間助理」。沒什麼技術含量,但每天省那麼幾分鐘,一年下來就是幾小時——這種能感知到的日常提升才是讓我留下來的原因。

哪個碰都沒再碰過

並行多設備。素材裡有個用 ThreadPoolExecutor 同時操作兩台設備的示例,我試了一次就放棄了。兩個 Agent 同時截圖上傳、同時推理,手機和筆電都扛不住,而且任務之間還會互搶焦點。對我這種個人用戶來說,一台設備一次跑一個任務已經夠用,並行是給批量自動化場景準備的,不是給日常用的。

哪些功能高估了,哪些低估了

高估了我以為它能處理幾乎所有 App 操作。實際上對 UI 動態變化大的 App(比如抖音的推薦流、淘寶的大促活動頁),它的成功率會明顯下降。螢幕佈局一改,之前記住的「搜索框在頂部」這條隱含規則就失效了。

低估了配置的重要性。剛開始我以為預設配置就能跑一切,後來發現 temperature、frequency_penalty、max_steps 這幾個參數對穩定性影響極大。每個人手上的任務場景不同,花半小時調一下配置,成功率能提升一大截。

去留結論

短期內不會卸載。它解決了我一個真實痛點:日常手機重複操作的自動化。雖然有這樣那樣的缺點,但目前還沒有更成熟的替代品——大部分同類方案要麼基於坐標硬編碼、要麼只限特定 App。

什麼信號出現就該換?如果有一天它開始頻繁誤操作(點錯按鈕、輸錯內容),或者模型推理成本明顯上漲讓日常使用變得不划算,那就是換的時候。但就目前來說,它還在我每天的工具鏈裡。

本文為個人基於網路公開資料整理編寫,非官方內容,僅供學習交流參考;軟體版權歸原作者所有,請支持正版;使用過程中遇到問題請查閱官方管道,本文不承擔任何責任。

團子還試過這些