嘴巴動(dòng)一動(dòng)，完成外賣點(diǎn)單
去年11月。榮耀為了新機(jī)Magic 7 Pro的發(fā)布，策劃了一次堪稱行為藝術(shù)的事件營(yíng)銷。
時(shí)任榮耀CEO的趙明現(xiàn)場(chǎng)指揮AI Agent YOYO打開美團(tuán)，下單了約2000杯瑞幸飲料。這一通操作過(guò)后，深圳發(fā)布會(huì)場(chǎng)地周邊的瑞幸門店紛紛「爆單」，門店咖啡師忙到崩潰，接到訂單的騎手更是在門店排起長(zhǎng)隊(duì)。
這次效果顯著卻略帶荒誕意味的事件營(yíng)銷，一定程度上讓公眾忽略了榮耀試圖展示的核心技術(shù)：「基于GUI的個(gè)人AI智能體」。
時(shí)至今日，AI Agent功能確實(shí)已經(jīng)不新鮮了。而這個(gè)技術(shù)的關(guān)鍵點(diǎn)，在「GUI」這三個(gè)字上。
GUI全稱Graphical User Interface，圖形用戶界面。作為一個(gè)基于GUI的AI Agent，YOYO不再依賴傳統(tǒng)的API接口，而是有了一只虛擬的「手」，直接在代替用戶進(jìn)行圖形界面操作。整個(gè)代行操作不在「后臺(tái)」，而是直接在「前臺(tái)」，在用戶的眼皮底下實(shí)時(shí)發(fā)生。
需要澄清的是：Magic 7 Pro市售機(jī)型用戶的體驗(yàn)可能會(huì)與發(fā)布會(huì)演示存在差異。據(jù)財(cái)聯(lián)社報(bào)道，當(dāng)時(shí)現(xiàn)場(chǎng)演示用的測(cè)試機(jī)權(quán)限更高，能夠自動(dòng)免密支付和循環(huán)點(diǎn)單，這才不停地點(diǎn)出了2000杯飲料。至少在目前，市售機(jī)型需要用戶明確告知點(diǎn)單細(xì)節(jié)（例如品牌、品名、杯型、溫度等），并且在支付環(huán)節(jié)需要用戶接管確認(rèn)。
這個(gè)細(xì)節(jié)確實(shí)重要，但也不至于抹殺這項(xiàng)技術(shù)的存在意義。正相反，我們認(rèn)為，「基于GUI」是個(gè)很另類，很有趣，頗具試驗(yàn)性的AI Agent實(shí)現(xiàn)路徑。
AI Agent交互的「前臺(tái)」新路
榮耀YOYO的核心是多模態(tài)模型，GUI交互的本質(zhì)是語(yǔ)言+視覺(jué)的理解。
·自然語(yǔ)言處理(NLP)：理解「點(diǎn)一杯冰美式」的指令；
·屏幕狀態(tài)感知：識(shí)別當(dāng)前界面中的內(nèi)容，找到正確的按鈕、輸入框等界面元素；
·擬人化操作：像人類一樣點(diǎn)擊按鈕、輸入信息；
·循環(huán)操作：在新的界面中持續(xù)解析內(nèi)容、定位和點(diǎn)擊界面元素。
關(guān)于GUI的操作部分，這最后一步具體是怎樣實(shí)現(xiàn)的，榮耀方面沒(méi)有明確透露。一種穩(wěn)妥的猜測(cè)是：它能夠獲得手機(jī)的無(wú)障礙功能(accessibility features)或類似的底層權(quán)限，從而控制屏幕點(diǎn)擊事件。
這最后一步并不是什么難事，甚至比前面幾步都簡(jiǎn)單得多。但除了此前智譜的AutoGLM等極少數(shù)之外，確實(shí)很少有其它第三方開發(fā)者和終端廠商在走GUI交互的路徑。
在過(guò)去，虛擬助理控制軟件和智能硬件的方式主要是通過(guò)API調(diào)用以及物聯(lián)網(wǎng)協(xié)議。這可以理解為一種純數(shù)字(digital)的通訊方式。
今年一月，谷歌在三星的指定機(jī)型上激活了基于Gemini 2.0的AI Agent功能。這次合作也是通過(guò)API或類似方式實(shí)現(xiàn)的（谷歌稱之為Gemini擴(kuò)展），初期僅支持Gmail、谷歌地圖、三星日歷、三星時(shí)鐘等第一方應(yīng)用，以及Spotify等極少量第三方應(yīng)用。
想要做到規(guī)?；瑪U(kuò)充支持的應(yīng)用，需要開發(fā)者做一定量的API接入工作，同時(shí)也需要用戶許可使用Gemini擴(kuò)展。
Gemini控制手機(jī)演示圖源：Google
谷歌依賴API調(diào)用后臺(tái)接口，而榮耀通過(guò)GUI模擬前臺(tái)操作，二者在實(shí)現(xiàn)邏輯上形成了明顯區(qū)別。后者的好處，在于可以規(guī)避API調(diào)用這一常規(guī)方式，繞過(guò)了其背后的商業(yè)博弈和數(shù)據(jù)成本，也可以更快、更容易地?cái)U(kuò)充支持的應(yīng)用，實(shí)現(xiàn)規(guī)?；⒏纳朴脩趔w驗(yàn)。
成本是個(gè)關(guān)鍵問(wèn)題。一方面是云服務(wù)費(fèi)用，因?yàn)闊o(wú)論是API提供方還是調(diào)用方都需要運(yùn)行服務(wù)器來(lái)進(jìn)行操作。另一方面，通過(guò)API交換的數(shù)據(jù)也具有價(jià)值，因此具有更高數(shù)據(jù)價(jià)值的API，往往收費(fèi)也更高。
以美團(tuán)舉例，其訂單服務(wù)在內(nèi)的基礎(chǔ)API收費(fèi)標(biāo)準(zhǔn)為每百次調(diào)用0.15元（前百萬(wàn)次免費(fèi)）。這還只是基礎(chǔ)類API，如果涉及價(jià)值更高的管理類API，調(diào)用收費(fèi)提高到每百次0.3元，且無(wú)免費(fèi)額度。
另外，API的使用也暗含著一些隱性的商業(yè)競(jìng)爭(zhēng)要素。調(diào)用方獲得了數(shù)據(jù)，同時(shí)也在向提供方發(fā)送數(shù)據(jù)，而不排除在特定條件下，雙方都不希望肥水流向外人田。
而在基于GUI的方案下，至少就目前的演示效果來(lái)看，榮耀既不需要向美團(tuán)支付API費(fèi)用，雙方也無(wú)需擔(dān)心數(shù)據(jù)的歸屬，包括與之關(guān)聯(lián)的隱私安全等問(wèn)題。
AI Agent只是在「模仿人類」點(diǎn)擊屏幕，多么原始卻有效的交互方式。
回歸模擬，返璞歸真
這種「返祖」式技術(shù)路徑，讓人聯(lián)想到谷歌在2018年推出的AI電話助手Duplex。
Duplex的思路在當(dāng)時(shí)同樣有點(diǎn)腦洞清奇：谷歌合成了一個(gè)AI語(yǔ)音，替用戶給餐館打電話訂位。這個(gè)AI語(yǔ)音聽(tīng)起來(lái)并不生硬，甚至能夠模仿真人的口音、語(yǔ)速、語(yǔ)調(diào)，以及加入「嗯」、「you know」之類的填充詞。
Duplex技術(shù)演示圖源：Google
今時(shí)今日，AI生成語(yǔ)音已經(jīng)徹底「污染」了電銷和客服行業(yè)，讓人感到厭煩。但至少在當(dāng)時(shí)，用頂尖的NLP和語(yǔ)音合成技術(shù)，通過(guò)「打電話」這種模擬人類的方式訂餐，這種另類的，從數(shù)字到模擬(analog)的交互方式，確實(shí)令人耳目一新。
目前榮耀正在推進(jìn)的基于GUI的AI Agent，在我看來(lái)同樣屬于一種從數(shù)字到模擬的實(shí)現(xiàn)方式，用原始與先進(jìn)相結(jié)合的思路，帶來(lái)了全新的可能性。
基于GUI不一定是實(shí)現(xiàn)手機(jī)AI Agent的最佳路徑，但不可否認(rèn)它確實(shí)很有趣，甚至有點(diǎn)「硬來(lái)」的意思。
·對(duì)于用戶來(lái)說(shuō)，使喚這樣的AI Agent沒(méi)有學(xué)習(xí)成本，不需要研究提示語(yǔ)法；
·而對(duì)于第三方應(yīng)用和服務(wù)平臺(tái)來(lái)說(shuō)，也幾乎不需要額外的開發(fā)成本就可以接入。甚至反過(guò)來(lái)看，它們也無(wú)法拒絕被「接入」，因?yàn)閴焊蜎](méi)有發(fā)生真正意義上的「接入」行為。至少以Android目前的沙箱機(jī)制來(lái)看，應(yīng)用層不太能夠「抵抗」系統(tǒng)底層的行為。
基于GUI的AI Agent，既是一種對(duì)傳統(tǒng)人機(jī)交互的致敬，也為AI Agent的落地和體驗(yàn)提升，提供了一種降低門檻、提高兼容性的路徑。
有時(shí)候，最趁手的工具，真就只是一根干凈簡(jiǎn)潔的大棒。
大模型與人機(jī)交互結(jié)合，「笨」AI也有未來(lái)
在今天用戶的主要需求場(chǎng)景上，有兩種AI Agent。一種是高智商型，能夠解答復(fù)雜問(wèn)題，完成困難的工作，比如DeepSeek、Claude、以及前幾天大熱門的Manus。這也是現(xiàn)在最流行最受關(guān)注的AI Agent/Chatbot種類。
但我們同樣需要另一種懂事能干的AI Agent，它對(duì)用戶的使用技巧沒(méi)有很高的門檻，用戶只要輸入一兩句簡(jiǎn)單直白的命令，它就能理解，并且把各種并不復(fù)雜的事給辦好。
今天可以點(diǎn)外賣，將來(lái)它還能夠幫你掛機(jī)放置類游戲，給指定好友的朋友圈點(diǎn)贊，甚至自動(dòng)把剛拍下的一張照片修改一下發(fā)到社交網(wǎng)絡(luò)。只要是用戶能做的，基于GUI的AI agent一樣能做。門檻低，上限高，適應(yīng)性強(qiáng)，用起來(lái)更順手，可能是這一類AI Agent的主要特色。
這類選手不需要成為理解世界的大學(xué)者，只當(dāng)好執(zhí)行任務(wù)的工具人就足矣。
2013年的電影《云端情人》(Her)，曾經(jīng)賦予人們展開無(wú)限的遐想。當(dāng)時(shí)也正值NLP技術(shù)大爆發(fā)，許多優(yōu)秀的語(yǔ)音場(chǎng)景產(chǎn)品和技術(shù)涌現(xiàn)出來(lái)。一些研究者和從業(yè)者篤信，自然語(yǔ)言對(duì)話將會(huì)成為AI交流的最主流方式。
然而去年曇花一現(xiàn)的硬件產(chǎn)品AI Pin，以及開發(fā)它的Humane公司越走越黑的路，不禁令人懷疑《云端情人》設(shè)想的烏托邦是否那般美好，語(yǔ)音究竟是不是Chatbot/Agent的終極答案。
Humane AI Pin圖源：Humane
進(jìn)入觸屏?xí)r代，交互的門檻顯著降低，以至于幼兒也能輕松地掌握。按照AI開發(fā)者們經(jīng)常采用的比喻，大模型們的「智力」也恰如兒童。那么讓AI通過(guò)觸屏界面學(xué)習(xí)人類行為，聽(tīng)上去上還是很有希望的。
畢竟，你的伴侶不一定需要一首AI寫的詩(shī)，卻可能需要你按爛屏幕去搶一張周杰倫的演唱會(huì)門票。
前幾天Manus刷屏，再次佐證了我們?cè)龀龅囊粋€(gè)預(yù)測(cè)：大模型將成為智能手機(jī)新的操作系統(tǒng)，自然用戶界面(Natural user interface,NUI)將逐步替代現(xiàn)有的GUI。
至少在目前看來(lái)，歷經(jīng)半個(gè)世紀(jì)發(fā)展的GUI仍會(huì)是人機(jī)交互的絕對(duì)主流。不過(guò)，大模型與UI結(jié)合，對(duì)人機(jī)交互進(jìn)行一次前所未有的重新定義，甚至成為新的操作系統(tǒng)——這樣的未來(lái)，的確越來(lái)越清晰了。
本文來(lái)源：36氪
文章轉(zhuǎn)載于其他網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系我們及時(shí)刪除！
