前段時(shí)間的WWDC，蘋(píng)果終于如愿以償公布了AI的相關(guān)消息。從iPhone、iPad到Mac，無(wú)不被生成式AI覆蓋。與安卓陣營(yíng)只是簡(jiǎn)單地把大模型塞進(jìn)手機(jī)里不一樣，這次蘋(píng)果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開(kāi)方式。

在生成式AI的浪潮下，今年的蘋(píng)果開(kāi)發(fā)者大會(huì)WWDC 2024，AI毫不意外的成為了大會(huì)絕對(duì)的主角。

從iPhone、iPad到Mac，無(wú)不被生成式AI覆蓋。大家早已期待的新 Siri 只是蘋(píng)果 AI 能力的一小部分，橫空出世的Apple Intelligence才是這次的重頭戲，從圖像到文本，從iPhone、iPad到Mac，Apple Intelligence讓蘋(píng)果全系產(chǎn)品有了史詩(shī)級(jí)升級(jí)。

相較于安卓廠商對(duì)于大模型的小打小鬧，只是簡(jiǎn)單將大模型作為Copilot塞進(jìn)手機(jī)里，除了更新語(yǔ)音助手外，就是找?guī)讉€(gè)還算能唬人的場(chǎng)景加上大模型的能力，最后還明目張膽將其定義為AI手機(jī)，這次蘋(píng)果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開(kāi)方式。

蘋(píng)果，重新定義了AI：Apple Intelligence！

01. Apple Intelligence是什么？

Apple Intelligence定義為iPhone、iPad和Mac的個(gè)人智能系統(tǒng)，利用蘋(píng)果芯片的能力來(lái)理解和創(chuàng)建語(yǔ)言和圖像，以及跨應(yīng)用采取行動(dòng)。

蘋(píng)果 CEO 蒂姆?庫(kù)克說(shuō)：蘋(píng)果的目標(biāo)一直是構(gòu)建以人為本，最為易用方便的個(gè)人設(shè)備，提升人們的生活效率。

在這個(gè)目標(biāo)下，蘋(píng)果提出了他們的AI產(chǎn)品理念：體驗(yàn)足夠強(qiáng)大、直觀易用、完全整合到系統(tǒng)體驗(yàn)中、個(gè)性化且保護(hù)隱私，于是他們基于蘋(píng)果自研的A 和 M系列芯片，走了一條自研本地大模型加三方云端大模型的策略。

在其他廠商瘋狂砸錢(qián)買(mǎi)GPU訓(xùn)練模型的時(shí)候，在想方設(shè)法將大模型塞進(jìn)手機(jī)存儲(chǔ)的時(shí)候，蘋(píng)果卻換了種做法，不卷大模型，不卷本地化，還能給用戶提供更好的使用體驗(yàn)！

這點(diǎn)就能看出來(lái)，蘋(píng)果的出發(fā)點(diǎn)一直是為了提升用戶的生活體驗(yàn)，他們明白自己做的是產(chǎn)品，而不是拿著錘子找釘子，死卷大模型。

庫(kù)克表示，Apple Intelligence 是蘋(píng)果創(chuàng)新的新篇章，將改變用戶使用產(chǎn)品的方式。蘋(píng)果獨(dú)特的方法結(jié)合了生成式人工智能和用戶的個(gè)人信息，能提供真正有用的智能服務(wù)。此外，Apple Intelligence 能夠以完全私密和安全的方式訪問(wèn)信息，幫助用戶完成對(duì)他們最重要的事情。這是蘋(píng)果獨(dú)有的 AI 體驗(yàn)。

先具體看看Apple Intelligence能做什么？

簡(jiǎn)單來(lái)說(shuō)，跟錄音、GPS等一樣，蘋(píng)果將AI融入IOS系統(tǒng)，為用戶和開(kāi)發(fā)者系統(tǒng)提供一系列原生AI能力?？梢哉f(shuō)，這些都是原生的人類 API。

文本工具writing tool

在蘋(píng)果的自帶的文本應(yīng)用如郵件、備忘錄、Safari瀏覽器、Pages、Keynote和三方應(yīng)用如微信、小紅書(shū)等中，提供文本潤(rùn)色、重寫(xiě)，校對(duì)，改寫(xiě)（如語(yǔ)氣變化）、總結(jié)和文本轉(zhuǎn)表格等能力。

在它的幫助下，無(wú)論是寫(xiě)文章、發(fā)帖，為用戶解鎖了提升寫(xiě)作和更有效溝通的新方式。

圖像工具

Image Playground，只需幾秒鐘即可生成素描、插圖、動(dòng)畫(huà)三種風(fēng)格。這些功能在系統(tǒng)中所有app都可用，包括Notes，F(xiàn)reeform，Keynote，Pages等等。

Image Wand可以將你的素描草圖轉(zhuǎn)換為 Notes 應(yīng)用中的相關(guān)圖像。使用手指或 Apple Pencil 在你的草圖周圍畫(huà)一個(gè)圓圈，Image Wand 會(huì)分析其周圍的內(nèi)容以產(chǎn)生互補(bǔ)的視覺(jué)效果。

還可以生成emoj表情等等。

Siri新升級(jí)

在Apple Intelligence的加持下，Siri變得更自然、更能理解我們了！

除了更好的自然語(yǔ)言理解和多輪交互外，Apple Intelligence還會(huì)為Siri帶來(lái)屏幕內(nèi)容感知功能，這樣，它就能理解屏幕上的內(nèi)容，執(zhí)行相應(yīng)的操作。

比如朋友發(fā)消息告訴你ta的新地址，你可以直接在信息對(duì)話中說(shuō)，「把這個(gè)地址加入ta的聯(lián)系人名片中」。

最牛的來(lái)了，Siri也可以完成跨app操作。

例如“將我起草的電子郵件發(fā)送給 April 和 Lilly”，Siri 知道您引用的是哪封電子郵件以及它在哪個(gè)應(yīng)用程序中。當(dāng)然這些增強(qiáng)功能，也并不限于蘋(píng)果開(kāi)發(fā)的APP。

那如果復(fù)雜任務(wù)Siri無(wú)法用本地模型執(zhí)行，則會(huì)主動(dòng)詢問(wèn)是否可以叫ChatGPT處理，同時(shí)ChatGPT也被集成到了系統(tǒng)的writing tool中，可以改寫(xiě)潤(rùn)色等。

隱私保障

蘋(píng)果出了一個(gè)“私有云計(jì)算”的概念：“不得不上云運(yùn)作”的AI功能，將在使用蘋(píng)果芯片的專用服務(wù)器上啟用云計(jì)算模式，確保用戶數(shù)據(jù)的私密性和安全性。

02. Apple Intelligence背后的大模型

Apple Intelligence 由多個(gè)功能強(qiáng)大的大模型組成，這些模型專門(mén)用于輔助完成用戶的日常任務(wù)，并可以根據(jù)用戶的當(dāng)前活動(dòng)進(jìn)行動(dòng)態(tài)調(diào)整。

這些模型可以分為三類：

本地模型（On-Device Language Model）

這部分包含3B的語(yǔ)言模型、擴(kuò)散模型DIffusion Model和用于Xcode的編程模型，另外還有用來(lái)做 RAG 的 Semantic Index (語(yǔ)義索引)和 App Intents Toolbox（應(yīng)用意圖工具箱）。

這些模型都針對(duì)日常的任務(wù)進(jìn)行了一系列的微調(diào)，幫助用戶完成各種系統(tǒng)級(jí)的任務(wù)。

比如前面提到的文本工具的摘要、潤(rùn)色、改寫(xiě)、回復(fù)郵件、圖像生成、通知進(jìn)行優(yōu)先級(jí)的排序、跨應(yīng)用的交互等。

此外在這些微調(diào)模型之上有個(gè)適配器（Adapters），適配器是覆蓋在通用基礎(chǔ)模型上的一小批模型權(quán)重。它們可以動(dòng)態(tài)加載和交換，使基礎(chǔ)模型能夠針對(duì)手頭的任務(wù)即時(shí)進(jìn)行專門(mén)化。

簡(jiǎn)單來(lái)說(shuō)就是根據(jù)任務(wù)來(lái)給模型選擇合適的權(quán)重，讓模型輕松適應(yīng)不同領(lǐng)域?qū)＜业慕巧?/p>

私有云計(jì)算（Server-Based language Model）

這個(gè)基于服務(wù)器的大語(yǔ)言模型，對(duì)于本地模型滿足不了要求的任務(wù)，蘋(píng)果會(huì)傳到云端運(yùn)算。

為了確保數(shù)據(jù)的安全性，蘋(píng)果采用了私人云計(jì)算技術(shù)。每當(dāng)用戶的設(shè)備發(fā)起請(qǐng)求時(shí)，它會(huì)通過(guò)一個(gè)端對(duì)端加密的通道與特定的私有云計(jì)算集群進(jìn)行連接。僅限于被指定的集群有權(quán)限解開(kāi)這些加密的請(qǐng)求數(shù)據(jù)。應(yīng)答數(shù)據(jù)發(fā)送回用戶后，相關(guān)信息不會(huì)被存儲(chǔ)，且蘋(píng)果公司也不具備訪問(wèn)這些數(shù)據(jù)的能力。

第三方 LLMs

如果蘋(píng)果自己的大模型搞不定的任務(wù)怎么辦？

那就交給現(xiàn)在專門(mén)的模型廠商處理，專業(yè)的人做專業(yè)的事情嘛！

目前已經(jīng)接入了 OpenAI 的 GPT-4o，但按照蘋(píng)果的說(shuō)法，后續(xù)還會(huì)有更多家的模型接入，比如Gemini 等。

另外，考慮到國(guó)家政策，蘋(píng)果在不同國(guó)家地區(qū)的接入的大模型廠商可能不同，那Open AI和Meta的大模型肯定在國(guó)內(nèi)無(wú)法使用，沒(méi)有通過(guò)工信部備案，根據(jù)之前的傳聞，國(guó)內(nèi)首先接入的應(yīng)該就是百度的文心一言了！

03. App Intents：給開(kāi)發(fā)者的Framework

剛才講了，蘋(píng)果希望可以跨應(yīng)用完成用戶的需求，比如使用Siri就能直接完成郵件發(fā)送，圖像修改等，不需要進(jìn)入 app 里面，這個(gè)體驗(yàn)很絲滑流暢。

1. 蘋(píng)果允許操作系統(tǒng)和應(yīng)用程序的所有部分通過(guò)「函數(shù)調(diào)用」進(jìn)行互操作；內(nèi)核進(jìn)程 LLM 可根據(jù)用戶查詢安排和協(xié)調(diào)它們之間的工作
2. 無(wú)摩擦。蘋(píng)果以一種高度流暢、快速、always on 和上下文的方式全面集成這些功能。無(wú)需四處復(fù)制粘貼信息、提示工程等。還對(duì)用戶界面進(jìn)行了相應(yīng)調(diào)整。

但具體要怎么實(shí)現(xiàn)呢？那就得用到給開(kāi)發(fā)者提供的App intents工具，這又是一次操作系統(tǒng)廠商和開(kāi)發(fā)者的博弈戰(zhàn)。

App Intents 框架提供的功能可將三方的 app 操作、內(nèi)容與跨平臺(tái)的系統(tǒng)體驗(yàn)（包括 Siri、Spotlight、小部件、控件等）深度集成。借助 Apple Intelligence 和 App Intents 增強(qiáng)功能，Siri 會(huì)獲得在 app 內(nèi)和跨 app 執(zhí)行操作的能力。

如此，開(kāi)發(fā)者們可以允許用戶通過(guò)以下方式使用自己的產(chǎn)品：

• 與Siri互動(dòng)，也可以利用Apple Intelligence的個(gè)人環(huán)境感知和行動(dòng)能力
• 通過(guò)Spotlight建議和搜索進(jìn)入產(chǎn)品，比如微信。
• 等等。。

舉個(gè)例子，比如郵件應(yīng)用，他們通過(guò)App Intents框架向蘋(píng)果提供一個(gè)操作來(lái)表示某個(gè)意圖，比如發(fā)郵件或者刪除郵件。然后，用戶可以隨時(shí)要求Siri代表他們執(zhí)行這些意圖，無(wú)論此時(shí)有沒(méi)有打開(kāi)郵件應(yīng)用。

簡(jiǎn)單來(lái)說(shuō)，蘋(píng)果一方面讓開(kāi)發(fā)者將意圖理解能力引入App中，方便Siri等調(diào)用App的功能，一方面又可以將Apple提供的文本、圖像等功能集成到App中。

這才應(yīng)該是AI OS真正干的事情！