造個(gè)Agent牛馬幫我消化Super Boss的需求!【工作流基礎(chǔ)速通篇】
在AI迅猛發(fā)展的當(dāng)下,AIGC(人工智能生成內(nèi)容)正在逐步滲透到各個(gè)商業(yè)場(chǎng)景中,但如何高效地利用AI提升工作效率,仍然是一個(gè)值得深入探討的問題。本文開啟了一套關(guān)于AI-Agent構(gòu)建的系列連載,旨在幫助讀者快速掌握AI工作流的基礎(chǔ)搭建方法,并通過案例實(shí)戰(zhàn),探索如何為自己的工作場(chǎng)景構(gòu)建實(shí)用的AI助手。
此次會(huì)連載一套AI-Agent構(gòu)建的系列,主要分為三部分,首先是速通AI-Agent構(gòu)建的工作流基礎(chǔ),然后是通過ComfyUI作為案例來復(fù)盤如何快速上手工作流平臺(tái),最后則是借助Agent平臺(tái)構(gòu)建一個(gè)AI Agent案例,本系列意圖主要是幫助大家貫通工作流的搭建形式,并嘗試思考為自己的工作搭建一些可用的AI助手,或是提供構(gòu)建的方法指引。
無論你是產(chǎn)品經(jīng)理還是設(shè)計(jì)師,你會(huì)發(fā)現(xiàn)商業(yè)場(chǎng)景的AIGC,幾乎都沒有辦法通過一段需求描述或是簡(jiǎn)單的Agent對(duì)話就搞定的,你需要更專業(yè)更復(fù)雜的AIGC過程,那么如何理解復(fù)雜?實(shí)現(xiàn)專業(yè)?本系列會(huì)給你帶來一些啟示。
AI迅猛發(fā)展下涌現(xiàn)的AIGC
在過去兩年不到的時(shí)間里,AI絕對(duì)是一個(gè)熱門話題,同時(shí)帶來的也是各種AIGC的嘗試與數(shù)字化創(chuàng)新,我們迫切期望用AI來提升產(chǎn)出效率或帶來新的風(fēng)口,經(jīng)過了兩年的時(shí)間,風(fēng)風(fēng)火火的AI似乎又放緩了腳步,被AI沖擊的人或事物好像也沒有想象中那么多,但AI的進(jìn)步或商業(yè)化應(yīng)用的腳步確是有跡可循的,可謂是大模型小應(yīng)用。
這兩年里已經(jīng)有越來越多的人或企業(yè)用上了大模型的問答、AI多媒體生成、智能體(Agent)、工作流,其中大模型是最為常見的,能夠直接與用戶進(jìn)行多模態(tài)溝通,并給予解答。多媒體AI生成方面已經(jīng)覆蓋了圖像、音頻、視頻等多領(lǐng)域,在廣告營(yíng)銷方面大放光彩。而帶有周期記憶的大模型配合一定的數(shù)據(jù)材料+工具就能訓(xùn)練出智能體,用作解決某些特定場(chǎng)景的問題和內(nèi)容生成,在個(gè)人助手或企業(yè)服務(wù)中有著廣泛的應(yīng)用;至于工作流則作為構(gòu)建智能體或特殊AI工具的特定形式,被漸漸帶入AIGC廣泛的視野中。
過去的兩年里,專業(yè)的智能體平臺(tái)也在迅速發(fā)展,并且有數(shù)以萬計(jì)的智能體被發(fā)布使用,其中字節(jié)的扣子是知名度最高的,其次還有百度的文心智能體平臺(tái)、支付寶的百寶箱、Dify、Link AI等,他們的出現(xiàn)均是為了便于我們構(gòu)建自己的智能體助手或是特定工作流。
大模型開發(fā)或訓(xùn)練對(duì)普通人比較難,但在這個(gè)AI迅速發(fā)展的時(shí)代,我們不妨站在巨人的肩上,思考一下從個(gè)人工作提效的視角,如何來構(gòu)建自己的智能體或是工作流?
Agent與AI工作流的區(qū)別
AI Agent (AI 代理)
其實(shí)AI Agent并不是這兩年才出來的概念,一般資料會(huì)說是一種能夠感知環(huán)境、進(jìn)行決策和執(zhí)行動(dòng)作的智能實(shí)體?。其實(shí)你可以淺顯的理解成是一個(gè)有記憶力,能夠?qū)W習(xí)指定資料和調(diào)用程序工具來完成任務(wù)的AI代理助手,所謂的感知環(huán)境就是能夠接收用戶的指令或是通過傳感器采集數(shù)據(jù),然后大模型會(huì)根據(jù)指定資料學(xué)習(xí)來的知識(shí),調(diào)用工具來自動(dòng)的實(shí)現(xiàn)用戶目標(biāo)或優(yōu)化收集到的數(shù)據(jù),并且會(huì)在每次執(zhí)行優(yōu)化過程中學(xué)習(xí)提升,說到底一個(gè)AI Agent是否好用,還要看AI大模型是否牛掰,以及喂的知識(shí)庫是否專業(yè)可靠,也因此帶出了如RAG這些知識(shí)庫索引技術(shù),目的就是為了讓AI更高效準(zhǔn)確的從知識(shí)庫獲取信息,這個(gè)有機(jī)會(huì)再深入吧。
AI Workflow (AI 工作流)
當(dāng)你在考勤程序上提交了一條請(qǐng)假,AI助理判定你的請(qǐng)假理由合理就自動(dòng)轉(zhuǎn)達(dá)給老板進(jìn)行最終審批了,那么這套介入了AI的數(shù)字化審批流程就可以看成是AI Workflow。淺顯的理解就是一條搭載了各種AI模型或工具插件的數(shù)字化生產(chǎn)流程,可以根據(jù)需求將數(shù)據(jù)不斷的加工執(zhí)行得到我們最終想要的結(jié)果,他們由一系列數(shù)字化插件與AI模型根據(jù)明確的任務(wù)次序組成,每個(gè)步驟都有清晰的輸入和輸出規(guī)范,整個(gè)流程高度結(jié)構(gòu)化且可預(yù)測(cè),同時(shí)也是大多復(fù)雜Agent或智能工具編排開發(fā)不可繞開的一種形式,工作流編排能夠有效地管理和協(xié)調(diào)這些插件或AI,確保Agent能夠高效、可靠、精準(zhǔn)地運(yùn)行。
兩者的優(yōu)勢(shì)差異
AI Agent
借助大模型(LLM)的智慧與學(xué)習(xí)能力,Agent有更強(qiáng)的理解分析與自主決策能力,能夠更好的適應(yīng)復(fù)雜的場(chǎng)景與信息處理,并且可以根據(jù)過往的數(shù)據(jù)進(jìn)行深度學(xué)習(xí)和優(yōu)化提升,適合相對(duì)開放的業(yè)務(wù)場(chǎng)景輸出,但靈活開放的同時(shí),也會(huì)帶來一些不可控或未知。
AI Workflow
則更注重人為預(yù)定的執(zhí)行路徑和標(biāo)準(zhǔn)化的生產(chǎn)流程,可控性強(qiáng),結(jié)果可預(yù)測(cè),效率高,有一定擴(kuò)展性,適合處理結(jié)構(gòu)化、重復(fù)性任務(wù),AI或大模型主要擔(dān)任其中的內(nèi)容加工與數(shù)字化資產(chǎn)生成相關(guān),但同時(shí)工作流本身就是一套流程自動(dòng)化的方法,應(yīng)用場(chǎng)景也相當(dāng)廣泛。
職場(chǎng)打工就是人肉工作流
你是否發(fā)現(xiàn),大部分職能工作都有自己的一套流程和方法論,就像是做飯得有菜譜一樣。這些流程和方法論能讓我們更快更好地完成生產(chǎn)工作,當(dāng)然捏,時(shí)不時(shí)的我們也會(huì)根據(jù)需求適當(dāng)?shù)恼{(diào)整一下流程或是方法嘛,就好比說客人跟你將喜歡吃辣一點(diǎn),那么我們就適當(dāng)?shù)亩嗉右恍├苯???。
倘若你是數(shù)字化辦公,那些結(jié)構(gòu)穩(wěn)定重復(fù)的作業(yè)不就妥妥的一條工作流嘛,因?yàn)楣ぷ髁魇谴a或程序背景條件下的自動(dòng)化辦公流程,那么我們把一些工作事項(xiàng)整成一個(gè)個(gè)工作流讓AI來完成!是不是!對(duì),恭喜你也獲得一頭賽博牛馬~
那么先讓我們從工作流開始吧,掌握復(fù)雜AI-Agent構(gòu)建的底層思維,教你如何一步步搭建自己的賽博牛馬。
速通工作流,原來如此簡(jiǎn)單
AI工作流的概念我們已經(jīng)清楚了,那么正式聊聊工作流的結(jié)構(gòu)與搭建思路~
工作流的基本構(gòu)成
工作流目標(biāo):
這個(gè)工作流的用途價(jià)值(相當(dāng)于老板下達(dá)的需求目標(biāo))
起點(diǎn)終點(diǎn):
任務(wù)的起點(diǎn)設(shè)置與最終的交付結(jié)果(相當(dāng)于老板提出的需求到執(zhí)行結(jié)果)
節(jié)點(diǎn):
構(gòu)成完整流程的局部階段或是事件單位,它們通常由一個(gè)或多個(gè)任務(wù)構(gòu)成(相當(dāng)于一個(gè)產(chǎn)品研發(fā)組織中的小部門,如設(shè)計(jì)部、產(chǎn)品部)
任務(wù):
用作完成和實(shí)現(xiàn)節(jié)點(diǎn)目標(biāo)的各個(gè)最小運(yùn)行任務(wù)單位(相當(dāng)于小部門接到需求后,拆成若干小任務(wù)開始分工,然后根據(jù)任務(wù)要求開始標(biāo)準(zhǔn)執(zhí)行輸出)
連接:
用作編排各個(gè)任務(wù)節(jié)點(diǎn)關(guān)系或步驟的“藥引子”(相當(dāng)于產(chǎn)品部輸出“PRD”連接設(shè)計(jì)部,設(shè)計(jì)部輸出“UI”連接研發(fā)部,用作規(guī)范內(nèi)容輸入輸出的字段參數(shù),最終得出老板要的結(jié)果)
條件:
用作控制各個(gè)任務(wù)節(jié)點(diǎn)連接的條件判斷,即準(zhǔn)入準(zhǔn)出(相當(dāng)于設(shè)計(jì)任務(wù)完成后需要給設(shè)計(jì)總監(jiān)看一下是否合格,是一種嚴(yán)格執(zhí)行和標(biāo)準(zhǔn)化的體現(xiàn))
賽博餐廳上線,帶你速通工作流
首先我們用一套虛擬的數(shù)字化餐廳的菜品制作流程來演示一遍工作流是如何搭建和工作的,背景是在一個(gè)專業(yè)數(shù)字化的制菜工作流平臺(tái),并且有著豐富的任務(wù)插件或AI工具可用;
目標(biāo)背景:流程目標(biāo)是電子菜,因?yàn)槭翘摂M的工作流制作,所以有一些節(jié)點(diǎn)或任務(wù)不會(huì)特別細(xì)致,就像是在玩游戲一樣,不要太在意哦~
- Step1. 首先流程的起點(diǎn)是點(diǎn)菜(菜名數(shù)據(jù)),最后是上菜(菜品結(jié)果)
- Step2. 根據(jù)預(yù)設(shè),我們將配菜作為第一個(gè)節(jié)點(diǎn),主要是找到插件或AI完成菜品的食材配置
- Step3. 接著是備菜節(jié)點(diǎn),這個(gè)節(jié)點(diǎn)里的任務(wù)會(huì)根據(jù)菜品將食材進(jìn)行清洗配切準(zhǔn)備
- Step4. 然后是烹飪節(jié)點(diǎn),這個(gè)節(jié)點(diǎn)里的任務(wù)主要是完成調(diào)味跟燒菜
- Step5. 燒好菜了,你知道的,我們要裝盤~
- Step6. 最后!當(dāng)然是上菜啦~
此時(shí)我們已經(jīng)得到了一套電子菜的基本生產(chǎn)流程了,流程里已經(jīng)有了關(guān)鍵節(jié)點(diǎn)或是任務(wù),并且有一套可行的線性關(guān)系編排,用來保證節(jié)點(diǎn)任務(wù)之間能夠有序運(yùn)行,這些很重要,不信你看看我這套流程~
我想你一定會(huì)吃的很開心,連我的盤子碎片一起嗦溜吧hhhh
好啦,那么讓我們繼續(xù)將節(jié)點(diǎn)關(guān)系和條件正確地完善起來 ??????
這個(gè)時(shí)候我們已經(jīng)有一套簡(jiǎn)易的工作流結(jié)構(gòu)了,但,讓我們?cè)偻晟埔幌隆肮?jié)點(diǎn)的任務(wù)”跟用于連接節(jié)點(diǎn)任務(wù)的“字段數(shù)據(jù)”看看~
目前為止,我們已經(jīng)清晰了基本流程,并且規(guī)范了連接關(guān)系與任務(wù)插件或AI的選用編排,他們已經(jīng)大致能夠?qū)㈩櫩拖聠蔚牟嗣鸩郊庸こ赡繕?biāo)菜品了,這些任務(wù)插件或AI模型都是平臺(tái)提供的,總之他們能搞定自己對(duì)應(yīng)的任務(wù),厲害的模型甚至能一次搞定多個(gè)任務(wù),當(dāng)然了,這些程序模型或插件的底層或背后也可以是這樣一套工作流,只要你規(guī)范好其運(yùn)行的輸入輸出條件或結(jié)果,然后封裝成一個(gè)固定的插件單元即可。
那么接下來以“配菜”節(jié)點(diǎn)為例,我們將任務(wù)1插件背后的工作流再一次的剖析看看,究竟有哪些節(jié)點(diǎn)或任務(wù)構(gòu)成。
到這里一套工作流的構(gòu)建我想你應(yīng)該心里有數(shù)了,這些節(jié)點(diǎn)任務(wù)的接口就像是電子積木一樣,我們?cè)O(shè)計(jì)好流程、數(shù)據(jù)與條件,將任務(wù)插件正確連接起來,保證接口數(shù)據(jù)能夠通過起始參數(shù)一步步的變成最終所需的結(jié)果即可。
任務(wù)或節(jié)點(diǎn)的典型結(jié)構(gòu)
你可能在想,一個(gè)AI Workflow這樣就可以了嗎?還不夠,對(duì)于實(shí)際節(jié)點(diǎn)任務(wù)的連接關(guān)系我得再補(bǔ)充一下。
細(xì)心的你一定已經(jīng)發(fā)現(xiàn)了些特征,這些單元是不是特別像一個(gè)電子元件或是函數(shù)?是的,以開發(fā)視角來看,他們就是一堆模型接口,配置好輸入字段參數(shù)請(qǐng)求接口,然后接口根據(jù)輸入條件進(jìn)行運(yùn)算并輸出預(yù)期的結(jié)果。
你要是還不能理解就把單個(gè)任務(wù)或是節(jié)點(diǎn)看作一個(gè)人,把米飯跟火龍果吃進(jìn)去,然后拉出紅色的翔,輸入是米飯+火龍果,經(jīng)過一頓消化,輸出是紅翔~
因此他們具備輸入、輸出、參數(shù)配置三大結(jié)構(gòu)特征,參數(shù)配置就是輸入數(shù)據(jù)的條件設(shè)置,可以是多個(gè)不同類型的設(shè)置,可以控制最終輸出結(jié)果的走向,相當(dāng)于對(duì)前面那個(gè)吃米飯+火龍果的人進(jìn)行條件要求,要求他多吃幾個(gè)火龍果,這樣就可以獲得更紅的翔了~
當(dāng)然了,也有些簡(jiǎn)單的插件單元只用作單一的輸入或是輸出任務(wù),甚至可以直接執(zhí)行,不需要進(jìn)行手動(dòng)的參數(shù)配置。
另外一個(gè)單元的輸入輸出參數(shù)可以是多對(duì)多關(guān)系,例如前面那個(gè)吃飯+火龍果的人,他輸入到肚子里的就是多個(gè)類型的食物,最終輸入的除了紅翔其實(shí)還有液體哦 [暗中觀察]
然后再說說輸入輸出的數(shù)據(jù)類型,這些數(shù)據(jù)通常由字段(參數(shù)名)+具體參數(shù)+數(shù)據(jù)格式構(gòu)成,例如“姓名:泡泡”中,姓名就是的字段,泡泡就是字段的參數(shù),參數(shù)類型就是個(gè)中文字符串,若是“年紀(jì)”這個(gè)字段,那么參數(shù)的類型基本就是數(shù)值。
還記得前面賽博餐廳的例子嗎,在現(xiàn)實(shí)里,每個(gè)節(jié)點(diǎn)任務(wù)之間的輸入輸出也具備以上三個(gè)屬性,就像下面圖里例舉的一樣,【配菜】的輸入字段是菜名,參數(shù)則是一個(gè)具體的菜品名稱,類型則是傳遞這個(gè)信息的一個(gè)載體,例如便簽;
所以在真實(shí)的AI工作流構(gòu)建時(shí),同樣也需要注意到這些字段的格式類型,他們被用作規(guī)范輸入輸出的數(shù)據(jù)格式,例如輸入一段文本(類型是字符串),最終交付一張圖像(類型是圖像),這便是典型的文生圖模式,這里我給一些高頻的基礎(chǔ)字段類型了解一下;
在前文提過,為了更準(zhǔn)確的控制結(jié)果輸出,就免不了一些參數(shù)配置,即使工作流平臺(tái)提供了豐富的任務(wù)節(jié)點(diǎn)或是插件,但,我們僅僅只是圍繞基礎(chǔ)流程把他們組合連接一下是不夠的。
在實(shí)際的工作流任務(wù)或節(jié)點(diǎn)應(yīng)用時(shí),還有很多的部分需要由設(shè)計(jì)者來完成字段參數(shù)的設(shè)定與配置,這樣任務(wù)插件之間才能正確工作起來,就如下圖這些頭疼的玩意兒~
但也別急著頭疼,通常這些玩意兒就是對(duì)應(yīng)任務(wù)插件的預(yù)設(shè)配置而已,或者是AI模型工作的提示詞,當(dāng)你知道了任務(wù)節(jié)點(diǎn)的用途與條件后就不會(huì)難懂了,那么現(xiàn)在讓我們?cè)谫惒┎蛷d的工作流中也展示一些必要的節(jié)點(diǎn)任務(wù)配置看看如何~
如圖上所示,我們?yōu)椤包c(diǎn)菜”跟“裝盤”節(jié)點(diǎn)補(bǔ)充了任務(wù)執(zhí)行所需的字段參數(shù)配置,是不是也不難理解?
既然要求做任務(wù)執(zhí)行,那么任務(wù)執(zhí)行的標(biāo)準(zhǔn)或必要條件你肯定得通過字段參數(shù)的形式輸入給任務(wù)插件了。
工作流擴(kuò)展升級(jí)的思路
那么工作流僅僅就這樣?別急別急!
我再講一點(diǎn)點(diǎn)靈活擴(kuò)展的方法思路,說到底工作流是一系列程序與數(shù)據(jù)交互,那么只要程序加工的插件或模型夠豐富夠智能,我們不就可以根據(jù)訴求鳥槍裝成大炮哇!
還是我的賽博餐廳,既然是一家餐廳,那我們可得有特色了,所以我們應(yīng)該有一套限定風(fēng)味的菜單,而不是大雜燴,所以先上一個(gè)點(diǎn)菜系統(tǒng);
這時(shí)我們就有一套預(yù)制的菜品菜單了,并且菜品圖正是我們賽博餐廳里生產(chǎn)的,可不是網(wǎng)圖哦~
接著考慮到要調(diào)用食材倉庫,我們給制菜流水線再加一個(gè)食材分析節(jié)點(diǎn),用作更好的采購和管理食材,并且增加一個(gè)用戶反饋節(jié)點(diǎn)來改善菜品,那么開始操辦~
目標(biāo)一:食材采購管理
設(shè)計(jì)思路:每次配菜都會(huì)有一套食材表單,可以作為輸入的基礎(chǔ)數(shù)據(jù),中間則添加一套AI模型,負(fù)責(zé)按照周月季不同的周期來整理和分析食材的用量存量趨勢(shì),以及保存周期規(guī)劃,最終輸出一套符合采購系統(tǒng)的數(shù)據(jù)表,使得食材倉庫合理高效運(yùn)行。
目標(biāo)二:用戶反饋優(yōu)化
設(shè)計(jì)思路:首先需要收集到有效的用戶反饋,其次要對(duì)應(yīng)到菜品,以及我們期望的反饋,所以我們?cè)谏喜肆鞒躺蠑U(kuò)展一個(gè)用戶反饋節(jié)點(diǎn)來連接用戶,并且借助AI設(shè)置一套符合我們賽博餐廳的菜品意見表,這個(gè)表是用戶選填的,但是一定會(huì)在用餐結(jié)束后記錄菜品名稱與用餐結(jié)果圖,當(dāng)然,如果用戶提供了反饋就更好了。
那么反饋結(jié)果呢?不要急,我們會(huì)通過指定的數(shù)據(jù)格式先輸入到一個(gè)“菜品優(yōu)化分析”的AI模型任務(wù)節(jié)點(diǎn)上,然后將優(yōu)化結(jié)論輸出到“配菜”節(jié)點(diǎn)中的“廚房小能手”AI模型上,以及烹飪節(jié)點(diǎn)中的烹飪方法知識(shí)庫上,這樣我們就可以得到優(yōu)化后的烹飪菜品了。
那么這么一套賽博餐廳的工作流模擬搭建就告一段落了,其實(shí)只要有夠豐富的插件或模型,還有你豐富的想象力,小小的積木也能被你搭建成豪華的城堡,希望這一套賽博餐廳下來,能幫你把流水線的概念與技巧吃透。
下一期,通過ComfyUI工作流作為案例教你如何快速上手工作流平臺(tái)與搭建工作,為后續(xù)案例實(shí)踐作基礎(chǔ)鞏固。
專欄作家
泡泡,公眾號(hào):即刻UX,人人都是產(chǎn)品經(jīng)理專欄作家。專注產(chǎn)品交互領(lǐng)域的體驗(yàn)設(shè)計(jì)師,擅長(zhǎng)思考和UI呈現(xiàn)設(shè)計(jì),喜愛交流探討~
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
很形象
又一個(gè)靚仔
寫的很好,期待后面的更新
感謝評(píng)論與支持,你是最靚的仔
湊條評(píng)論