一個新技術(shù)的誕生，因為大家一開始不夠了解，總會夸大想象。其實上手一段時間之后就會發(fā)現(xiàn)不過如此。這篇文章，作者就分享了自己對大模型的態(tài)度變化和思考的過程，供大家參考。

四月，我滿懷期待與渴望發(fā)布了關(guān)于 RAG 重塑智能客服行業(yè)的文章。那時，對未來充滿無限幻想。然而，歷經(jīng)幾個月的 AI 產(chǎn)品經(jīng)理之旅，如今的我與市場一同回歸理性。

這段時間，我見證了大模型的奇妙變化，看到了它的無限可能性，也掉入過它的 “坑”。雖有諸多問題，但不可否認(rèn)，大模型為工作帶來極大便捷，數(shù)據(jù)分析精準(zhǔn)高效、代碼編寫輕松省力、文章創(chuàng)作才華盡顯。從最初的滿心憧憬到探索中的迷茫困惑，再到如今的冷靜思考，我深刻體會到 AI 之路的波瀾起伏。

接下來就講述下我這段時間遇到的問題和我后續(xù)的思考：

一、技術(shù)日新月異的時代，速度意味著一切嗎？

1、第一階段

年初，市場一片火熱，大模型技術(shù)如同一顆璀璨的新星，吸引著眾人的目光。大家對其充滿狂熱，仿佛看到了未來的無限可能。我們也不例外，懷著激動的心情測試了大模型在某個垂類領(lǐng)域問答的準(zhǔn)確率，結(jié)果在合格分?jǐn)?shù)上下波動，但這足以讓我們看到希望，覺得這是一個可以給垂類行業(yè)帶來第二增長曲線的機(jī)遇，因為通用大模型無法實現(xiàn)可用的準(zhǔn)確率。

什么是B端产品经理？和C端产品经理有什么区别？

B端产品经理中的B是Business，商业的意思，B端产品经理首先就要理解这个职位的重要性，要设计出更适合这个项目需求的产品方案，B最终产品经理在日常工作中...

查看详情 >

1.1 垂類大模型訓(xùn)練

于是，我們開始思考如何提升問答準(zhǔn)確率這個關(guān)鍵參數(shù)?？v觀市面上的各種宣傳，各行各業(yè)都在宣稱自己是首個某某垂類大模型。

確實，以人的認(rèn)知方式類比，看過學(xué)過更多領(lǐng)域知識的人會成為專家，大模型似乎也遵循著這個邏輯。從 AI 的發(fā)展史來看，它是一個數(shù)據(jù)驅(qū)動的領(lǐng)域，像李飛飛教授的 imagenet 數(shù)據(jù)集，大模型也是因龐大的數(shù)據(jù)量而產(chǎn)生質(zhì)的突變。按照慣性思維，單獨訓(xùn)練垂類大模型似乎是個明確的方向。

而且，當(dāng)與各大大模型廠商合作時，可以要求他們訓(xùn)練的大模型達(dá)到特定的準(zhǔn)確率數(shù)值，在上半年，這看起來確實是個花錢就能達(dá)成目標(biāo)的事情。然而，故事往往不會一帆風(fēng)順。

1.2 垂類大模型+rag

除了垂類大模型的訓(xùn)練，我們還引入了 RAG（檢索增強(qiáng)生成）技術(shù)。

通用大模型存在一些問題，而 RAG 仿佛是舞臺上冉冉升起的新星，在第一階段，我們對它充滿期待，認(rèn)為它會給這個舞臺帶來無數(shù)激動人心的時刻，灑滿鮮花。

考慮到后續(xù)商業(yè)化以及項目的自主性，我們毅然選擇了自研這條路。但沒想到，這條自研之路也是荊棘叢生。

從自有知識庫準(zhǔn)備好的 QA 對，到非結(jié)構(gòu)化文章的切片、子切片，再到向量化、相似度檢索、排序、重排序等幾個大模塊，我們艱難地建立起自己的 RAG 問答流程（ps：之所以叫艱難的建立起，是因為，在另外一家公司我們使用的是選擇現(xiàn)有的LLM平臺來實現(xiàn)以上的流程，完全沒有自己從0-1建立起來時的諸多困擾）。

在這個過程中，我們的心情從最初的滿懷期待，逐漸變得焦慮和審慎，深刻體會到了 AI 探索之路的不易。但我們知道，只有不斷前行，才能在這片充滿挑戰(zhàn)的領(lǐng)域中找到屬于自己的成功之路。

補(bǔ)充說明：純大模型的缺陷

知識的局限性：知識更新緩慢和答案缺乏透明度。模型自身的知識完全源于它的訓(xùn)練數(shù)據(jù)，而現(xiàn)有的主流大模型（ChatGPT、文心一言、通義千問…）的訓(xùn)練集基本都是構(gòu)建于網(wǎng)絡(luò)公開的數(shù)據(jù)，對于一些實時性的、非公開的或離線的數(shù)據(jù)是無法獲取到的，這部分知識也就無從具備。

幻覺問題：所有的AI模型的底層原理都是基于數(shù)學(xué)概率，其模型輸出實質(zhì)上是一系列數(shù)值運算，大模型也不例外，所以它有時候會一本正經(jīng)地胡說八道，尤其是在大模型自身不具備某一方面的知識或不擅長的場景。而這種幻覺問題的區(qū)分是比較困難的，因為它要求使用者自身具備相應(yīng)領(lǐng)域的知識。

數(shù)據(jù)安全性：對于企業(yè)來說，數(shù)據(jù)安全至關(guān)重要，沒有企業(yè)愿意承擔(dān)數(shù)據(jù)泄露的風(fēng)險，將自身的私域數(shù)據(jù)上傳第三方平臺進(jìn)行訓(xùn)練。這也導(dǎo)致完全依賴通用大模型自身能力的應(yīng)用方案不得不在數(shù)據(jù)安全和效果方面進(jìn)行取舍。

補(bǔ)充說明：不同rag構(gòu)建方式優(yōu)劣勢對比

在經(jīng)歷了一系列提升準(zhǔn)確率的操作后，我們確實看到了成果的提升。然而，正如生活中總是充滿意外，新的發(fā)展也接踵而至。此時，我們認(rèn)為自身的基礎(chǔ)技術(shù)能力已有了一定積累，于是懷揣著為企業(yè)帶來新發(fā)展的期望，著手打造一個能夠運用這些能力并實現(xiàn)商業(yè)化可能性的產(chǎn)品。

在這個產(chǎn)品的發(fā)展過程中，我們迎來了重大的轉(zhuǎn)折點。我們深刻認(rèn)識到傳統(tǒng)程序構(gòu)建方式與算法工程化之間的巨大差異。傳統(tǒng)程序以跑起來為首要目標(biāo)，只要能夠順利運行，便達(dá)成了基本要求。

但算法工程卻截然不同，它更像是一個個精心設(shè)計的實驗，需要在每個小閉環(huán)中不斷地進(jìn)行測試、再測試。每一次的嘗試都是一次探索，每一次的調(diào)整都是為了更接近完美。

2、第二階段

2.1 回答不夠完整和有條理，且存在某些不適合垂類領(lǐng)域的偏向。

問題表現(xiàn)：由于產(chǎn)品的目標(biāo)是商業(yè)化，因此我們將我們的產(chǎn)品給客戶進(jìn)行試用，客戶反饋產(chǎn)品準(zhǔn)確率不行且回答不夠完整和有條理、且存在事實性錯誤。

原因分析：

• 垂類大模型被訓(xùn)練成更偏向簡潔回答模式：訓(xùn)練前我們只關(guān)注問答準(zhǔn)確率，未確認(rèn)好期望的問答結(jié)構(gòu)和回答方式。如雖然我們知道 rag 問答知識準(zhǔn)備中雖注意到一個問題一個答案及數(shù)據(jù)多樣化，但在相似其他相似領(lǐng)域未獲得我們重視。
• 垂類大模型被訓(xùn)練成回答會有某些偏向的模式：訓(xùn)練所需數(shù)據(jù)確認(rèn)方式有問題，若放入有偏向性及后續(xù)需要不斷更新的數(shù)據(jù)，會導(dǎo)致問答結(jié)果有偏向性。比如在法律領(lǐng)域不同地區(qū)法律存在差異，你給大模型的數(shù)據(jù)偏向于北京的數(shù)據(jù)，后續(xù)回答就容易在不明確地區(qū)的情況下回答北京，導(dǎo)致存在實時性的誤差，因此后續(xù)要么確保數(shù)據(jù)沒有地區(qū)，在rag中使用這些地區(qū)的數(shù)據(jù)，要么不斷的訓(xùn)練防止以上的問題產(chǎn)生。

2.2 內(nèi)部知識庫+垂類大模型不如通用大模型+聯(lián)網(wǎng)搜索？

問題表現(xiàn)：測試結(jié)果顯示大半年努力不如通用大模型包裝出來的流程調(diào)用，即使在法律這樣對數(shù)據(jù)及時性有效性要求高的行業(yè)也如此。

思考困惑

• 讓人迷茫做這個東西的流程意義何在，也理解了為何媒體宣傳 AI 搜索有前景。
• 可能是我們的測試方式也要點問題，因為使用的是小的模型對比市場上的通用大模型。

2.3 回答的召回率不高

問題確認(rèn)：結(jié)果，我們從 0 – 1 剖析整個流程，發(fā)現(xiàn)文檔拆分未按要求進(jìn)行，導(dǎo)致無法召回效果一直不是很好。且由于我們是特定的行業(yè)，存在很多行業(yè)內(nèi)相似的詞匯，但是 embedding 模型轉(zhuǎn)換出來的向量相似度不高導(dǎo)致無法召回等等。

嘗試措施：測試不同的 embedding 模型、增加稀疏向量、使用不同重排序策略、利用上下文信息、對 chunk 進(jìn)行不同拆分、擴(kuò)充問句、重新梳理整套流程然后進(jìn)行各個模塊的測試。

注意事項：

算法和工程同學(xué)進(jìn)行各種改動時先使用 MVP 測試效果，避免按照原本工程思維，只關(guān)注是否可以跑起來，不管每個模塊跑的各種細(xì)節(jié)是否穩(wěn)定是否符合預(yù)期，從而導(dǎo)致發(fā)布后出現(xiàn)問題需大量的改動。

技術(shù)日新月異的時代，實現(xiàn)速度雖重要，也要注重對實現(xiàn)效果的反復(fù)驗證。

二、理性回歸，反思技術(shù)

1、《讓大象飛》引發(fā)共鳴，技術(shù)并非萬能

近期閱讀了《讓大象飛》這本書，其中的一些觀點讓我產(chǎn)生了強(qiáng)烈的共鳴。書中提到技術(shù)并沒有我們以為的那么重要，任何新的技術(shù)通常都會經(jīng)歷一個 25 年的接受和采用周期。這讓我深刻反思了在大模型創(chuàng)業(yè)過程中的經(jīng)歷。在追求技術(shù)創(chuàng)新的道路上，我們往往容易陷入對技術(shù)的過度熱愛，而忽略了其他重要的因素。

在公司內(nèi)部創(chuàng)業(yè)過程中，我們也曾陷入技術(shù)陷阱。在探索產(chǎn)品功能的算法方案時，花費了將近一個月的時間，期間還換了人，但最終結(jié)果卻充滿戲劇性。這讓我意識到，技術(shù)并非萬能，不能僅僅依靠技術(shù)來推動企業(yè)的發(fā)展。我們需要更加關(guān)注用戶需求、商業(yè)模式創(chuàng)新、設(shè)計創(chuàng)新，以及如何將技術(shù)與現(xiàn)有業(yè)務(wù)相結(jié)合，滿足商業(yè)上的需求。

2、用戶需求、商業(yè)模式與設(shè)計創(chuàng)新更受關(guān)注

在經(jīng)歷了大模型創(chuàng)業(yè)的波折后，我越發(fā)認(rèn)識到商業(yè)模式與設(shè)計創(chuàng)新的重要性。正如書中所說，采用新技術(shù)的動力應(yīng)該來自商業(yè)上的需求，而不是相反。商業(yè)模式創(chuàng)新就像一座燈塔，引導(dǎo)企業(yè)駛向未知的、有利可圖的水域。

商業(yè)模式創(chuàng)新展示了公司如何為客戶提供價值，無論是開發(fā)新的收入流還是拓展分銷渠道都至關(guān)重要。它不僅僅是產(chǎn)品的創(chuàng)新，更是關(guān)于改變企業(yè)的本質(zhì)、收入流、市場以及客戶對價值的認(rèn)知。例如 Airbnb 以其共享經(jīng)濟(jì)模式顛覆了酒店行業(yè)，Spotify 的訂閱服務(wù)也顛覆了傳統(tǒng)音樂購買模式，這些都是商業(yè)模式創(chuàng)新的成功案例。

3、對于初創(chuàng)企業(yè)來說，先 “活下來” 是首要問題

雖然好的商業(yè)模式和設(shè)計模式很重要，但是在在創(chuàng)業(yè)早期，我們應(yīng)該更多地關(guān)心市場需求，因為從本質(zhì)上來說商業(yè)模式無非就是用戶/客戶給你錢或者廣告商給你錢，而愿意給你錢的本質(zhì)是你能滿足他們的需求。

通過觀察世界，找出存在的問題，對現(xiàn)有技術(shù)做出調(diào)整以適應(yīng)目標(biāo)，測試市場來發(fā)現(xiàn)需求，探索可能的市場機(jī)會。只有這樣，我們才能避免落入 “技術(shù)陷阱”，實現(xiàn)企業(yè)的可持續(xù)發(fā)展。

三、未來展望，穩(wěn)步前行

1、對于自我：實踐出真知

目前的感受是實踐出真知，看了很多文章看了很多項目，直到自己實際去體驗的時候才發(fā)現(xiàn)，哪哪都是坑，一個不留意都可能對最后的結(jié)果產(chǎn)生影響。

在 AI 的世界里，處處皆是挑戰(zhàn)。傳統(tǒng)的程序以運行起來為首要目標(biāo)，而算法工程則如同一個個精心設(shè)計的實驗。每一個小閉環(huán)都需要我們不斷地測試、再測試。一個細(xì)微的疏忽，都可能對最終結(jié)果產(chǎn)生重大影響。我們必須時刻保持警惕，以嚴(yán)謹(jǐn)?shù)膽B(tài)度對待每一個環(huán)節(jié)。

2、對于大模型：持續(xù)探索，在 AI 領(lǐng)域穩(wěn)步邁進(jìn)

過往我不斷的探索三維深度信息，思考它如何被人類記憶，如何影響其他信息的認(rèn)知。如今，AI 領(lǐng)域不斷拓展，語義 AI 之外，具身智能嶄露頭角。

具身智能強(qiáng)調(diào)智能體與真實世界的多模態(tài)交互，通過 “眼耳鼻舌身” 五根主動獲取物理世界的真實反饋，推動智能化向更高層次進(jìn)化。未來的 AI 產(chǎn)品有望從傳統(tǒng)的 2D 平面人工智能邁向 3D 空間、4D 時序的新領(lǐng)域。具身的虛擬數(shù)字人、AI 智能助理、人形機(jī)器人等，這些充滿想象力的發(fā)展方向令人期待。它們將實現(xiàn)多模態(tài)、主動交互式的人工智能體，為人類生活帶來翻天覆地的變化。

最后，在這個充滿無限可能的時代，我們作為 AI 產(chǎn)品經(jīng)理，雖無法進(jìn)行金錢上的大規(guī)模投資，但我們可以將自身的資源投入到我們所向往的未來。正如一位我所喜愛投資人所言：“投資是什么？是將我的資源投給我想要的未來?！?盡管這其中存在風(fēng)險，但如果有幸參與到那個令人激動的未來之中，將是無比榮幸之事。

相關(guān)參考

書籍《讓大象飛》

大模型：豆包/智譜清言

文章：https://mp.weixin.qq.com/s/tuOrnzmW3gzBbnlV31hmJg