通過探索AI如何模仿人腦來提高效率和學(xué)習(xí)速度，我們可以更好地理解人類的注意力如何在信息泛濫的世界中受到挑戰(zhàn)，并找到強化自身專注力的方法。

開始一個系列，智能時代的變革與思考

大模型的注意力機制給我們的啟示

大模型的核心：注意力機制

現(xiàn)在的大模型比上一代更加智能，上一代深度學(xué)習(xí)是基于對語言和語義的理解，而現(xiàn)在的大模型直接采用了人腦的機制——注意力機制。

打個比方，任何人看到一幅畫面，或多或少都會被某個部分吸引，而且這個吸引點因人而異。這個被吸引的部分就是注意力機制。在大模型的訓(xùn)練過程中，通過樣本不斷地訓(xùn)練注意力機制相關(guān)的參數(shù)，讓大模型能夠快速的抓住上下文的重點，以便生成最準確的內(nèi)容。

再舉個例子，圖書館里有藏書，為了方便檢索，每一本書都被做了標記。當任何人想要了解“XX”，系統(tǒng)會給根據(jù)要求給出相關(guān)條目以及條目的優(yōu)先級。

這時候大模型為提高效率，并不是所有的書都會仔細看。而是將一些關(guān)聯(lián)度高的條目認真閱讀，而關(guān)聯(lián)度低的條目做概要掃描，然后就就對檢索內(nèi)容有全面的了解，之后就可以開始自動生成相關(guān)的內(nèi)容。而注意力機制則是對應(yīng)落地實現(xiàn)的一種高效算法。

海量的數(shù)據(jù)加上注意力機制造就了現(xiàn)在的大模型，也把信息技術(shù)從智能1.0時代帶入到了智能2.0時代。

當AI有了注意力機制，就不僅僅是算法，不僅僅是機器，有了注意力機制就有了學(xué)習(xí)能力，不斷的迭代。

現(xiàn)在的AI越來越像人了，以至于很多人害怕被AI替代，這個是有根據(jù)的，因為人類的思考過程就是根據(jù)記憶包括已有的知識和經(jīng)驗來進行決策和判斷。

而AI現(xiàn)在有記憶，知識儲備上也大于人類，通過不停的學(xué)習(xí)，在經(jīng)驗上也超越人類。

在決策判斷環(huán)節(jié)，AI在處理任務(wù)時，可以有意識地選擇最重要的信息，忽略不相關(guān)的干擾。而人類的注意力機制則更加復(fù)雜和多變，受到情緒、環(huán)境、興趣和疲勞等多種因素的影響。

今天重點討論一下注意力

與AI相比，人類的注意力可以主動調(diào)節(jié)，但也容易被外界因素分散。

現(xiàn)在的人越來越難保持專注了，我們過去看長視頻，看電影，后來看綜藝，再后來看短視頻，看抖音，15秒就需要一個刺激，我們越來越難在兩三個小時不去看手機了

為什么我們的專注力越來越弱，是因為現(xiàn)在的世界是被信息流覆蓋的世界，我們每天面對的是數(shù)以千計，數(shù)以萬計的消息，我們的信息變得越來越快，每一份的時間變的越來越小，所以我們的注意力越來越散，我們要做的事情越來越多，導(dǎo)致我們的注意力越來越不夠用。

于是，我們越來越焦慮，越來越感到力不從心。

如何強化我們的注意力：

• 如是觀。要明白我們處于什么樣的時代。了解AI的注意力機制，知道自己的注意力都放在哪里。這意味著要時刻反思，我們的時間和精力都花在了什么地方。
• 知識庫。不斷更新自己的認知，更新我們的知識庫，也就是讓自己的注意力權(quán)重，同時做減法，去掉不相關(guān)的事，不相關(guān)的念頭，有效的專注在更重要的事情上。
• 強心力。心力就是保持專注的能力，我們不停的刷抖音就是心力不足的結(jié)果，這就是獲取情緒價值來為心力買單。

參考書籍

《變革者：深度學(xué)習(xí)的未來》

“隨著注意力機制的不斷發(fā)展，它們將超越自然語言處理，成為包括計算機視覺和強化學(xué)習(xí)在內(nèi)的各種人工智能應(yīng)用的核心。”

《注意力危機》

“網(wǎng)絡(luò)似乎正在逐漸削弱我集中注意力和深思熟慮的能力。無論我是否在線，我的大腦現(xiàn)在都期望像網(wǎng)絡(luò)分發(fā)信息那樣快速接收信息：在快速移動的粒子流中?！?/p>

《注意力革命》

“我們注意力的質(zhì)量決定了我們生活的質(zhì)量。當我們的注意力不穩(wěn)定時，我們的生活也會不穩(wěn)定。但當我們的注意力穩(wěn)定時，我們的生活也會變得穩(wěn)定?！?/p>

你的注意力是能讓你有所產(chǎn)出的唯一資源。

——李笑來