"長文本"相關(guān)的文章
還在卷長文本?谷歌最新論文直接把文本干到…無限長了

還在卷長文本?谷歌最新論文直接把文本干到…無限長了

最近一段時(shí)間,有關(guān)長文本能力的探討被擺到了臺面上,而就在人們比拼上下文窗口時(shí),谷歌發(fā)布了一篇論文,談到團(tuán)隊(duì)發(fā)明了一種新的注意力技術(shù),這項(xiàng)技術(shù)可以讓transformer大模型在有限的計(jì)算資源條件下處理無限長度的輸入。