聽不懂梗怎麼辦？谷歌5400億引數新模型給你解釋笑點，還能透過emoji表情猜電影

大資料文摘出品

來看一個笑話。

我本該在下午5點開始寫論文。 但後來我就開始玩這個很酷的新語言模型，玩了10分鐘，10分鐘後，突然就晚上9點半了！

這個笑話可能比較簡單，大家一聽就懂，不就是說“快樂的時光總是覺得很短暫”嘛。

不過，你能想象這裡面說的“很酷的新語言模型”，居然也能聽懂這個笑話？

不僅能聽懂，它甚至還能一本正經地解釋這個笑話：

這個笑話是關於當你開心的時候，時間過得多麼快。 這個人本來應該在下午5點開始寫一篇論文，但他們卻開始玩語言模型。 他以為自己只玩了1分鐘，但實際上是4。5小時。

這個能力的背後就是谷歌的新模型——Pathways Language Model （PaLM），一個可以解釋笑話的模型，有了它，世界上就再也沒有難懂的梗了。

論文地址：

https：//arxiv。org/pdf/2204。02311v2。pdf

PaLM，5400億引數，讓世上沒有難懂的梗

當然了，PaLM的設計之初，肯定不會只是想解釋解釋笑話。

去年，Google Research宣佈了對PaLM的設想，PaLM會是一個單一的模型，可以在高效率的情況下推廣到各個領域和任務。

在“PaLM： Scaling Language Modeling with Pathways”論文中，Google Research詳細介紹了 Pathways Language Model （PaLM） ，這是一個5400億引數的Transformer模型。

PaLM可以實現在多個TPU v4 Pods中高效地訓練單個模型。Google Research在數百個語言理解和生成任務上對PaLM進行了評估，發現它在大多數任務上都達到了最先進的few-shot效能，在許多情況下都有很大的優勢。

這其中就包括解釋笑話的笑點在哪裡。

事實上，解釋笑話並非易事，這需要對多步邏輯推理、綜合知識和深層語言理解的複雜組合的場景生成明確的解釋。

但是憑藉著強大的語言處理能力，PaLM還是很好地勝任了這項任務。

甚至是冷笑話（），PaLM也能很好地識別出來。比如別人問你，“斑馬和雨傘有什麼區別？”你可能會期待什麼有意思的回答，但是答案是“一個是和馬有關的有條紋的動物，另一個是你用來阻止雨水落到你身上的裝置。”

這種無厘頭的冷笑話，PaLM給出的解釋是：

這個笑話是一個冷笑話（anti-joke）。笑話是答案是顯而易見的，笑點在於你期待一個有趣的答案。

PaLM甚至能從emoji中猜出電影名字

除了解釋笑話，PaLM在許多非常困難的任務上顯示出突破能力。

Google Research對29項廣泛使用的英語自然語言處理（NLP）任務進行了評估。在29個任務中的28個任務中，PaLM 540B超過了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，這些任務包括問答任務、完形填空和句子完成任務、 Winograd-style任務、上下文閱讀理解任務、常識推理任務、 SuperGLUE任務和自然語言推理任務。

除了英語自然語言處理任務外，PaLM 在多語言自然語言處理基準（包括翻譯）方面也表現出色，儘管只有22%的學習語料是非英語的。

另外，研究人員還在最近釋出的包含150多個新語言建模任務的Beyond the Imitation Game Benchmark（BIG-bench）上探討了PaLM的能力，並發現PaLM實現了突破性的效能。

PaLM在幾個BIG-bench任務上展示了令人印象深刻的自然語言理解能力和生成能力。例如，該模型可以區分因果關係，在適當的背景下理解概念組合，甚至可以從emoji中猜出電影名字。

對於發展PaLM的未來願景，Google AI Blog在報道中寫道，希望實現“一個單一的人工智慧系統能夠概括成千上萬的任務，理解不同型別的資料，並以非凡的效率完成這些工作”。

參考報道：

https：//www。vice。com/en/article/k7w9jv/google-is-teaching-ai-to-explain-your-jokes-to-you

https：//ai。googleblog。com/2022/04/pathways-language-model-palm-scaling-to。html

https：//arxiv。org/pdf/2204。02311v2。pdf

原標題：《聽不懂梗怎麼辦？谷歌5400億引數新模型可以給你解釋笑點，還能透過emoji表情猜電影》