本周四，美國(guó) AI 創(chuàng)業(yè)公司 Inflection AI 正式發(fā)布新一代大語(yǔ)言模型 Inflection-2.5。

據(jù)介紹，Inflection-2.5 將強(qiáng)大的 LLM 能力與 Inflection 標(biāo)志性的「同理心微調(diào)」結(jié)合在一起，兼具高情商與高智商，可聯(lián)網(wǎng)獲取事實(shí)信息，其性能可與 GPT-4、Gemini 等領(lǐng)先大模型相媲美。

Inflection-2.5 現(xiàn)已向所有 Pi 用戶開放，在 PC 端、iOS 和安卓 App 上均是免費(fèi)可用。ps. 機(jī)器之心也簡(jiǎn)單測(cè)試了下，覺得確實(shí)還只是「逼近」（不如）GPT-4，感興趣的讀者可以自行體驗(yàn)下。

鏈接：https://pi.ai/talk

值得注意的是，Inflection-2.5 實(shí)現(xiàn)了接近 GPT-4 的性能，而訓(xùn)練過(guò)程卻僅使用 GPT-4 40% 的算力。

Inflection AI 表示，新一代大模型在編碼和數(shù)學(xué)等智商領(lǐng)域取得了特別的進(jìn)步。這轉(zhuǎn)化為對(duì)關(guān)鍵行業(yè)基準(zhǔn)的具體改進(jìn)，確保 Pi 始終處于技術(shù)前沿。Pi 現(xiàn)在還融入了世界一流的實(shí)時(shí)網(wǎng)絡(luò)搜索功能，以確保用戶獲得高質(zhì)量的突發(fā)新聞和最新信息。

Inflection-2.5 vs GPT-4

Inflection-1 訓(xùn)練使用的 FLOP 約為 GPT-4 的 4%，在各種「IQ 導(dǎo)向」型任務(wù)中，其平均性能約為 GPT-4 水平的 72%?，F(xiàn)在，Inflection-2.5 盡管只使用 GPT-4 40% 的 FLOP 來(lái)進(jìn)行訓(xùn)練，但其平均性能卻達(dá)到了 GPT-4 的 94% 以上。如下圖所示，Inflection-2.5 的性能取得了全面的顯著提升，其中 STEM 領(lǐng)域知識(shí)的改進(jìn)最大。

Inflection-2.5 在兩項(xiàng)不同 STEM 考試 —— 匈牙利數(shù)學(xué)考試、物理學(xué)研究生入學(xué)考試（GRE）—— 的成績(jī)?nèi)缦拢?/span>

如下表所示，該研究還在 MMLU 基準(zhǔn)、GPQA Diamond 基準(zhǔn)上評(píng)估了 Inflection-2.5。MMLU 基準(zhǔn)涵蓋 STEM、人文、社會(huì)科學(xué)等領(lǐng)域的 57 個(gè)學(xué)科，能夠有效地測(cè)試 LLM 的綜合知識(shí)能力，而 GPQA Diamond 基準(zhǔn)是一個(gè)極其困難的專家級(jí)基準(zhǔn)。

在 BIG-Bench-Hard 基準(zhǔn)上，Inflection-2.5 比 Inflection-1 性能提高了 10% 以上，并且可與 GPT-4 相媲美。BIG-Bench-Hard 基準(zhǔn)主要涵蓋大型語(yǔ)言模型難以解決的問題。

該研究還在 MT-Bench 基準(zhǔn)上進(jìn)行了評(píng)估。然而，研究團(tuán)隊(duì)意識(shí)到該基準(zhǔn)在推理、數(shù)學(xué)和編碼類別中有很大一部分（近 25%）的樣本示例具有不正確的參考解決方案或前提有缺陷。因此，該研究更正了這些示例，并再次進(jìn)行評(píng)估實(shí)驗(yàn)，結(jié)果如下表所示：

在 GSM8k 和 MATH 基準(zhǔn)上的評(píng)估結(jié)果表明，Inflection-2.5 在數(shù)學(xué)和編碼能力方面比 Inflection-1 有顯著改進(jìn)：

為了進(jìn)一步測(cè)試 Inflection-2.5 的編碼能力，該研究在 MBPP+ 和 HumanEval+ 兩個(gè)編碼基準(zhǔn)上進(jìn)行了評(píng)估實(shí)驗(yàn)，結(jié)果如下表所示：

研究團(tuán)隊(duì)在 HellaSwag 和 ARC-C、以及各種模型常識(shí)和科學(xué)基準(zhǔn)上評(píng)估了 Inflection-2.5。從下圖結(jié)果來(lái)看，Inflection-2.5 在這些基準(zhǔn)上實(shí)現(xiàn)了強(qiáng)勁性能。

此外，以上所有評(píng)估都是使用現(xiàn)在支持 Pi 的模型完成的。但也需要注意，由于網(wǎng)絡(luò)檢索（以上基準(zhǔn)沒有使用網(wǎng)絡(luò)檢索）、few-shot 提示的結(jié)構(gòu)以及其他生產(chǎn)方面的影響，用戶體驗(yàn)可能略有差異。

總的來(lái)說(shuō)，Inflection-2.5 保持了 Pi「走心」的特性和極高的安全標(biāo)準(zhǔn)，成為了一個(gè)更全面的有用模型。

最近一段時(shí)間，大語(yǔ)言模型的技術(shù)競(jìng)爭(zhēng)進(jìn)入了白熱化階段，在眾多科技公司中，Mistral AI（Mistral  Large）、Anthropic（Claude 3）脫穎而出，提出的新技術(shù)實(shí)現(xiàn)了與 GPT-4、Gemini Ultra 接近的能力。昨天出現(xiàn)的 Inflection-2.5，似乎也要加入第一梯隊(duì)的行列。

作為硅谷明星創(chuàng)業(yè)公司，Inflection AI 的來(lái)頭不小，它成立與 2022 年，三位聯(lián)合創(chuàng)始人分別是原 DeepMind 聯(lián)合創(chuàng)始人 Mustafa Suleyman、Linkedln 聯(lián)合創(chuàng)始人 Reid Hoffman，還有前 DeepMind 首席科學(xué)家 Karen Simonyan。

去年 6 月，Inflection AI 宣布獲得 13 億美元融資，由微軟、英偉達(dá)以及 Reid Hoffman、比爾?蓋茨、谷歌前 CEO 埃里克?施密特領(lǐng)投。目前，Inflection AI 已成為全球第四大生成式 AI 創(chuàng)業(yè)公司。