觀察員
-
馬斯克開源Grok-1，3140億參數(shù)迄今最大
當?shù)貢r間3月17日，特斯拉首席執(zhí)行官（CEO）馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數(shù)的混合專家模型Grok-1。xAI官方網站稱，其遵照Apache 2.0協(xié)議開放模型權重和架構。
xAI官方網站截圖
據(jù)第一財經報道，Grok-1參數(shù)量遠超OpenAI GPT-3.5的1750億，是迄今參數(shù)量最大的開源大語言模型。
17日，馬斯克還在社交平臺上發(fā)文對OpenAI進行了嘲諷：“告訴我們更多關于OpenAI開放部分的信息?！?
2023年11月，xAI官網發(fā)布文章，公布了Grok的詳細進展。
文章稱，Grok是一款仿照《銀河系漫游指南》設計的AI，幾乎可以回答任何問題，它甚至可以建議要問什么問題?！癎rok回答問題時略帶機智和叛逆，所以如果你討厭幽默，請不要使用它”。
xAI官方網站截圖
文章介紹說，Grok的一個獨特且基本的優(yōu)勢是，它可以通過X平臺實時了解世界。它還將回答被其它大多數(shù)AI系統(tǒng)拒絕的尖銳問題。
文章指出，Grok仍然是一個非常早期的測試版產品，是“我們在2個月的訓練中所能做到的最好產品，期望在您的幫助下每周都能快速改進”。
文章表示，Grok-1的研發(fā)經歷了四個月。期間，Grok-1經歷了多次迭代?！靶紕?chuàng)立xAI后，我們訓練了一個330億參數(shù)的LLM原型（Grok-0）。這個早期模型在標準LM測試基準上接近LLaMA 2（70B）的能力，但只使用了一半的訓練資源。在過去兩個月里，我們在模型的推理和編碼能力方面取得了顯著進步，Grok-1終于誕生?！?
文章稱，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%，在MMLU中達到了73%。
為了了解對Grok-1所做的性能改進，xAI使用了一些旨在衡量數(shù)學和推理能力的標準機器學習基準，對其進行一系列評估。
在這些基準測試中，Grok-1顯示出了強勁的性能，超過了其計算類別中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數(shù)據(jù)和計算資源訓練的模型，例如GPT-4，才能超越它?！斑@展示了我們在高效訓練LLM方面取得的快速進展”。
同時，文章也指出，由于這些基準可以在網上找到，并且他們不能排除模型無意中進行了相應的訓練。因此，他們在收集完數(shù)據(jù)集之后，根據(jù)去年5月底公布的2023年匈牙利全國高中數(shù)學期末考試題，對他們的模型（以及Claude-2和GPT-4模型）進行了人工評分。結果，Grok以C級（59%）通過考試，Claude-2也取得了類似的成績（55%），而GPT-4則以68%的成績獲得了B級。文章稱，他們沒有為應對這個考試而特別準備或調整模型。
本文系觀察者網獨家稿件，未經授權，不得轉載。
- 責任編輯: 房佶宜
-
臺灣長榮客機一外籍乘客試圖在廁所輕生
2024-03-18 10:37 -
“美國都動用國家力量對付特朗普了，那能叫民主？”
2024-03-18 10:04 俄羅斯之聲 -
普京首度回應納瓦利內之死：美國監(jiān)獄沒死過人嗎？
2024-03-18 09:37 俄羅斯之聲 -
中企承建，孟加拉國這個石油大工程全面運營
2024-03-18 09:09 一帶一路 -
以總理：以軍或在幾周后進攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇錄 -
俄總統(tǒng)選舉選票已統(tǒng)計60.01%，普京得票率為87.26%
2024-03-18 07:07 俄羅斯之聲 -
“波音遇到大麻煩了，但怎么解決，仍毫無頭緒”
2024-03-17 22:56 航空安全 -
馬克龍稱將要求俄“奧運?；稹?，扎哈羅娃：建議向中東沖突各方提出
2024-03-17 20:46 俄羅斯之聲 -
岸田文雄向日本國民道歉
2024-03-17 19:56 日本 -
斯里蘭卡逮捕21名印度漁民
2024-03-17 19:23 -
“幾乎沒男人了，人們像狗一樣當街被抓去當兵”
2024-03-17 19:10 烏克蘭之殤 -
拜登：兩個候選人，有一個太老了...
2024-03-17 17:33 美國政治 -
特朗普談移民：在我看來，某些情況下他們不是人
2024-03-17 16:37 特朗普 -
首次！朝中社這樣稱呼金正恩女兒
2024-03-17 16:30 朝鮮現(xiàn)狀 -
威爾士工黨選出新任黨魁，“歐洲將產生首位黑人領導人”
2024-03-17 16:04 不列顛 -
他再放話：將對中企在墨西哥生產汽車征收100%關稅
2024-03-17 14:58 美國大選 -
馬克龍再提派兵，她附和上了
2024-03-17 14:45 烏克蘭之殤 -
“美國警告歐盟：若重啟對美訴訟，別怪我…”
2024-03-17 14:34 歐洲亂局 -
“我從小就被教育要討厭中國”
2024-03-17 11:40 -
特朗普：若我敗選，對美國是場“大屠殺”
2024-03-17 10:11 美國政治
相關推薦 -
-
中方同意接觸，美媒緊盯：事關重大、令人鼓舞 評論 54
印度指控巴與恐襲有關，稱空襲是行使自衛(wèi)權 評論 298
直播：跟著軍工組探訪俄羅斯兵器博物館 評論 127
巴軍：擊落6架印軍機，含3架新銳“陣風” 評論 1296
商務部：中方決定同意與美方接觸 評論 423最新聞 Hot-
擔心美國施壓，在華德企：希望新一屆德國政府確立平衡立場
-
印空軍：今起在與巴基斯坦接壤地區(qū)進行演習
-
中方同意接觸，美媒緊盯：事關重大、令人鼓舞
-
拜登卸任后首次受訪：特朗普太掉價了，美國不代表掠奪
-
哥倫比亞準備加入“一帶一路”？中方回應
-
印度指控巴與恐襲有關，稱空襲是行使自衛(wèi)權
-
首批145％關稅中國貨船抵洛杉磯港，美業(yè)界預警…
-
立陶宛和拉脫維亞又使壞，俄方怒斥
-
俄方宣布：8月底，普京將訪華
-
特朗普又要給波斯灣改名了
-
英國快和美國談成了？條件是…
-
改道、停飛，各大航司又遭罪了
-
巴軍方公布回擊細節(jié)：兩國戰(zhàn)機均未侵入對方領空
-
巴軍：擊落6架印軍機，含3架新銳“陣風”
-
印度稱向這幾個國家通報了行動
-
巴軍方：印度襲擊已致26死46傷
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網新聞信息服務許可證：31220170001
網登網視備（滬）02020000041-1號 互聯(lián)網宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經營許可證：（滬）字第03952號
增值電信業(yè)務經營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網安備 31010502000027號
中國互聯(lián)網舉報中心
上海市互聯(lián)網違法與不良信息舉報中心
