百川智能王小川:美國(guó)OpenAI要把1000萬個(gè)GPU連接起來做大模型 這種想法像登月一樣
在今天上午舉辦的2023云棲大會(huì)上,百川智能創(chuàng)始人兼CEO王小川發(fā)表演講稱,今年年底之前,國(guó)內(nèi)會(huì)有幾家公司能夠做到GPT3.5的水平,明年國(guó)內(nèi)會(huì)有若干款超級(jí)應(yīng)用。
王小川表示,百川智能做大模型的理念是“理想上慢一步,落地上快三步”。4月下場(chǎng)之后,百川在兩個(gè)月時(shí)間就完成了第一個(gè)70億參數(shù)的模型的發(fā)布,行業(yè)一般需要半年,比預(yù)期時(shí)間節(jié)省了三倍。
他直言,在大模型領(lǐng)域,確實(shí)得承認(rèn)跟美國(guó)存在差距。他預(yù)計(jì)今年年底之前國(guó)內(nèi)會(huì)有幾家公司能達(dá)到GPT 3.5的水平,到明年也有信心能夠達(dá)到GPT4.0的水平,但是達(dá)到之后,可能很難去超越他們。
他在發(fā)言中還談到在美國(guó)與OpenAI交流時(shí)了解到的情況。
“他們?cè)谡谠O(shè)計(jì)一個(gè)把1000萬顆GPU連在一起做模型的技術(shù)。咱們做GPT3.5的時(shí)候用了4000顆GPU,做GPT4的時(shí)候是25000顆,英偉達(dá)一年生產(chǎn)能力才100萬顆,而OpenAI在設(shè)計(jì)把1000萬個(gè)GPU連接起來,這樣一種想法像登月一樣。“
“我對(duì)他們充滿了敬畏。我更自豪的地方是,我們?cè)谧鰬?yīng)用方面可能比美國(guó)走得更快?!蓖跣〈ū硎?。
王小川認(rèn)為,在做應(yīng)用方面,中國(guó)企業(yè)會(huì)走得很快?;诂F(xiàn)在已有的技術(shù),相信中國(guó)明年有若干款超級(jí)應(yīng)用。
公開資料顯示,百川智能成立于2023年4月10日,由前搜狗公司CEO王小川創(chuàng)立。其核心團(tuán)隊(duì)來自搜狗、Google、騰訊、百度、華為、微軟、字節(jié)等知名科技公司,目前團(tuán)隊(duì)規(guī)模170余人,研發(fā)人員占比超80%。
成立半年,百川智能便接連發(fā)布baichuan-7B/13B,Baichuan2-7B/13B四款開源可免費(fèi)商用大模型及Baichuan-53B、Baichuan2-53B兩款閉源大模型,平均每28天就會(huì)發(fā)布一款新的大模型。
10月30日,百川智能發(fā)布Baichuan2-192K大模型,其上下文窗口長(zhǎng)度達(dá)192K,是目前全球最長(zhǎng)的上下文窗口,能夠處理約35萬個(gè)漢字,是目前支持長(zhǎng)上下文窗口最優(yōu)秀大模型Claude2(支持100K上下文窗口,實(shí)測(cè)約8萬字)的 4.4倍,更是 GPT-4(支持32K上下文窗口,實(shí)測(cè)約 2.5萬字)的14倍。
據(jù)悉,Baichuan2-192K現(xiàn)已正式開啟內(nèi)測(cè),以API(應(yīng)用程序接口)調(diào)用的方式開放給核心合作方,目前已經(jīng)與財(cái)經(jīng)類媒體及律師事務(wù)所等機(jī)構(gòu)達(dá)成了合作,將全球領(lǐng)先的長(zhǎng)上下文能力應(yīng)用到了傳媒、金融、法律等具體場(chǎng)景當(dāng)中,不久后將全面開放。
關(guān)注公眾號(hào):拾黑(shiheibook)了解更多
友情鏈接:
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級(jí)服務(wù)市場(chǎng):https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站:https://www.yaorank.com/

隨時(shí)掌握互聯(lián)網(wǎng)精彩