DeepSeek一體機密集發(fā)布!私有化部署需求激增 云廠商:已接到大量用戶咨詢
《科創(chuàng)板日報》2月12日訊(記者 黃心怡)DeepSeek掀起的算力熱潮還在持續(xù)。中國電信昨日宣布推出了息壤智算一體機-DeepSeek版,在硬件層面以華為昇騰芯片為基礎,提供8卡、16卡、32卡等多種規(guī)格型號。此前,京東云也發(fā)布DeepSeek大模型一體機,支持華為昇騰、海光、寒武紀、摩爾線程、天數(shù)智芯等國產(chǎn)AI加速芯片。《科創(chuàng)板日報》了解到,華鯤振宇也推出了DeepSeek大模型一體機方案。
《科創(chuàng)板日報》在采訪中獲悉,目前DeepSeek大模型一體機分為推理一體機和訓推一體機。DeepSeek推理一體機內(nèi)置DeepSeek-R1 32B、70B、滿血版671B等不同尺寸模型,價格在幾十萬到數(shù)百萬不等,主要面向?qū)?shù)據(jù)安全、數(shù)據(jù)隱私較為敏感的企業(yè)用戶。而訓推一體機的售價更高,用于DeepSeek-R1 32B模型的預訓練和微調(diào)的一體機價格就達到數(shù)百萬。
有云技術人士認為,大模型一體機能否產(chǎn)生經(jīng)濟價值是關鍵?!按竽P鸵惑w機主要是本地化部署,解決的是數(shù)據(jù)隱私問題。之前大模型一體機的經(jīng)濟價值不高,高投入影響了其落地,未來還是需要應用能有更大的發(fā)展?!?/p>
▍DeepSeek模型私有化部署需求激增
“服務器繁忙,請稍后再試?!边@是近期DeepSeek用戶經(jīng)歷的日常,需求井噴讓DeepSeek始終處于滿負荷算力運行狀態(tài)。
《科創(chuàng)板日報》記者在采訪中了解到,由于直接API調(diào)用的不穩(wěn)定,很多企業(yè)已經(jīng)開始探索較為簡易的私有化部署,甚至利用幾張英偉達4090顯卡來嘗試部署DeepSeek-R1 32B到70B的模型。
“我們一開始安裝了70B 的模型,但是1張4090 24G顯卡跑不動,后來重新裝了32B的大模型?!庇衅髽I(yè)信息化部門的人士表示。
“我們也通過英偉達顯卡部署了DeepSeek模型,把業(yè)務跑起來了。但100人左右并發(fā)速度明顯降低,用于內(nèi)部知識庫沒問題,如果是其他應用還是需要專業(yè)一體機?!绷硪晃籌T人士表示。
記者從多名云計算廠商相關人士處獲悉,在DeepSeek爆火后,不少云廠商接到了大量的用戶咨詢?!捌髽I(yè)用戶會現(xiàn)在公有云上進行測試,與需求是否適配,再考慮私有云部署、一體機等形式。” 一家運營商云的銷售人員向記者介紹。
優(yōu)刻得相關負責人表示,DeepSeek開源模型適配完成并上線后,云上訪問量和用量激增。除卻GPU云主機外,配套的其他產(chǎn)品也有相應的增長,比如并行文件存儲UPFS、UModelVerse模型服務平臺、微調(diào)服務平臺等。還陸續(xù)受理到基于DeepSeek開源模型私有化部署的需求,比如一體機化、專有云化、全面國產(chǎn)化等場景。
▍數(shù)百萬投資成本是一道坎
選擇私有化部署的企業(yè),往往對于數(shù)據(jù)安全有較高的要求,但大模型一體機的硬件投入動輒百萬級別,這對于不少企業(yè)是一道門檻。
目前,中國電信息壤智算一體機-DeepSeek版分為訓推一體機和推理一體機兩大類型,有入門型、通用性、增強型不同配置,售價在幾十萬到數(shù)百萬不等,最高滿血版推理一體機優(yōu)惠價近600萬元,訓推一體機則更高?!犊苿?chuàng)板日報》從知情人士處獲悉,京東云的DeepSeek大模型一體機的售價也在幾十萬到幾百萬不等。
“我們肯定是用私有化部署,安全第一。不過目前大模型一體機的投入產(chǎn)出性價比不高,之前也是曾經(jīng)嘗試過,因投入產(chǎn)出的暫緩執(zhí)行了?!币幻笮推髽I(yè)信息化負責人表示。
不少IT業(yè)內(nèi)人士認為,DeepSeek大模型最大的優(yōu)勢在于開源與低成本,通過國產(chǎn)芯片算力,實現(xiàn)AI大模型的應用,可以讓中國在更多領域、更多行業(yè)快速落地AI應用,但仍需要應用能有更大發(fā)展,才能讓市場發(fā)展起來?!?strong>決定AI在企業(yè)中應用深度和廣度的并不是模型價格,而是如何將內(nèi)部知識加載進去在應用層面廣泛接入的問題。大模型一體機主要是本地化部署,解決數(shù)據(jù)隱私問題。而大模型要先有應用價值。之前大模型一體機的落地,就遇到經(jīng)濟價值不夠高的問題。”
談及未來大模型一體的市場空間,一名運營商云相關負責人告訴《科創(chuàng)板日報》記者,如果是在醫(yī)療、教育等領域的工程化類的項目,智慧醫(yī)療、智慧教育、智慧農(nóng)業(yè),未來可能會把一體機部署在客戶現(xiàn)場,接入相關行業(yè)場景的知識庫。然后訓練出與應用場景密切結合的AI模型,同時集成到應用環(huán)境當中,給B端的企業(yè)提供服務?!?/p>
▍國產(chǎn)算力能否支撐DeepSeek滿血版大模型部署?
《科創(chuàng)板日報》注意到,DeepSeek大模型一體化方案不少采用了國產(chǎn)算力芯片。
中國電信息壤智算一體機-DeepSeek版,在硬件層面以華為昇騰芯片為基礎,提供8卡、16卡、32卡等多種規(guī)格型號。聯(lián)想集團與沐曦聯(lián)合發(fā)布基于DeepSeek大模型的一體機解決方案,以“聯(lián)想服務器/工作站+沐曦訓推一體GPU+自主算法”為核心架構。
京東云的DeepSeek大模型一體機,支持華為昇騰、海光、寒武紀、摩爾線程、天數(shù)智芯等國產(chǎn)AI加速芯片。
優(yōu)刻得相關負責人對《科創(chuàng)板日報》表示,已同多家國產(chǎn)芯片廠商完成了對DeepSeek滿血版和蒸餾版開源模型的適配工作。“從測試用戶結果來看,現(xiàn)在可以用起來了。后續(xù)優(yōu)刻得也會繼續(xù)同國產(chǎn)芯片公司合作,在能用的基礎上要進行優(yōu)化達到好用,通過使用量的擴大降低成本,實現(xiàn)便宜用,提升全國產(chǎn)的體驗?!?/p>
該負責人也指出,由于DeepSeek開源并不久,故根據(jù)市場的使用慣性來看,英偉達的GPU卡仍為當前中大型AI公司的使用主流卡型?!昂罄m(xù)我們也會繼續(xù)同各類企業(yè)對接,提供滿足市場需要的各類AI資源?!?/p>
一名AI基礎設施業(yè)內(nèi)人士告訴記者,主流國產(chǎn)芯片已基本實現(xiàn)對 DeepSeek 蒸餾版小模型的兼容支持,不過滿血版V3和R1擁有6710億參數(shù),這使得它們對硬件的要求大幅提升,需在推理的解碼部分部署320個 GPU,以實現(xiàn)完全的專家并行。
“各家芯片企業(yè)都會開展DeepSeek滿血版的適配,但是否真正能夠在幾百張卡上跑起來,并達到比較好的token速率和性價比,這是關鍵。后續(xù)各家芯片的比拼就要高下見分曉了。”
-
豆包又把算力成本“打了下來” 但壓力才剛剛開始
今日,字節(jié)跳動豆包大模型團隊提出了全新的稀疏模型架構 UltraMem,該架構有效解決了MoE推理時高額的訪存問題,推理速度較 MoE 架構提升2-6倍,推理成本最高可降低83%。目前,國內(nèi)外大模型領
-
百濟神州:第三季度凈利潤虧損8.09億元
《科創(chuàng)板日報》12日訊,百濟神州發(fā)布2024年第三季度報告,第三季度實現(xiàn)營收71.39億元,同比增長26.9%;凈利潤虧損8.09億元。前三季度實現(xiàn)營收191.36億元,同比增長48.6%;凈利潤虧損
-
LG Display將為iPhone SE4供應OLED屏幕
《科創(chuàng)板日報》30日訊,蘋果預計將LG Display作為明年推出的iPhone SE4 OLED屏幕的二級供應商。消息人士稱,明年京東方將成為主要供應商,而LG Display作為次要供應商,將主要
關注公眾號:拾黑(shiheibook)了解更多
友情鏈接:
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站:https://www.yaorank.com/
- 極氪首發(fā)1.2MW全液冷充電樁 單槍峰值功率全球第一
- 章澤天近照曝光:頭戴鴨舌帽 與梁朝偉、劉嘉玲夫婦合影
- 盡快更新!開源文件共享軟件ProjectSend曝出嚴重漏洞:評分高達9.8、已被利用
- 公安網(wǎng)安|此類“谷子”不能“吃”
- 蔚來第三子品牌“螢火蟲”諜照曝光:有望年底發(fā)布
- 《抓娃娃》票房突破2000萬 沈騰馬麗主演喜劇電影
- 《星刃》在韓國評級為18+ IGN:并不讓人感到驚訝
- 盧布匯率人民幣2023年9月24日
- 家長吐槽暑假40天孩子開銷五六萬
- 女子買3張臥鋪帶4娃乘車被要求補票
- 江浙滬人已經(jīng)放棄五一搶票怎么回事
- 微笑狗是什么挪車打什么電話可以聯(lián)系到車主

隨時掌握互聯(lián)網(wǎng)精彩