曲子龍:DeepSeek到底強在哪?
今年春節(jié)基本就兩個主題,一個是DeepSeek、另一個是《哪吒》,每當互聯(lián)網(wǎng)某個東西爆火后,各種營銷號就開啟了大明白模式,管它技術懂不懂先寫幾篇“沖突文”蹭上流量再說,以訛傳訛越傳越多....
大年初四發(fā)表《紅盟只會蹭!》打假了紅盟后,逼著對方周五趕緊發(fā)文澄清和DeepSeek無合作....但是絲毫沒影響其它小騙子,繼續(xù)開直播丟垃圾軟件、賣課,更有甚者跑過來直接貼臉開大!說我們還叫什么網(wǎng)絡尖刀....問我們懂安全?懂黑客?懂技術么?
懶得和SB爭論,我怕分不清到底誰是SB,算了。
DeepSeek的是一直想寫的,拖到現(xiàn)在主要倆原因,一個是我懶、另外一個是技術迭代的太快了,出現(xiàn)了太多新東西,雖然網(wǎng)絡尖刀從17年開始成立人工智能實驗室,從NLP開始搞,但去年休息了大半年啥也沒干,平時搞點小研究在安全的事兒上沒掉隊,但是在人工智能這方面很多東西我確實是沒跟上的。
春節(jié)的這段時間在家一直啃paper,看各種論文,再對照網(wǎng)上那些亂七八糟的爆火科普,發(fā)現(xiàn)里面很多東西都是斷章取義存在錯誤和誤解的,我想還是把我個人理解的東西做一個記錄,也算和大家有一些小分享。
先說攻擊事件
相信這種AI合成的內(nèi)容,春節(jié)的時候大家在朋友圈還有抖音都刷到過:
DeepSeek被攻擊這個事情確實是真的!但是網(wǎng)上各種霸屏的“紅客反擊”、“華為與360守護”,亂七八糟的信息全部都是假的!
事情的開端是DeepSeek被攻擊時,某數(shù)字公司大R在抖音發(fā)言,聲稱愿意提供技術協(xié)助,把網(wǎng)絡攻擊直接直指到“某個國家”,視頻中從頭到尾全是在推廣自己,無論是反復提及的“自有AI產(chǎn)品”,還是揚言自己的專線機房多厲害,甚至聲稱“能攻破其的黑客還沒出生”,連續(xù)幾天蹭著熱度一頓操作。
接著愛蹭一蹭就是啥也攻進不去的紅盟,果然出現(xiàn)開始發(fā)各種公告、聲明!隨后就開啟了慣用套路開直播、賣課!公益捐款!321上連接!
自媒體也不能閑著,于是大家就鋪天蓋地的看到了這些大概率是通過AI生成的假新聞!
假到離譜!假到令人哭笑不得!甚至發(fā)指!說真話可能會被各種營銷號、無腦的帶節(jié)奏說我是“叛徒”,但是我相信大部分人還是有自己的思考能力的。
關于上面這些我想說明幾點:
把DeepSeek被攻擊直接上升到國與國,聲稱某個國家的行為來攻擊它,挺打腦殼的!如果是漂亮國以國家行為發(fā)起這場網(wǎng)絡戰(zhàn)!作為DeepSeek來說根本扛不住!也不可能抗??!
DeepSeek讓華爾街、納斯達克撲街!光英偉達就暴跌16.97%,市值一個交易日蒸發(fā)5926.58億美元,歐美科技股市值蒸發(fā)了1.2萬億美元!這其中有多少資本家?投資者不恨的牙癢癢?這個規(guī)模的流量攻擊,其實就是單純的報復罷了!
我說流量攻擊,是因為根據(jù)奇安信的報告[1]中,1月28日3點開始還伴隨了大量暴力破解攻擊,這些攻擊IP全部來自美國!這部分攻擊可能和上面的流量攻擊是兩波不同的攻擊者,他們更傾向于Z治,甚至可以歸納為“商業(yè)競爭”目的!海外AI巨頭OpenAI、Meta...哪一個在這個時間點不想窺探DeepSeek的核心技術呢?
所謂的能攻破XX系統(tǒng)的黑客還沒出生,這句話是極其不負責任的,國內(nèi)外各互聯(lián)網(wǎng)廠商都有自己的安全應急響應中心(SRC),來接收、處理自己的安全問題!在安全這件事上沒有絕對的安全!無非是一群又一群有原則的人,前赴后繼的堅持著自己的初心罷了!搜索廠商名+安全應急響應中心,貢獻榜單可以說明一切!這樣的言論挺寒這些人的心的!
至于數(shù)字公司聲稱的提供技術支持,我在前面的文章就提過,是單方面的喊話罷了!DeepSeek在1月28日凌晨00:53:29做了一次IP切換:
這個切換的IP是華為云(疑似華為云高防IP)、海外防御用的是CloudFlare。
數(shù)字公司玩完這波流量后,股市咔咔上漲,于是拖到昨天“大方”的回應市值波動,聲明:暫未向DeepSeek提供任何服務。
至于紅盟,真不想回應了,上一篇文章礙于面子不想說那么透!直白一點來說紅盟的價值是紅盟的思想!而創(chuàng)建紅盟的人只是一個組織者!現(xiàn)在的紅盟是糾葛不清的商業(yè)利益!也是毫無技術的一群碰瓷、騙子罷了!
很多人干了一些事是不能公開承認的,他們用各種暗示口吻去冒領完,再發(fā)聲明說無關罷了。
從烏云到現(xiàn)在的各廠安全應急響應中心,如果關注網(wǎng)絡安全的,可以多關注關注0x557、安全焦點、KEEN、啟明星辰、綠盟、奇安信、盤古、四葉草、知道創(chuàng)宇、安恒、長亭,到現(xiàn)在網(wǎng)絡尖刀(KNOWSAFE)、PKAV(無糖安全)、ChaMd5、Day1、芳華絕代、米斯特、晴天組織、白帽100.....前赴后繼在背后努力的安全公司和安全團隊太多了,但不好意思真沒你紅盟的位置。
一直販賣愛國情懷,把它作為商業(yè)化手段,遲早會被反噬。
關于繞過CUDA
最近看到最多的就是DeepSeek繞過了NVIDIA CUDA,徹底擺脫了對英偉達的依賴的言論,依據(jù)的則是DeepSeek采用了PTX編程替代了CUDA C/C++編程的相關信息。
研究了一下NVIDIA CUDA程序的編譯流程:
CUDA C/C++ (.cu) → PTX(通過nvcc前端生成) → SASS(通過驅動程序JIT生成目標GPU機器碼)
我想描述更準確的應該是,DeepSeek為了解決H800 GPU性能以及跨芯片通信的瓶頸,跳過了CUDA C/C++,直接從更復雜的PTX這一層開始寫。
PTX(Parallel Thread Execution)是NVIDIA定義的虛擬中間表示(IR)在硬件抽象層提供面向SIMT架構的類匯編指令(如`ld.global.v4.f32`用于向量化全局內(nèi)存加載),但未綁定具體GPU微架構(如Turing/Ampere)。
通過驅動程序的即時編譯(JIT)轉換為目標GPU的機器碼(SASS),實現(xiàn)“一次編寫,多架構運行”實現(xiàn)跨代兼容。
PTX是CUDA編譯器將源代碼(如 CUDA C/C++)轉換為低級別、硬件相關的機器指令之前的一個中間件,PTX代碼仍然需要CUDA的編譯、運行和管理機制來執(zhí)行,它本身就是NVIDIA CUDA程的一部分。
總結一下:
DeepSeek創(chuàng)新如果從技術角度來說其實就是通過直接操作PTX層對寄存器、線程、內(nèi)存進行各種壓縮優(yōu)化,實現(xiàn)了:每個流處理器的寄存器使用率從78%提升至92%、計算單元閑置時間減少40%、全局內(nèi)存訪問延遲從600周期降至450周期。
從中間件直接下手,編譯都少了一個環(huán)節(jié)肯定是提速的,只是DeepSeek攻克了其中的每一個困難,實現(xiàn)了巨大的效率提升。
按這個思路接下來肯定還有對匯編語言直接搞SASS優(yōu)化的空間,預計半年內(nèi)可能就會有新的發(fā)現(xiàn)。
當然面臨的挑戰(zhàn)就是,現(xiàn)在還能從匯編開始寫的程序員,再多說幾句都是年代感和滄桑感了。
突破
DeepSeek技術創(chuàng)新點真的太多了,寫完上面一段后我發(fā)現(xiàn)如果全用大白話去寫,這將是一個很長很長的文章,可能對很多普通人并不需要知道那么深,而對于追求技術的人來說,我又多此一舉,還是去摳論文要好一些。
按哲學的角度來說,創(chuàng)新了一個新事情,就要思考N個老的事情怎么和新的事情配合!于是就要因為一個創(chuàng)新,實現(xiàn)諸多創(chuàng)新與改進。
比如在DeepSeek-R1-Zero中為了通過純強化學習(RL)而不用任何監(jiān)督微調(diào)(SFT)激發(fā) LLM 的推理能力,實現(xiàn)讓模型自己探索解決復雜問題的 CoT,生成能自我驗證(self-verification)、反思(reflection)的 long-CoT。
就產(chǎn)生了雖然能力提升了,但是出現(xiàn)了各種格式、語種混雜、影響閱讀性的問題,于是就在DeepSeek-R1中先構建幾千條long-CoT作為強化學習(RL)初始化actor,再定義輸出的格式為:
|special token|<思考過程>|special token|<答案總結>
然后又有了新的挑戰(zhàn),接下來再去蒸餾.....
就在我寫文章的過程里,又看到了文章推送李飛飛帶領的研究團隊,使用16個英偉達H100 GPU進行了26分鐘的訓練,以不到50美元的云訓練成本,通過蒸餾Gemini 2.0 Flash Thinking Experimental 得到了一個在數(shù)學和編碼能力測試中的表現(xiàn)與OpenAI-o1以及DeepSeek-R1推理模型類似的模型。
可以預見的是今年上半年,RL強化學習、蒸餾法一定是聽不完的話題。
憑什么是DeepSeek
相比Meta Llama3 405B 花了3930萬H100 GPU小時,DeepSeek-v3?671B,僅用了278.8萬H800 GPU小時就實現(xiàn)了比其花錢更少,參數(shù)更大的結果。
使用略差一點的顯卡(DeepSeek H800對標 Meta H100),用了更短的時間、花更少的錢,拉開這么大差距怎么能不振奮人心呢?
量化的本質就是通過學、統(tǒng)計學和計算機科學的方法,將投資決策過程系統(tǒng)化、模型化和程序化,以提高投資決策的科學性和效率?。?/p>
搞過套利的都清楚,技術上扣的就是如何低延遲!爭的不就毫秒級的高頻交易嗎?至于數(shù)學模型、機器學習、成本計算確實是人家的看家本領!
DeepSeek雖然成立才2年,但其背后依托的是幻方,私募巨頭、量化大佬,08年開始搞量化(人工輔助)、15年拿到基金牌照、16年推出第一個AI模型、17年就已經(jīng)將所有的量化策略,通過AI模型用實盤開干!
當所有AI應用,除了提供助手陪你嘮嗑外,還在探索商業(yè)化怎么落地時,人家的AI模型已經(jīng)在“金融”的實盤場景中打了整整七年了!
對比其管理規(guī)模,15年5億,17年30億,19年200億,21年1000億.....自然就能對比出其AI模型能力的重要性了。
DeepSeek完全是一個有積累、有實盤經(jīng)驗的AI,破繭而立的!從不服真的不行!
參考鏈接:
1.DeepSeek遭受大量海外攻擊,奇安信:面臨前所未有安全考驗,攻擊將持續(xù)https://baijiahao.baidu.com/s?id=1822581876894009442&wfr=spider&for=pc2.DeepSeek R1技術報告 https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf3.NVidia GPU指令集架構-Load和Cache https://zhuanlan.zhihu.com/p/6924451454.NVidia GPU指令集架構-浮點運算?https://zhuanlan.zhihu.com/p/6956670445.NVidia GPU指令集架構-整數(shù)運算 https://zhuanlan.zhihu.com/p/7009219486.NVidia GPU指令集架構-比特和邏輯操作 https://zhuanlan.zhihu.com/p/7123568847.NVidia GPU指令集架構-Warp級和Uniform操作?https://zhuanlan.zhihu.com/p/712357647
-
媒體、政府機構網(wǎng)站也能被“克隆”?幾百元就能制作,相似度“近乎百分之百”
10月3日,一篇針對某女演員的評論文章《低俗炒作博眼球,爆‘瓜’文化不可取”》在網(wǎng)上傳播,因文章頁面帶有“人民網(wǎng)(21.830,?0.49,?2.30%)”標識,部分網(wǎng)友認為是官媒發(fā)聲,紛紛轉發(fā)。而真
-
手機積分即將清零提醒兌換,下單竟是高仿“小棕瓶”?
近日,不少手機用戶收到手機短信“積分清零通知”,稱自己的積分將于次日全部過期作廢,可以點擊某網(wǎng)址登錄積分中心兌換商品。不過,當一些用戶以“積分+現(xiàn)金”的兌換方式下單成功后發(fā)現(xiàn),“SKIN-Ⅱ神仙多肽膠
-
“顏值打分”折射高校網(wǎng)絡安全隱患,需承擔哪些法律責任?又該如何防范?
高校網(wǎng)絡安全問題處在輿論聚光燈之下。近日,網(wǎng)傳中國人民大學一名畢業(yè)生盜取全校學生的個人信息,并制作網(wǎng)頁任人查看,還可給該校女學生的顏值打分。7月2日,中國人民大學官方微博發(fā)布情況通報:昨日學校已關注到
關注公眾號:拾黑(shiheibook)了解更多
友情鏈接:
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站:https://www.yaorank.com/
- 醫(yī)生建議吃完早餐再刷牙
- 2025年春節(jié)檔票房破3億元!《射雕英雄傳》獨占近一半
- iPhone 16 Pro變飛船上太空!網(wǎng)友吐槽蘋果最新廣告:看的尷尬癥犯了
- 《749局》奧特曼即視感登熱搜 網(wǎng)友:還是別碰瓷了
- 七彩虹展出iGame RTX AI PC體驗區(qū):本地AI算力遠超普通PC
- 上海3個小孩哥3天騎行到杭州:想趁著暑假挑戰(zhàn)一下
- 歐元人民幣匯率2024年6月22日
- 志高空調(diào)創(chuàng)始人李興浩被公安機關控制
- 3人往海里扔100多個粽子
- farfetch海淘網(wǎng)站官網(wǎng)
- 奧特曼卡片最稀有的卡排行
- 美胸女神李彩華雪地只穿Bra

隨時掌握互聯(lián)網(wǎng)精彩