<noframes id="5guqg"><noframes id="5guqg"><delect id="5guqg"><rt id="5guqg"></rt></delect><rt id="5guqg"></rt><rt id="5guqg"><delect id="5guqg"><delect id="5guqg"></delect></delect></rt><noframes id="5guqg"><rt id="5guqg"></rt><noframes id="5guqg"><rt id="5guqg"></rt><noframes id="5guqg"><rt id="5guqg"><delect id="5guqg"></delect></rt><noframes id="5guqg"><rt id="5guqg"><delect id="5guqg"></delect></rt><noframes id="5guqg"><rt id="5guqg"></rt><rt id="5guqg"></rt><noframes id="5guqg"><rt id="5guqg"></rt> <rt id="5guqg"><delect id="5guqg"></delect></rt><noframes id="5guqg"><noframes id="5guqg"><noframes id="5guqg"><noframes id="5guqg"><noframes id="5guqg"><rt id="5guqg"></rt><rt id="5guqg"><rt id="5guqg"></rt></rt><noframes id="5guqg"><noframes id="5guqg"><rt id="5guqg"></rt> <noframes id="5guqg"><rt id="5guqg"></rt><rt id="5guqg"><rt id="5guqg"></rt></rt><noframes id="5guqg"><rt id="5guqg"><rt id="5guqg"></rt></rt><bdo id="5guqg"></bdo><bdo id="5guqg"></bdo><delect id="5guqg"></delect><rt id="5guqg"></rt><bdo id="5guqg"><delect id="5guqg"></delect></bdo><delect id="5guqg"></delect><rt id="5guqg"><noframes id="5guqg">
  1. 創業頭條
  2. 前沿領域
  3. AI智能
  4. 正文

不止于大模型 英特爾CPU引領智算新高度

 2024-04-01 15:51  來源:互聯網  我來投稿 撤稿糾錯

  域名預訂/競價,好“米”不錯過

在算力新時代,從通用計算到智算,CPU可以做更多,價值也更加凸顯。

作為一種基于人工智能(AI)技術的計算方式,其含義既包含了AI,還包含了對高性能算力的要求。

擁抱大模型不容易

ChatGPT的橫空出世拉開了AI大模型的新時代,而近期的文生視頻模型SORA又讓業界為之激動不已。據了解,Sora所需token(文本處理最小單位)數量相較于文本及圖片模型的推理呈數量級增長。經中信證券簡單估算,對于一個60幀的視頻(約6至8秒),Sora要生成至少約120萬個token,這是相當大的計算量。

科技爆炸的背后需要算力膨脹來匹配,大型AI模型的興起帶來了對智能計算能力的積極需求,于是,我們看到業界在算力基礎設施方面進行積極布局,芯片需求得到極大釋放,但是現實卻有點不盡如人意。

網上信息顯示,以OpenAI在GPT-3模型為例,該模型擁有1750億個參數,需要龐大算力,訓練成本高達1650萬美元。使用GPT-3開發的ChatGPT在推論方面的成本更高,每月燒掉4千萬美元 。這不僅大大增加了企業成本,對地球資源、環境可持續發展性也可能產生影響。

被廣泛應用于人工智能的訓練、推理、科學計算等領域的GPU似乎成為頂流,并且愈發呈現出“一卡難求”的趨勢。但是對于實際的企業AI落地應用而言,真的無法低成本擁抱大模型了嗎?業務場景的需求對AI算力要求幾何?如何挖掘現有算力潛能?

俗話說,“自古華山一條道”,但是對于算力芯片卻不是,特別是對于大語言模型(以下簡稱:LLM)推理,CPU在某些場景下其實更適合。

為什么選擇CPU?

相比GPU,CPU此前在LLM的熱度表現并不算高,業界往往認為CPU在AI時代已經“過時”。

但事實并非如此。

大模型通常都分為訓練和推理兩個階段,在訓練環節需要處理海量數據,因此對算力性能要求較高;但推理階段不僅幾乎貫穿業務全流程,對算力的要求也沒有那么高,隨著CPU性能的提升,在部分場景下用CPU來完成AI推理工作對企業來說是更加適合的選擇。

一方面,CPU資源更容易獲取,也不需要導入異構硬件平臺,額外進行相關人才的儲備,更容易實現廣泛部署;另外,充分利用現有IT設施有助于TCO(總體擁有成本)優化,以用更低的成本實現更優的性能表現。

其次,通過分布式的解決方案,能夠有效解決CPU計算速度的問題。CPU甚至可以支持幾百GB的內存,能夠輕松應付甚至70B的LLM ,而且CPU的特性是通用和靈活,以及在軟件兼容性方面的多年積累,在承載和部署人工智能應用工作負載方面更具優勢。

這就是CPU的破局,選擇CPU進行LLM探索逐漸成為企業的新選擇。

近年來,隨著大模型的迅速發展,光學字符識別(OCR)技術已成為LLM的重要入口。亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺,實現了從FP32到INT8/BF16的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來的1/5到1/9,效率還提升了約5-10倍。

深耕醫療行業多年,已幫助多家三甲醫院推進信息化和數字化建設的衛寧健康就選擇與英特爾合作,通過軟硬適配、優化模型算法等手段,成功在CPU(第五代至強® 可擴展處理器)上提升了面向醫療垂直領域的大模型WiNGPT的性能,讓基于它的AI應用的交付、部署和應用更為高效便捷,能在任何一家已使用衛寧WiNEX系統的醫院迅速上崗。

第五代至強® 可擴展處理器每個內核均具備AI加速功能,無需添加獨立加速器,即可處理要求嚴苛的端到端AI工作負載。英特爾® 高級矩陣擴展(英特爾® AMX)為矩陣運算的加速提供了強大支持,可支持BFloat16和INT8兩種數據類型,完全有能力處理要求嚴苛的AI工作負載。

相比同樣內置AMX的第四代至強® 可擴展處理器,得益于自身在微架構和整體性能上的提升,五代® 至強的推理性能提升高達42%。

目前,LLM更多是云端部署,但是由于涉及隱私安全,本地部署LLM的需求也越發強烈。針對會議摘要、文章總結等離線場景,百億參數的LLM就可以完全勝任,CPU的性能就可以運行,成本優勢更加明顯,還能降低部署成本。

更強通用計算,兼顧AI加速

當然,AI不是只有大模型, 英特爾® 至強® 可擴展處理器除了持續在CPU加速AI這條路上深耕,也一直在持續挖掘CPU在通用計算領域的價值。

與前一代產品相比,第五代英特爾® 至強® 可擴展處理器有高達1.84倍的平均性能提升,可在進行通用計算時將整體性能提升高達21%,并在一系列客戶工作負載中將每瓦性能提升高達36%。

例如制造領域在高度精細且較為耗時的瑕疵檢測環節,部分企業就復用了既有的CPU平臺,構建了橫跨“云-邊-端”的AI 缺陷檢測方案。為了達到更好的應用效果,在使用計算機視覺方案之外,還可以融入深度學習和機器學習的技術,構建三者混合模式的方案。

星環科技則基于第五代至強® 可擴展處理器推出了Transwarp Hippo 分布式向量數據庫解決方案,實現了約2倍的代際性能提升,可有效滿足大模型時代海量、高維向量的存儲和計算需求。

數據作為AI三駕馬車之一,其重要性自然不言而喻。除了可用作向量數據庫這一種,對于處理數據時候可能涉及的邏輯運算、內存操作,第五代英特爾® 至強® 可擴展處理器也可以提供充足的支持。它可以將壓縮/解壓縮和數據傳輸等資源密集型任務從CPU內核卸載至內置的英特爾® 數據分析引擎,釋放數據分析和數據庫運行的時鐘周期,以提高每秒事物處理量,用戶可以在每臺服務器上擴展容量或運行更多應用。

結合第五代英特爾® 至強® 可擴展處理器更快的內存和更大的三級緩存,英特爾® 存內分析加速器(英特爾® IAA)和英特爾® 數據流加速器(英特爾® DSA)能夠在提高查詢吞吐量的同時,進行數據復制和轉換操作,從而實現內存數據庫、大數據分析和數據倉庫的性能提升。

AI對隱私計算的需求也在增加,英特爾® 可信域擴展(英特爾® TDX)提供虛擬機(VM)層面的隔離和保密性,從而增強隱私性和對數據的管理。在基于英特爾® TDX的機密虛擬機中,客戶機操作系統和虛擬機應用被隔離開來,而不會被云端主機、虛擬機管理程序和平臺的其他虛擬機訪問。

此外,英特爾還在軟件創新方面持續發力,以確?,F有的人工智能框架和應用能夠充分發揮硬件潛力,從而加速行業的發展。

英特爾提供了完善的人工智能軟件生態方案和工具鏈,不僅持續為主流開源框架PyTorch、TensorFlow等貢獻力量,還提供了多種針對英特爾平臺的優化插件,如IPEX(Intel® Extension for PyTorch)、ITEX(Intel® Extension for TensorFlow)等,以及xFT(xFasterTransformer)、OpenVINO™ 工具套件等多種優化工具。這些技術可極大地提升AI性能,包括LLM、文字生成圖片Stable Diffusion等,未來的熱門方向——文字生成視頻,同樣能夠從中受益。

IPEX配合PyTorch,支持PyTorch框架下90%的主流模型,其中深度優化模型有50個以上??蛻糁灰ㄟ^簡單幾步即可完成BF16混合精度轉換,模型即可在保持精度的同時在CPU上高效部署。

結語

多年來,英特爾一直不遺余力地進行軟硬件創新,為了迎合人工智能時代對算力的渴求,不斷推陳出新,提供更加強大、更加先進的CPU處理器和其他硬件方案。

CPU運行LLM并不是“癡人說夢”,因為CPU在進化一直在進行,得益于硬件級創新和借助軟件充分挖掘硬件性能,英特爾為AI時代的算力基礎設施提供了新的選擇機會。

我想客戶和市場也是樂見其成的,畢竟這是一個雙贏的結果。市場不希望單一的選擇,而是多樣化的選擇。這就像x86的發展一樣,開放帶來產業的繁榮。

在生成式AI和LLM狂奔的同時,CPU也在與時俱進,讓自己適配客戶需求和選擇。依托軟硬件和生態協同,CPU正在迎來新的高光時刻,推動人工智能行業邁向新的高度,展現出無限的潛力與可能性。

申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!

相關文章

  • ChatGPT、Gemini、通義千問等一眾大語言模型,哪家更適合您?

    隨著人工智能技術的飛速發展,大語言模型(LargeLanguageModels,LLMs)在各行各業的應用日益廣泛,尤其是在軟件開發、數據分析、客戶服務等領域。蘑菇云創客空間[445期開放夜]就以“ChatGPT、Gemini、通義千問等一眾大語言模型,哪家更適合您”這樣的主題,開展了一次深度的大語

  • 體驗了下釘釘AI助理,真羨慕現在的“打工人”...

    對于萬千打工人來說,AI不會替代我們,反而會成為工作中重要的幫手

    標簽:
    釘釘
  • 歷時400多天,國產大模型全面趕超GPT-4?

    趕超GPT-4的階段性升級,可以看作是國產大模型有序迭代部署、不斷拉近差距的標志,切莫像手機跑分那樣,在過度營銷的作用下,淪為被群嘲的對象。

    標簽:
    大模型
  • 微博COO王?。何⒉┮呀尤氚⒗镌仆x大模型,是通義最早一批外部客戶

    5月9日,記者獲悉,微博已接入阿里云通義大模型,提升內容生產效率和社區活躍度。微博不僅是阿里云最早一批上云客戶,也是阿里云通義大模型的最早客戶。微博COO、新浪移動CEO王巍表示,AIGC發展速度遠超想象,包括通義2.5在內,已涌現出不少大模型能力超越GPT4。同時他指出,大模型開源勢不可擋?!鞍⒗?/p>

  • 通義靈碼推出企業版,底座模型CodeQwen1.5登頂權威榜單

    5月9日阿里云AI峰會,通義靈碼宣布推出企業版,滿足企業用戶的定制化需求,幫助企業提升研發效率。通義靈碼是國內用戶規模第一的智能編碼助手,基于SOTA水準的通義千問代碼模型CodeQwen1.5研發,插件下載量已超350萬。通義靈碼熟練掌握Java、Python、Go、JavaScript、Type

    標簽:
    通義千問
  • 通義千問APP更名為通義APP,免費開放通義全棧能力

    5月9日消息,通義大模型品牌升級,“通義千問APP”更名為“通義APP”,集成通義大模型全棧能力,免費為所有用戶提供服務。通義APP以性能媲美GPT-4Turbo的基模為底座,并把通義實驗室前沿的文生圖、智能編碼、文檔解析、音視頻理解、視覺生成等能力“Allinone”,成為每個人的全能AI助手。通

    標簽:
    通義千問
  • 阿里云發布通義千問2.5,性能全面趕超GPT-4 Turbo

    5月9日消息,阿里云正式發布通義千問2.5,模型性能全面趕超GPT-4Turbo,成為地表最強中文大模型。同時,通義千問最新開源的1100億參數模型在多個基準測評收獲最佳成績,超越Meta的Llama-3-70B,成為開源領域最強大模型。相比通義千問2.1版本,通義千問2.5的理解能力、邏輯推理、指

    標簽:
    通義千問
  • 通義大模型通過阿里云服務企業超9萬,開源模型下載超700萬

    5月9日消息,阿里云公布最新數據,通義大模型通過阿里云服務企業超9萬,通義開源模型累計下載量突破700萬。通義落地應用進程加速,現已進入PC、手機、汽車、航空、天文、礦業、教育、醫療、餐飲、游戲、文旅等領域,成為最受中國企業歡迎的大模型。阿里云AI峰會現場,小米旗下的人工智能助手“小愛同學”已與阿里

    標簽:
    通義千問
  • 阿里云發布通義千問2.5, 中文能力地表最強

    通義大模型發布一周年之際,迎來重要的歷史性時刻。5月9日,阿里云正式發布通義千問2.5,模型性能全面趕超GPT-4Turbo,成為地表最強中文大模型。同時,通義千問1100億參數開源模型在多個基準測評收獲最佳成績,超越Llama-3-70B,成為開源領域最強大模型。歷經一年多追趕,國產大模型終于進入

    標簽:
    通義千問
  • AI PC,到底誰的夢想、誰的紅利?

    世界上第一臺通用計算機是1946年誕生的埃尼阿克,世界上第一臺便攜電腦是1981年誕生的“奧斯本1號”,世界上第一部智能手機是1993年誕生的IBMSimon。它們之間看起來毫無關系,但卻暗含一種關于創新的微妙潛規則——隨著時間推移,產品創新對設備本身的改動越來越小,對設備能力的拓展越來越大。說人話

熱門排行

編輯推薦