<span id="own3b"></span><thead id="own3b"><kbd id="own3b"><tt id="own3b"></tt></kbd></thead>
<th id="own3b"></th>
  • <button id="own3b"><object id="own3b"></object></button>
    1. <th id="own3b"></th><span id="own3b"></span>
      1. 企業空間 采購商城 存儲論壇
        首頁 > 人工智能 > 正文

        NVIDIA連續第三次在MLCommons推理測試中創造性能和能效紀錄

        2021-09-22 23:39:05來源:至頂網
        導讀: 目前,MLCommons每年組織2次MLPerf AI訓練性能測試和2次MLPerf AI推理性能測試,為用戶衡量設備性能提供權威有效的數據指導。

        近日,全球權威AI基準評測MLPerf公布最新榜單Inference(推理)V1.1,NVIDIA在使用x86及Arm CPU進行AI推理時取得了最佳成績。這是NVIDIA連續第三次在MLCommons推理測試中創造性能和能效紀錄。

        MLPerf是影響力最廣的國際AI性能基準評測,由圖靈獎得主大衛•帕特森(David Patterson)聯合頂尖學術機構發起成立。

        2020年,非盈利性機器學習開放組織MLCommons基于MLPerf基準測試成立,其成員包括谷歌、Facebook、英偉達、英特爾、浪潮、哈佛大學、斯坦福大學、加州大學伯克利分校等50余家全球AI領軍企業及頂尖學術機構,致力于推進機器學習和人工智能標準及衡量指標。

        目前,MLCommons每年組織2次MLPerf AI訓練性能測試和2次MLPerf AI推理性能測試,為用戶衡量設備性能提供權威有效的數據指導。

        值得一提的是,本次測試是第一次在Arm系統上進行數據中心類別的測試,這使用戶在部署AI這一目前最具變革性的技術時有了更多的選擇。

        軟硬件協同實現最強性能

        推理(Inference)指計算機通過運行AI軟件來識別對象或進行預測。在這個過程中,計算機使用深度學習模型來過濾數據,進而發現人類所無法捕捉的結果。

        MLPerf推理基準測試基于當今最常用的AI工作負載和場景,涵蓋計算機視覺、醫學影像、自然語言處理、推薦系統、強化學習等。

        MLPerf測試結果能夠幫助用戶更好地進行采購決策,NVIDIA是唯一一家在本輪和迄今為止每一輪測試中取得所有MLPerf測試結果的公司。

        隨著AI用例從數據中心擴展到邊緣和其他領域,AI模型和數據集將不斷增加。就是為什么用戶需要既可靠又能靈活部署的性能。

        除了最新的A100硬件加持,NVIDIA能夠在所有AI用例中取得成功的一個關鍵因素是其完整的軟件棧。

        在推理方面,這包括針對各種用例的預訓練AI模型。NVIDIA TAO Toolkit運用遷移學習為特定應用定制這些模型。

        NVIDIA TensorRT軟件對AI模型進行了優化,使其能夠最有效地運用內存并且實現更快的運行速度。NVIDIA經常使用該軟件進行MLPerf測試,該軟件可用于X86和Arm的系統。

        NVIDIA連續第三次在MLCommons推理測試中創造性能和能效紀錄

        在這些基準測試中,NVIDIA還采用了NVIDIA Triton推理服務器軟件和多實例GPU(MIG)功能。它們為所有開發者提供了通常需要專家級程序員才能實現的性能。

        隨著該軟件棧的不斷改進,與四個月前的MLPerf推理基準測試相比,NVIDIA提升了高達20%的性能和15%的能效。

        構建強大AI生態系統

        NVIDIA AI技術得到了廣大和日益擴展的生態系統的支持。

        來自NVIDIA及其生態系統合作伙伴,包括阿里巴巴、戴爾科技、富士通、技嘉、慧與、浪潮、聯想、寧暢和超微參與了最新的基本測試。

        其中七家OEM廠商共提交了22個GPU加速的平臺。這些服務器中的大多數型號都是NVIDIA認證系統,經驗證可以運行多種加速工作負載,而且其中很多型號都支持上個月正式發布的NVIDIA AI Enterprise軟件。

        同時,Arm架構正在向全球各地的數據中心進軍,而且Arm CPU和NVIDIA GPU驅動的Arm系統已能夠應對數據中心中的各種AI工作負載。

        NVIDIA連續第三次在MLCommons推理測試中創造性能和能效紀錄

        最新基準測試表明,作為GPU加速的平臺,在AI推理工作中,使用Ampere Altra CPU的Arm服務器與具有類似配置的X86服務器提供的性能幾乎相同。事實上,在其中的一項測試中,Arm服務器的性能甚至超過了類似配置的x86系統。

        據悉,NVIDIA在最新測試中所使用的所有軟件都可以從MLPerf資源庫中獲得,因此任何人都可以重現NVIDIA的基準測試結果。NVIDIA會陸續將這些代碼添加到NVIDIA的深度學習框架和容器中,用戶可在NVIDIA的GPU應用軟件中心NGC上獲得這些框架和容器。

        結語

        依托強悍的GPU硬件產品,加上豐富的軟件產品加持,NVIDIA在AI推理方面如虎添翼。同時,依靠強大的生態系統,NVIDIA正在將自己的AI優勢不斷延展,為人工智能產業輸送源源不斷的動力。


        繼續閱讀
        關鍵詞 :
        中存儲網聲明:此文觀點不代表本站立場,如有版權疑問請聯系我們。

        這篇文章對您有幫助嗎?

        已有 人覺得有幫助

        相關閱讀
        產品推薦
        頭條閱讀
        欄目熱點

        Copyright @ 2006-2021 ChinaStor.COM 版權所有 京ICP備14047533號

        中存儲網

        存儲第一站,存儲門戶,存儲在線交流平臺