為AI和HPC蓄力 希捷推出基于Infiniband的混合存儲(chǔ)解決方案

(資料圖片)

在數(shù)字經(jīng)濟(jì)的浪潮下，AI技術(shù)迎來(lái)井噴。以ChatGPT為代表的生成式大模型的快速發(fā)展給AI算力帶來(lái)了巨大需求，人工智能技術(shù)已經(jīng)從象牙塔走向人們的日常生活和工作。

在AI場(chǎng)景中，存儲(chǔ)發(fā)揮著非常重要的作用?？梢哉f(shuō)，AI模型落地過(guò)程中，最頂尖的挑戰(zhàn)就是數(shù)據(jù)。AI生成的數(shù)據(jù)如同天文數(shù)字般不斷增長(zhǎng)，帶來(lái)了對(duì)算力需求的暴增。人工智能行業(yè)要實(shí)現(xiàn)快速發(fā)展，必須注重存儲(chǔ)能力和計(jì)算能力的同時(shí)提升。比如除了存放訓(xùn)練和推理的數(shù)據(jù)之外，存儲(chǔ)系統(tǒng)還要存放原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)、特征數(shù)據(jù)等很多類型的信息，以及交互中產(chǎn)生的數(shù)據(jù)集、模型參數(shù)快照和中間數(shù)據(jù)等，數(shù)據(jù)量十分龐大。此外，GPU計(jì)算資源非常珍貴，存儲(chǔ)的快速部署和后期穩(wěn)定運(yùn)行會(huì)非常有助于GPU的高效利用。

基于此，希捷科技打造了基于英偉達(dá)高速Infiniband網(wǎng)絡(luò)的混閃存儲(chǔ)方案，為不同規(guī)模的AI計(jì)算集群提供高性價(jià)比的標(biāo)準(zhǔn)化存儲(chǔ)。此混合存儲(chǔ)方案的存儲(chǔ)單元采用了內(nèi)置NVMe固態(tài)硬盤和希捷機(jī)械硬盤高速存儲(chǔ)相互配合的混閃模式，既能提供超高的性能，也能提供更佳的性價(jià)比。該解決方案充分利用了IB網(wǎng)絡(luò)低延遲、高帶寬的優(yōu)勢(shì)，滿足文件傳輸性能。采用NVMe固態(tài)硬盤提供小文件和元數(shù)據(jù)所需要的低延遲IOPS性能，同時(shí)采用機(jī)械硬盤提供大文件所需要的高帶寬性能。并且應(yīng)用了成熟、通用的文件系統(tǒng)，以達(dá)到整體方案的高可用性，并提供了增值功能。同時(shí)，該存儲(chǔ)方案通過(guò)軟硬件標(biāo)準(zhǔn)化和預(yù)集成方式，保證系統(tǒng)整體性能達(dá)到預(yù)期，也降低了部署和運(yùn)維的難度。

值得一提的是，該解決方案于8月24日在2023年CCF全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)（CCF HPC China）亮相，幫助有高算力需求的客戶解決海量數(shù)據(jù)難題。除此之外，在本屆CCF HPC China大會(huì)上，希捷科技聯(lián)合神州數(shù)碼展示了一系列企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)解決方案，其中包括希捷銀河Exos X 5U84系統(tǒng)、希捷銀河Exos X20、X18大容量機(jī)械硬盤、HAMR熱輔助磁記錄、MACH.2雙磁臂技術(shù)等，旨在更好地幫助企業(yè)用戶進(jìn)行高性能計(jì)算建設(shè)。

關(guān)鍵詞：