報告還對過去5年，工業(yè)、zhengfu以及學(xué)術(shù)研究機(jī)構(gòu)采用的HPC文件系統(tǒng)進(jìn)行了深入調(diào)查分析。結(jié)論是，NFS仍然是目前zuiguangfan采用的文件系統(tǒng)，但使用率已從2015年的54%下降到2019年的46%。Lustre、HDFS、GPFS/Sectrum Scale則分別實(shí)現(xiàn)增長，其中Lustre由21%增長至32.5%、HDFS由15%增長至24.7%、GPFS/Sectrum Scale由23%增長至26.8%。

在調(diào)查的194個超級計(jì)算機(jī)站點(diǎn)zhong,gong使用了349個文件系統(tǒng)，平均每個站點(diǎn)使用1.8個文件系統(tǒng)。 超過50%的zhengfu網(wǎng)站和30%的學(xué)術(shù)網(wǎng)站使用Lustre和GPFS/Sectrum Scale，工業(yè)選擇NFS、HDFS和RedHat的居多。除此之外，GFS、CEPH和Pan FS占比雖然不高，但在zhengfu、學(xué)術(shù)界和工業(yè)都不同程度的應(yīng)用。

HPC存儲“大家談”

無論是開源還是商用存儲，也不管選用哪種分布式文件系統(tǒng)，HPC存儲技術(shù)發(fā)展終究是要適應(yīng)市場的需求，特別是適應(yīng)當(dāng)前企業(yè)不斷深化的數(shù)字化轉(zhuǎn)型和智能化升級需求。隨著云計(jì)算、大數(shù)據(jù)以及AI融入到千行百業(yè)，無論是傳統(tǒng)企業(yè)、zhengfu還是學(xué)術(shù)研究機(jī)構(gòu)，數(shù)據(jù)的快速增長將避無可避，由此帶來的龐大數(shù)據(jù)處理與分析需求，勢必推動HPC存儲廠商的技術(shù)創(chuàng)新和變革。

面對快速增長的數(shù)據(jù)存儲、管理、分析、低延時、高帶寬的應(yīng)用需求。HPC存儲廠商在做什么?總結(jié)來說，主流廠商都在瞄準(zhǔn)大數(shù)據(jù)分析和AI分析場景，通過收購或技術(shù)創(chuàng)新不斷提升HPC存儲性能。

作為存儲行業(yè)的老牌廠商，戴爾易安信有著豐富的HPC解決方案組合，既有基于Lustre、BeeGFS包裝的并行存儲解決方案主打傳統(tǒng)HPC場景，又有基于PowerScale(前Isilon)構(gòu)建的數(shù)據(jù)湖解決方案主打HPDA場景，同時推出了系列全閃存儲機(jī)型和PowerEdge服務(wù)器、400GbE開放式網(wǎng)絡(luò)交換機(jī)等形成AI就緒解決方案，通過多種方案組合應(yīng)對傳統(tǒng)HPC向HPDA、HPC-based AI演進(jìn)趨勢。

IBM正在將軟件定義的IBM Spectrum Scale存儲產(chǎn)品與基于 IBM POWER9處理器的I/O密集型服務(wù)器結(jié)合起來。通過將整個組織的存儲需求整合到 IBM ESS 5000 和基于 NVMe的ESS 3000上，支持需求苛刻的 HPC、分析和/或高容量存儲需求。IBM ESS 5000專為數(shù)據(jù)湖而設(shè)計(jì)，單個節(jié)點(diǎn)的性能可達(dá)到 55 GB/秒，可擴(kuò)展至堯字節(jié)級容量。

戴爾易安信和IBM都將存儲未來的發(fā)展壓向“AI、分析和HPC”應(yīng)用，足見各大廠商對HPDA、HPC-based AI應(yīng)用場景方向的看好和認(rèn)可。

作為一家專注于高性能計(jì)算存儲的供應(yīng)商，DDN擁有一系列快速訪問和可擴(kuò)展陣列，可單獨(dú)使用，也可以與GRIDscaler Spectrum Scale和EXAscaler Lustre系列中的橫向擴(kuò)展并行文件系統(tǒng)捆綁使用。近年來，DDN通過一系列的收購來強(qiáng)化其存儲系統(tǒng)面向AI、5G等場景的支撐能力。2019年收購軟件定義存儲公司Nexenta，該公司擁有一系列文件，塊和對象存儲軟件產(chǎn)品，以及基于ZFS文件系統(tǒng)。Nexenta已進(jìn)入了市場，其在物聯(lián)網(wǎng)市場也在開拓計(jì)劃中。收購Nexenta，不jin能拓展DDN存儲面向5G、AI以及物聯(lián)網(wǎng)等場景的能力，還可以在Lustre和Spectrum Scale產(chǎn)品之下獲得更為通用的文件存儲。

對比業(yè)界幾種主流的文件系統(tǒng)，Lustre作為超20年歷史的老牌開源并行文件系統(tǒng)，專門面向HPC場景設(shè)計(jì)，具有很強(qiáng)的擴(kuò)展性和超高的帶寬能力，HPC場景生態(tài)上也支持度很高。但開源文件系統(tǒng)的通病也在它身上充分體現(xiàn)出來，系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜是客戶對Lustre詬病zui多的點(diǎn)，同時，Lustre的企業(yè)特性較少，小文件性能偏弱也成為其面向HPDA/AI場景演進(jìn)的障礙。

IBM Spectrum Scale(前GPFS)作為并行文件系統(tǒng)的另一大分支，相比Lustre在企業(yè)特性方面和小文件性能上有了較大的增強(qiáng)，但仍然沒能擺脫系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜的帽子，隨著IBM近兩年在整體存儲市場走弱，Spectrum Scale也面臨困境。

PowerScale的OneFS作為通用分布式文件系統(tǒng)的dai表，憑借多協(xié)議互通能力和系統(tǒng)易用性，在新興的以自動駕駛為dai表的HPDA場景斬獲了較多的市場份額，但不支持MPI并行訪問接口和相對較弱的性能，又限制了其在HPDA場景的競爭力。

隨著傳統(tǒng)HPC向HPDA、HPC-based AI方向演進(jìn)，各行業(yè)迎來了數(shù)據(jù)量爆發(fā)和異構(gòu)算力加入，那么有沒有一種存儲能解決企業(yè)的所有需求，應(yīng)對跨協(xié)議訪問、混合負(fù)載性能、成本、可靠性等多方面給存儲帶來新的挑戰(zhàn)?

2020年HC大會期間，國內(nèi)存儲市場的lin軍者華為正式發(fā)布新一代HPDA存儲解決方案，依托OceanStor Pacific提供的多協(xié)議互通、面向混合負(fù)載、超高密設(shè)計(jì)能力，強(qiáng)勢進(jìn)軍HPC/HPDA市場。華為作為國內(nèi)ding尖科技公司的dai表，一旦全力投入某個領(lǐng)域，還是能給我們帶來很多期待的：

首先，華為OceanStor Pacific可以實(shí)現(xiàn)POSIX/MPI/NFS/CIFS/HDFS/S3等多種協(xié)議的無損互通，實(shí)現(xiàn)HPDA場景下不同協(xié)議訪問的數(shù)據(jù)零拷貝。相比業(yè)界網(wǎng)關(guān)式的協(xié)議互通，OceanStor Pacific的多服務(wù)構(gòu)建在統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)底座上，每種協(xié)議均可直接訪問，無需網(wǎng)關(guān)或插件，從而可以實(shí)現(xiàn)性能無損和語義無損的協(xié)議互通能力，同時各服務(wù)能夠共享數(shù)據(jù)底座豐富的特性能力。

其次，華為OceanFS新一代并行文件系統(tǒng)，架構(gòu)設(shè)計(jì)時同時繼承了分布式存儲的高并發(fā)帶寬能力和集中式存儲的小文件高OPS能力，再輔以DPC(Distributed Parallel Client)分布式并行客戶端支持MPI-IO，實(shí)現(xiàn)單流和單客戶端性能加速，實(shí)現(xiàn)了面向混合負(fù)載的全場景加速，能夠更從容的應(yīng)對HPDA場景的復(fù)雜業(yè)務(wù)負(fù)載。

針對HPC和大數(shù)據(jù)、AI技術(shù)融合后帶來的數(shù)據(jù)量爆發(fā)，華為OceanStor Pacific還推出了系列化高密硬件，來降低海量數(shù)據(jù)的空間占用和存儲成本。OceanStor Pacific 9950高密NVMe全閃機(jī)型可在5U空間提供高達(dá)160GB/s的帶寬和200萬的IOPS性能;OceanStor Pacific 9550高密大容量機(jī)型則可在5U空間放置120塊HDD盤，提供高達(dá)1.68PB裸容量，通過兩者的分級，可以實(shí)現(xiàn)數(shù)據(jù)的性能與成本均衡。

歷史上，華為強(qiáng)勢進(jìn)軍某個領(lǐng)域，都給該領(lǐng)域帶來了巨大的變化，這次華為憑借系列硬核技術(shù)發(fā)力HPC/HPDA場景，我們也有理由相信將推動HPC向HPDA、HPC-based AI方向的快速演進(jìn)，實(shí)現(xiàn)HPC產(chǎn)業(yè)升級。我們也期待有更多的存儲廠商發(fā)力HPDA場景，讓HPDA存儲的春天早日到來!