導(dǎo)讀:?作為曙光的核心業(yè)務(wù),多年曙光持續(xù)在存儲技術(shù)上進(jìn)行投入,取得了不少技術(shù)突破,尤其是在海量存儲上。
當(dāng)前,全國各地正在大力推進(jìn)新基建的建設(shè),這種態(tài)勢還將繼續(xù)保持。隨著以5G、工業(yè)互聯(lián)網(wǎng)、人工智能等技術(shù)為代表的新基建的持續(xù)推進(jìn),必將帶來更為泛在的連接、更加海量的數(shù)據(jù)、更為多樣化的數(shù)據(jù)類型,以及更為普遍的數(shù)據(jù)分析和處理需求,這些變化給存儲系統(tǒng)帶來了巨大的挑戰(zhàn)。
在12月18日由新華網(wǎng)與中國科協(xié)學(xué)會學(xué)術(shù)部指導(dǎo)、新華網(wǎng)客戶端與中國電子學(xué)會主辦、至頂傳媒承辦、科技行者與全球移動(dòng)通信系統(tǒng)協(xié)會(GSMA)協(xié)辦的“2020中國新基建領(lǐng)導(dǎo)力峰會”上,曙光存儲事業(yè)部副總經(jīng)理張新鳳在其主題演講中分享了在當(dāng)前“新基建”環(huán)境中,曙光如何通過其海量存儲系統(tǒng)助力客戶數(shù)字化轉(zhuǎn)型的最佳實(shí)踐,為業(yè)界破解存儲難題帶來新的思考。
曙光存儲事業(yè)部副總經(jīng)理張新鳳
存儲行業(yè)新變局
今天我們已經(jīng)進(jìn)入一個(gè)大數(shù)據(jù)時(shí)代,數(shù)據(jù)規(guī)模正在呈現(xiàn)爆炸性增長,與此同時(shí),數(shù)據(jù)正在成為眾多企業(yè)的核心生產(chǎn)要素,在企業(yè)數(shù)字化轉(zhuǎn)型中數(shù)據(jù)的基礎(chǔ)支撐作用也日益凸顯,越來越多的企業(yè)通過數(shù)據(jù)的分析和處理獲得競爭優(yōu)勢。
在演講中張新鳳援引了一組IDC的研究結(jié)果:2018至2025年全球數(shù)據(jù)圈將增長5倍以上,屆時(shí)全球互聯(lián)的設(shè)備將超過1500億,其中的大部分設(shè)備將實(shí)時(shí)產(chǎn)生數(shù)據(jù)。
大數(shù)據(jù)時(shí)代的另一個(gè)顯著特點(diǎn)就是邊緣和終端產(chǎn)生的數(shù)據(jù)量越來越多,隨著5G的普及這一勢頭將有增無減。以自動(dòng)駕駛汽車為例,其每小時(shí)即產(chǎn)生3TB的數(shù)據(jù),這還不包括車載設(shè)備上的娛樂信息以及GPS數(shù)據(jù)。隨著車與車之間的連接越來越平常,以及植入越來越多模式設(shè)別的機(jī)器學(xué)習(xí)以及AI算法,其數(shù)據(jù)量還將顯著增加。
為了應(yīng)對行業(yè)的最新變化,存儲行業(yè)做出了大量努力。在張新鳳看來存儲領(lǐng)域有四大趨勢值得重點(diǎn)關(guān)注:
首先是存儲介質(zhì)的創(chuàng)新。創(chuàng)新集中在兩個(gè)方向:一個(gè)追求更快的存儲介質(zhì),追求實(shí)時(shí)性,大量新技術(shù)應(yīng)用創(chuàng)造出更好的性能,如SSD、NVMe;另一個(gè)是更大容量,而且是低成本下的高容量,比如量子存儲技術(shù),目的是為海量數(shù)據(jù)廉價(jià)存儲提供介質(zhì)。
其次,不同行業(yè)對存儲呈現(xiàn)完全不同的需求。比如,流媒體應(yīng)用一般更關(guān)注性能抖動(dòng);金融證券一般更關(guān)注延遲問題等。為了滿足不同需求,就需要為之提供軟硬一體、定制化的存儲系統(tǒng)。
第三,存儲的智能化管理需求。存儲量的增長帶來了運(yùn)維的復(fù)雜,使得存儲系統(tǒng)自動(dòng)預(yù)警、自動(dòng)運(yùn)維顯得越來越關(guān)鍵。
最后是更為海量的數(shù)據(jù),這是當(dāng)前對存儲系統(tǒng)最大的挑戰(zhàn)之一。大數(shù)據(jù)、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、5G等新技術(shù)帶來多元化數(shù)據(jù)爆發(fā)性增長,特別是企業(yè)存儲在本地、邊緣或公共云中的作為文件或?qū)ο蟠鎯Φ姆墙Y(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)指數(shù)級增長。
“以前,我們存儲達(dá)到PB級別就是很大規(guī)模的應(yīng)用了,而這一兩年我們接觸了不少單用戶的數(shù)據(jù)規(guī)模達(dá)到數(shù)百PB規(guī)模,對于這種海量數(shù)據(jù)傳統(tǒng)存儲系統(tǒng)方式是不合適的。”張新鳳表示。
潛心打磨,出好的海量存儲產(chǎn)品
曙光公司是依托于中科院誕生的一家本土企業(yè),主要為政企客戶打造IT基礎(chǔ)架構(gòu)以及各種解決方案和服務(wù)。經(jīng)過20多年發(fā)展,曙光目前擁有有七大產(chǎn)品線,其中,存儲是其最為核心的兩大業(yè)務(wù)之一(另一項(xiàng)核心業(yè)務(wù)是服務(wù)器)。作為曙光的核心業(yè)務(wù),多年曙光持續(xù)在存儲技術(shù)上進(jìn)行投入,取得了不少技術(shù)突破,尤其是在海量存儲上。目前,已經(jīng)建立了一支國內(nèi)一流的掌握了分布式存儲核心技術(shù)的團(tuán)隊(duì),擁有兩百多項(xiàng)相關(guān)技術(shù)發(fā)明專利。根據(jù)IDC的數(shù)據(jù),曙光自研的海量分布式存儲系統(tǒng)連續(xù)7年在國內(nèi)IDC產(chǎn)品里排名前二。
據(jù)張新鳳介紹,曙光的海量存儲系統(tǒng)架構(gòu)分三層:最底層是硬件平臺,基于完全標(biāo)準(zhǔn)化的x86平臺構(gòu)建,適配英特爾等各種處理器和高速網(wǎng)絡(luò)產(chǎn)品,比如25GB、100GB、200GB網(wǎng)絡(luò);中間是最核心的分布式軟件層,其中最關(guān)鍵的是曙光自研的本地磁盤管理系統(tǒng),其擴(kuò)展性非常好,性能和可靠性與同類軟件相比有質(zhì)的提升;最上層是應(yīng)用,包括NFS、FTP等,以滿足用戶存儲不同數(shù)據(jù)的需要。
“該系統(tǒng)面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲場景全面優(yōu)化,廣泛適用于存在數(shù)據(jù)共享需求的多種應(yīng)用領(lǐng)域,如互聯(lián)網(wǎng)、媒資管理、視頻編輯處理等行業(yè)或場景?!睆埿馒P表示。
張新鳳說,曙光海量存儲系統(tǒng)有如下三大核心優(yōu)勢:
第一個(gè)是高性能。高性能主要取決于架構(gòu)本身,這是一個(gè)完全集成的架構(gòu)。同時(shí),單結(jié)點(diǎn)性能上也做了優(yōu)化,可以為追求極致性的用戶提供更好的性能。另外,系統(tǒng)還利用了最先進(jìn)的網(wǎng)絡(luò)技術(shù)并在網(wǎng)絡(luò)協(xié)議上做了大量優(yōu)化,從而進(jìn)一步提升了存儲性能。
其次,是存儲系統(tǒng)的高可靠性。整個(gè)系統(tǒng)的可靠性首先來自于單個(gè)硬件可靠性,然后結(jié)合軟件實(shí)現(xiàn)了整個(gè)存儲系統(tǒng)的可靠性,集群、所有固件、所有節(jié)點(diǎn)和網(wǎng)絡(luò)都冗余設(shè)計(jì),沒有單點(diǎn)故障。
最后,在易管理方面,存儲系統(tǒng)植入了智能算法,有新節(jié)點(diǎn)加入第一時(shí)間識別自動(dòng)處理,從不需要人員做太多介入管理。同時(shí),可實(shí)現(xiàn)多個(gè)系統(tǒng)統(tǒng)一管理,一個(gè)管理系統(tǒng)可以管理64套集群,這意味著通過一個(gè)管理界面可以實(shí)現(xiàn)數(shù)十個(gè)EP級數(shù)據(jù)的管理。
張新鳳介紹,得益于曙光在技術(shù)上持續(xù)創(chuàng)新,曙光存儲系統(tǒng)現(xiàn)在已經(jīng)在全國3萬多家企業(yè)中發(fā)揮作用,管理數(shù)據(jù)的容量已經(jīng)超過10個(gè)EB,為眾多政客客戶的數(shù)字化轉(zhuǎn)型發(fā)揮了重要作用。
“當(dāng)今數(shù)據(jù)存儲的需求已經(jīng)到了一個(gè)新的階段,為了應(yīng)對海量數(shù)據(jù)我們需要在技術(shù)、在方案上、產(chǎn)品上做出改變,曙光分布式存儲系統(tǒng)正是我們做出的探索?!睆埿馒P總結(jié)說。