在過去的幾十年里，軟件一直是高科技的明星，原因很容易理解。通過定義這個時代的改變游戲規(guī)則的創(chuàng)新——PC和移動電話，技術(shù)堆棧的架構(gòu)和軟件層實現(xiàn)了幾項重要的進(jìn)步。在這種環(huán)境下，半導(dǎo)體公司處境艱難。盡管他們在芯片設(shè)計和制造方面的創(chuàng)新使下一代設(shè)備成為可能，但他們只從技術(shù)堆棧中獲得了一小部分價值——大約20%到30%用于個人電腦，10%到20%用于移動設(shè)備。

但隨著人工智能(AI)的發(fā)展，半導(dǎo)體公司的情況可能會有所不同。人工智能通常定義為機器執(zhí)行與人類思維相關(guān)的認(rèn)知功能的能力，例如感知、推理和學(xué)習(xí)。許多人工智能應(yīng)用程序已經(jīng)獲得了廣泛的關(guān)注，包括管理我們家庭的虛擬助手和跟蹤罪犯的面部識別程序。這些不同的解決方案以及其他新興的AI應(yīng)用程序有一個共同特征：依賴硬件作為創(chuàng)新的核心推動因素，尤其是邏輯和存儲功能。

這一發(fā)展對半導(dǎo)體銷售和收入意味著什么?哪些芯片對未來的創(chuàng)新最重要?為了回答這些問題，我們回顧了當(dāng)前的AI解決方案以及支持它們的技術(shù)。我們還研究了整個技術(shù)堆棧中半導(dǎo)體公司的機會。我們的分析揭示了價值創(chuàng)造的三個重要發(fā)現(xiàn)：

AI可以讓半導(dǎo)體公司從技術(shù)堆棧中獲取40%到50%的總價值，這代表了他們幾十年來的最佳機會。

存儲將實現(xiàn)最高增長，但半導(dǎo)體公司將在計算、內(nèi)存和網(wǎng)絡(luò)方面獲得最大價值。

為了避免過去限制價值獲取的錯誤，半導(dǎo)體公司必須采取新的價值創(chuàng)造戰(zhàn)略，專注于為特定行業(yè)或“微觀垂直行業(yè)”提供定制的端到端解決方案。

通過牢記這些信念，半導(dǎo)體領(lǐng)導(dǎo)者可以創(chuàng)建一個新的人工智能路線圖。本文首先回顧了他們將在技術(shù)堆棧中發(fā)現(xiàn)的機會，重點關(guān)注AI對數(shù)據(jù)中心和邊緣硬件需求的影響(與自動駕駛汽車等設(shè)備一起發(fā)生的計算)。然后研究計算、內(nèi)存、存儲和網(wǎng)絡(luò)中的特定機會。本文還討論了幫助半導(dǎo)體公司在AI市場中獲得優(yōu)勢的新策略，以及他們在計劃下一步時應(yīng)該考慮的問題。

AI技術(shù)堆棧將為半導(dǎo)體公司帶來許多機會

自20世紀(jì)50年代出現(xiàn)以來，AI取得了重大進(jìn)展，但最近發(fā)生了一些最重要的發(fā)展，因為開發(fā)人員創(chuàng)建了復(fù)雜的機器學(xué)習(xí)(ML)算法，可以處理大型數(shù)據(jù)集，“從經(jīng)驗中學(xué)習(xí)”，并隨著時間的推移而改進(jìn)。最大的飛躍出現(xiàn)在2010年代，因為深度學(xué)習(xí)(DL)的進(jìn)步。深度學(xué)習(xí)是一種可以處理更廣泛數(shù)據(jù)的ML，需要人工操作員進(jìn)行更少的數(shù)據(jù)預(yù)處理，并且通?？梢援a(chǎn)生更準(zhǔn)確的結(jié)果。

要了解AI為半導(dǎo)體公司創(chuàng)造機會的原因，請考慮技術(shù)堆棧(圖1)。它由9個獨立的層組成，支持AI應(yīng)用程序的兩個活動：培訓(xùn)和推理。當(dāng)開發(fā)人員試圖改進(jìn)培訓(xùn)和推理時，他們經(jīng)常遇到與硬件層相關(guān)的障礙，包括存儲、內(nèi)存、邏輯和網(wǎng)絡(luò)。通過提供下一代加速器架構(gòu)，半導(dǎo)體公司可以提高計算效率或促進(jìn)通過內(nèi)存和存儲傳輸大型數(shù)據(jù)集。例如，AI的專用內(nèi)存帶寬是傳統(tǒng)內(nèi)存的4.5倍，因此更適合處理AI應(yīng)用程序所需的大量數(shù)據(jù)。這種性能的提升是如此之大，以至于許多客戶更愿意支付專用內(nèi)存所需的更高價格(每GB大約25美元，標(biāo)準(zhǔn)內(nèi)存大約8美元)。

人工智能以數(shù)據(jù)中心和優(yōu)勢將為半導(dǎo)體帶來大部分收入

隨著硬件作為人工智能的差異化因素，半導(dǎo)體公司將發(fā)現(xiàn)對現(xiàn)有芯片的更大需求，但他們也可以通過開發(fā)新技術(shù)獲利。我們創(chuàng)建了一個模型來估計這些AI機會將如何影響收入，并確定AI相關(guān)芯片是否會構(gòu)成未來需求的重要部分。

我們的研究顯示，與AI相關(guān)的半導(dǎo)體在未來幾年內(nèi)每年將增長約18%，比非AI應(yīng)用中使用的半導(dǎo)體的速度高5倍。到2025年，人工智能相關(guān)的半導(dǎo)體可能占所有需求的近20%，這將轉(zhuǎn)化為約670億美元的收入。數(shù)據(jù)中心和邊緣都將出現(xiàn)機遇。如果這種增長按預(yù)期實現(xiàn)，那么半導(dǎo)體公司的定位將從人工智能技術(shù)堆棧中獲得比以前創(chuàng)新所獲得的更多價值，大約占總數(shù)的40%到50%。

人工智能將推動存儲的大部分增長，但創(chuàng)造價值的最佳機會在于其他領(lǐng)域

然后，我們進(jìn)一步分析了半導(dǎo)體廠商在計算、內(nèi)存、存儲和網(wǎng)絡(luò)方面的具體機會。對于每個領(lǐng)域，我們都研究了硬件需求在數(shù)據(jù)中心和邊緣的演變情況。我們還量化了除網(wǎng)絡(luò)之外的每個類別的預(yù)期增長，其中與AI相關(guān)的價值捕獲機會對于半導(dǎo)體公司而言相對較小。

計算

計算性能依賴于中央處理單元(CPU)和加速器 - 圖形處理單元(GPU)、現(xiàn)場可編程門陣列(FPGA)和專用集成電路(ASIC)。由于每個用例都有不同的計算要求，因此最佳的AI硬件架構(gòu)會有所不同。例如，與自動駕駛或財務(wù)風(fēng)險分層的應(yīng)用相比，路線規(guī)劃應(yīng)用對處理速度、硬件接口和其他性能特征有不同的需求。

總體而言，到2025年，對計算硬件的需求將增加約10%至15%(圖表5)。在分析了超過150個DL用例之后，考慮了推理和培訓(xùn)要求，我們能夠確定架構(gòu)最有可能在數(shù)據(jù)中心和邊緣獲得優(yōu)勢的。

數(shù)據(jù)中心使用情況。大多數(shù)計算增長將來自云計算數(shù)據(jù)中心對AI應(yīng)用程序的更高需求。在這些位置，GPU現(xiàn)在幾乎用于所有培訓(xùn)應(yīng)用程序。我們預(yù)計它們很快就會開始失去ASIC的市場份額，直到2025年計算市場在這些解決方案之間平均分配。隨著ASIC進(jìn)入市場，GPU可能會更加定制化，以滿足DL的需求。除了ASIC和GPU之外，F(xiàn)PGA在未來的AI培訓(xùn)中也將扮演一個小角色，主要用于必須快速進(jìn)入市場或需要定制的專業(yè)數(shù)據(jù)中心應(yīng)用。

因此，CPU現(xiàn)在約占市場的75%。隨著DL應(yīng)用的發(fā)展，它們將被ASIC所取代。同樣，我們預(yù)計計算市場將出現(xiàn)幾乎相等的份額，其中CPU占2025年需求的50%，ASIC占40%。

邊緣應(yīng)用。大多數(shù)邊緣訓(xùn)練現(xiàn)在發(fā)生在筆記本電腦和其他個人計算機上，但更多設(shè)備可能開始記錄數(shù)據(jù)并在現(xiàn)場培訓(xùn)中發(fā)揮作用。例如，在石油和天然氣勘探期間，使用的鉆頭會生成與油井地質(zhì)特征相關(guān)的數(shù)據(jù)，可用于訓(xùn)練模型。對于加速器，培訓(xùn)市場目前在CPU和ASIC之間平均分配。然而，在未來，我們預(yù)計內(nèi)置在芯片系統(tǒng)的ASIC將占需求的70%。 FPGA將占需求的約20%，并將用于需要大量定制的應(yīng)用程序。

在推理方面，大多數(shù)邊緣設(shè)備現(xiàn)在都依賴于CPU或ASIC，以及一些應(yīng)用程序，例如需要GPU的自動駕駛汽車。到2025年，我們預(yù)計ASIC將占邊緣推理市場的70%左右，GPU占20%。

內(nèi)存

AI應(yīng)用程序具有高內(nèi)存帶寬要求，因為深度神經(jīng)網(wǎng)絡(luò)中的計算層必須盡快將輸入數(shù)據(jù)傳遞到數(shù)千個內(nèi)核。需要內(nèi)存 - 通常是動態(tài)隨機存取存儲器(DRAM) - 存儲輸入數(shù)據(jù)、權(quán)重模型參數(shù)，并在推理和訓(xùn)練期間執(zhí)行其他功能?？紤]一個被訓(xùn)練的模型來識別貓的形象。識別過程中的所有中間結(jié)果 - 例如顏色、輪廓、紋理 - 需要存儲在內(nèi)存中，因為模型會對其算法進(jìn)行微調(diào)。鑒于這些要求，AI將為內(nèi)存市場創(chuàng)造一個強大的機會，其價值預(yù)計將從2017年的64億美元增加到2025年的120億美元。

也就是說，由于算法設(shè)計的效率，例如略微降低的精度，以及行業(yè)放松中的容量限制，內(nèi)存將看到三個加速器類別的最低年增長率，大約5%到10%。

大多數(shù)短期內(nèi)存增長將來自數(shù)據(jù)中心對運行AI、ML和DL算法所需的高帶寬DRAM的需求增加。但隨著時間的推移，對邊緣AI內(nèi)存的需求將會增加，例如，聯(lián)網(wǎng)汽車可能需要更多的DRAM。

當(dāng)前內(nèi)存通常針對CPU進(jìn)行了優(yōu)化，但開發(fā)人員現(xiàn)在正在探索新的體系結(jié)構(gòu)。吸引更多興趣的解決方案包括：

高帶寬內(nèi)存(HBM)。該技術(shù)允許AI應(yīng)用程序以最大速度處理大型數(shù)據(jù)集，同時最小化功率要求。它允許DL計算處理器通過稱為硅通孔(TSV)的快速連接訪問三維存儲器堆棧。谷歌和英偉達(dá)等AI芯片領(lǐng)導(dǎo)者已采用HBM作為首選內(nèi)存解決方案，盡管它的成本是傳統(tǒng)DRAM每千兆字節(jié)的三倍，此舉表明其客戶愿意為昂貴的AI硬件付費以換取性能提升。

片上存儲器。對于DL計算處理器，在DRAM或其他外部存儲器源中存儲和訪問數(shù)據(jù)所花費的時間，比同一芯片上的存儲器多100倍。當(dāng)谷歌設(shè)計張量處理單元(TPU)，一個專門用于AI的ASIC時，它包含足夠的內(nèi)存來存儲芯片上的整個模型。Graphcore等初創(chuàng)公司也在增加片上存儲容量，通過一種能最大限度提高人工智能計算速度的新架構(gòu)，將其提升到普通GPU的1000倍左右。對于大多數(shù)應(yīng)用而言，片上存儲器的成本仍然過高，芯片設(shè)計人員必須應(yīng)對這一挑戰(zhàn)。

存儲

AI應(yīng)用程序生成大量數(shù)據(jù) - 每年大約80EB，預(yù)計到2025年將增加到845EB。此外，開發(fā)人員現(xiàn)在在AI和DL培訓(xùn)中使用更多數(shù)據(jù)，這也增加了存儲需求。這些轉(zhuǎn)變可能導(dǎo)致從2017年到2025年每年增長25%至30%，這是我們調(diào)查的所有領(lǐng)域中最高的增長率。作為回應(yīng)，制造商將增加存儲加速器的產(chǎn)量，價格取決于供應(yīng)與需求的同步。

不同于傳統(tǒng)存儲解決方案傾向于在不同的用例中采用一刀切的方法，AI解決方案必須適應(yīng)不斷變化的需求，而這些解決方案取決于應(yīng)用程序是用于培訓(xùn)還是推理。例如，AI培訓(xùn)系統(tǒng)在改進(jìn)算法時必須存儲大量數(shù)據(jù)，但AI推理系統(tǒng)僅存儲可能在將來培訓(xùn)中有用的輸入數(shù)據(jù)?？傮w而言，AI培訓(xùn)的存儲需求高于推理。

存儲的一個潛在顛覆是新形式的非易失性存儲器(NVM)。新形式的NVM具有介于傳統(tǒng)存儲器(如DRAM)和傳統(tǒng)存儲(如NAND閃存)之間的特性。它們承諾比DRAM更高的密度，比NAND更好的性能，以及比兩者更好的功耗。這些特性將支持新應(yīng)用，并允許NVM替代其他應(yīng)用中的DRAM和NAND。這些形式的NVM目前市場規(guī)模很小，未來兩年的收入約為10億至20億美元，但預(yù)計到2025年其收入將超過100億美元。

NMV類別包括多種技術(shù)，所有這些技術(shù)在存儲器訪問時間和成本方面都不同，并且都處于不同階段。磁阻隨機存取存儲器(MRAM)具有最低的讀寫延遲，具有超過五年的數(shù)據(jù)保留和出色的耐用性。但是，它的容量擴展是有限的，使其成為一種昂貴的替代方案，可用于頻繁訪問的緩存而不是長期數(shù)據(jù)保留解決方案。電阻式隨機存取存儲器(ReRAM)可能會垂直擴展，使其在擴展和成本方面具有優(yōu)勢，但它具有更慢的延遲和更低的耐用性。相變存儲器(PCM)適合兩者之間，3D XPoint是最著名的例子。在更廣泛采用之前，耐久性和錯誤率將是必須克服的關(guān)鍵障礙。

網(wǎng)絡(luò)

AI應(yīng)用程序在培訓(xùn)期間需要許多服務(wù)器，并且數(shù)量會隨著時間而增加例如，開發(fā)人員只需要一臺服務(wù)器來構(gòu)建初始AI模型，需要不到100臺服務(wù)器來改進(jìn)其結(jié)構(gòu)。但是使用真實數(shù)據(jù)進(jìn)行培訓(xùn)——邏輯上的下一步——可能需要幾百個。自動駕駛模式要求超過140臺服務(wù)器在檢測障礙物時達(dá)到97%的準(zhǔn)確率。

如果連接服務(wù)器的網(wǎng)絡(luò)速度很慢(通常是這種情況)，它將導(dǎo)致培訓(xùn)瓶頸。盡管目前大多數(shù)提高網(wǎng)絡(luò)速度的策略都涉及數(shù)據(jù)中心硬件，但開發(fā)人員正在研究其他選項，包括可以將數(shù)據(jù)路由到不同方向的可編程交換機。此功能將加速最重要的培訓(xùn)任務(wù)之一：無論何時更新模型參數(shù)，都需要在多個服務(wù)器之間重新同步輸入權(quán)重。使用可編程開關(guān)，幾乎可以立即進(jìn)行重新同步，這可以將訓(xùn)練速度提高2到10倍。最大的性能提升將來自使用最多服務(wù)器的大型AI模型。

改善網(wǎng)絡(luò)的另一個選擇是在服務(wù)器中使用高速互連。這項技術(shù)可以使性能提高三倍，但它的價格也要高出約35%。

半導(dǎo)體公司需要針對AI市場的新戰(zhàn)略

很明顯，機會無處不在，但半導(dǎo)體公司并不能保證成功。為了獲取他們應(yīng)得的價值，他們需要專注于針對特定行業(yè)的端到端解決方案(也稱為微垂直解決方案)、生態(tài)系統(tǒng)開發(fā)，以及遠(yuǎn)遠(yuǎn)超出改進(jìn)計算、內(nèi)存和網(wǎng)絡(luò)技術(shù)的創(chuàng)新。

客戶將重視微垂直的端到端解決方案，從而獲得強大的投資回報

AI硬件解決方案僅在與技術(shù)堆棧的所有其他層兼容時才有用，包括服務(wù)層中的解決方案和用例。半導(dǎo)體公司可以采取兩條途徑來實現(xiàn)這一目標(biāo)，還有一些已經(jīng)開始這樣做了。首先，他們可以與合作伙伴合作開發(fā)用于行業(yè)特定用例(例如石油和天然氣勘探)的AI硬件，以創(chuàng)建端到端解決方案。例如，Mythic開發(fā)了一種ASIC，以支持醫(yī)療保健和軍事行業(yè)中圖像和語音識別應(yīng)用的邊緣推斷?；蛘?，半導(dǎo)體公司可以專注于開發(fā)人工智能硬件，以實現(xiàn)廣泛的跨行業(yè)解決方案，就像英偉達(dá)開發(fā)GPU一樣。

所采用的路徑將因細(xì)分行業(yè)而異。對于內(nèi)存和存儲播放器，解決方案往往在微觀垂直上具有相同的技術(shù)要求。相比之下，在計算中，AI算法要求可能會有很大差異。自動駕駛汽車中的邊緣加速器必須處理依賴于云的語言翻譯應(yīng)用程序的大量不同數(shù)據(jù)。在這種情況下，公司不能依賴其他參與者來構(gòu)建與其硬件兼容的堆棧的其他層。

積極參與生態(tài)系統(tǒng)對成功至關(guān)重要

半導(dǎo)體公司需要創(chuàng)建一個軟件開發(fā)者生態(tài)系統(tǒng)，通過提供具有廣泛吸引力的產(chǎn)品來選擇他們的硬件。作為回報，他們將對設(shè)計選擇產(chǎn)生更大的影響。例如，喜歡某種硬件的開發(fā)人員將在構(gòu)建應(yīng)用程序時將其作為起點。然后他們將尋找與其兼容的其他組件。

為了幫助將軟件開發(fā)人員納入其生態(tài)系統(tǒng)，半導(dǎo)體公司應(yīng)盡可能降低復(fù)雜性。由于現(xiàn)在有比以往更多類型的AI硬件，包括新的加速器，參與者應(yīng)該提供簡單的界面和軟件平臺功能。例如，英偉達(dá)為開發(fā)人員提供計算統(tǒng)一設(shè)備架構(gòu)，一種可與多種編程語言協(xié)同工作的并行計算平臺和應(yīng)用程序編程接口(API)。它允許軟件開發(fā)人員使用支持統(tǒng)一計算設(shè)備架構(gòu)的GPU進(jìn)行通用處理。

在具有重要戰(zhàn)略意義的行業(yè)領(lǐng)域，英偉達(dá)還提供定制的軟件開發(fā)套件。例如，為了幫助開發(fā)自動駕駛汽車的軟件，英偉達(dá)創(chuàng)建了DriveWorks，這是一個帶有現(xiàn)成軟件工具的套件，包括對象檢測庫，可以幫助應(yīng)用程序解釋汽車自動駕駛時攝像頭和傳感器的數(shù)據(jù)。

隨著開發(fā)人員社區(qū)對某些硬件架構(gòu)的偏好不斷增強，半導(dǎo)體公司的知名度將大幅提升，從而獲得更好的品牌認(rèn)知度。他們還將看到更高的采用率和更高的客戶忠誠度，從而產(chǎn)生持久的價值。

只有為最終用戶增加真正價值的平臺才能與大型高科技參與者的綜合產(chǎn)品競爭，例如谷歌的TensorFlow，ML和DL模型和算法的開源庫。 TensorFlow支持谷歌的核心產(chǎn)品，如谷歌翻譯，也有助于公司鞏固其在AI技術(shù)堆棧中的地位，因為TensorFlow兼容多個計算加速器

創(chuàng)新至關(guān)重要，參與者必須奮力一搏

許多想要啟用AI創(chuàng)新的硬件廠商專注于改進(jìn)計算過程。傳統(tǒng)上，該策略涉及通過內(nèi)存、存儲和網(wǎng)絡(luò)創(chuàng)新提供優(yōu)化的計算加速器或簡化計算和數(shù)據(jù)之間的路徑。但是硬件參與者應(yīng)該跨越這些步驟，并通過升級來尋求其他形式的創(chuàng)新。例如，智能手機上用于安全認(rèn)證的基于人工智能的面部識別系統(tǒng)，是由專用軟件和三維傳感器實現(xiàn)，該三維傳感器投射數(shù)千個不可見的點以捕獲用戶臉部的幾何圖。由于這些點比攝像機的數(shù)百萬像素更容易處理，因此這些認(rèn)證系統(tǒng)只需幾分之一秒即可完成，并且不會干擾用戶體驗。硬件公司還可以考慮傳感器或其他創(chuàng)新技術(shù)如何實現(xiàn)新興的AI用例。

半導(dǎo)體公司現(xiàn)在必須明確自己的人工智能戰(zhàn)略

在人工智能領(lǐng)域率先行動的半導(dǎo)體公司將更有可能吸引并留住客戶和生態(tài)系統(tǒng)合作伙伴，這可能會阻止后來者在市場上取得領(lǐng)先地位。隨著主要的科技公司和初創(chuàng)企業(yè)現(xiàn)在都在人工智能硬件領(lǐng)域展開獨立努力，未來幾年，押注的機會窗口將迅速縮小?，F(xiàn)在要制定一個強有力的戰(zhàn)略，他們應(yīng)該關(guān)注三個問題:

在哪里大展拳腳?制定重點戰(zhàn)略的第一步涉及確定目標(biāo)行業(yè)微觀垂直市場和人工智能用例。在最基本的層面上，這包括評估不同垂直領(lǐng)域的機會大小，以及AI解決方案可以消除的特定痛點。在技術(shù)方面，公司應(yīng)該決定是將重點放在數(shù)據(jù)中心的硬件上，還是放在邊緣。

怎么行動?在向市場推出新的解決方案時，半導(dǎo)體公司應(yīng)采用合作伙伴的思維模式，因為他們可能通過與特定行業(yè)的老牌企業(yè)合作獲得競爭優(yōu)勢。他們還應(yīng)該確定哪種組織結(jié)構(gòu)最適合他們的業(yè)務(wù)。在某些情況下，他們可能希望為所有行業(yè)創(chuàng)建專注于某些功能(如R&D)的組?；蛘?，他們可以讓團(tuán)隊專門選擇微垂直領(lǐng)域，讓他們發(fā)展專業(yè)技能。

什么時候行動?許多公司可能會試圖進(jìn)入AI市場，但跟風(fēng)的成本很高，尤其是DL應(yīng)用程序。此外，隨著行業(yè)采用特定的AI標(biāo)準(zhǔn)并期望所有參與者都遵守這些標(biāo)準(zhǔn)，進(jìn)入壁壘將會增加。雖然快速進(jìn)入可能是某些公司的最佳方法，但其他公司可能希望采取更加謹(jǐn)慎的方法，即隨著時間的推移慢慢增加對特定微觀領(lǐng)域的投資。

AI和DL革命為半導(dǎo)體行業(yè)提供了幾十年來創(chuàng)造價值的最佳機會。 硬件可以成為決定先進(jìn)應(yīng)用是否進(jìn)入市場并引起關(guān)注的差異化因素。 隨著人工智能的發(fā)展，硬件需求將轉(zhuǎn)變?yōu)橛嬎恪?nèi)存、存儲和網(wǎng)絡(luò)，這將轉(zhuǎn)化為不同的需求模式。 最好的半導(dǎo)體公司將了解這些趨勢并追求創(chuàng)新，幫助將AI硬件提升到一個新的水平。 除了有利于他們的盈利外，他們還將成為人工智能應(yīng)用改變世界的驅(qū)動力。