網路晶片架構的新改變
來源：本文由 公眾號 半導體行業觀察（ID：icbank）翻譯自「Semiconductor Engineering」，謝謝。
新的資料流、更高的交換機密度和IP整合會在整個設計流程中造成問題。
雲資料中心改變了網路拓撲結構以及資料在大型資料中心內的移動方式，促使用於路由資料的晶片架構發生重大變化，並帶來了一系列全新的設計挑戰。
雲端計算已經成為資料中心市場中增長最快的部分。事實上，根據思科全球雲指數預測，未來幾年內，雲端計算將增長三倍，到2021年，雲端計算將佔到所有資料中心流量的95%。這種增長的一個關鍵部分是虛擬化，它允許動態分配計算例項和工作負載，以跟上雲服務的動態特性。
從另一個角度來看，現在超過75%的流量在資料中心中東西向逐個伺服器地流動。這引發了第一組問題，因為傳統的三層網路拓撲結構是針對南北客戶端—伺服器流量進行優化的，因此無法有效處理這類資料流。
為了解決資料流轉移問題，並最大限度地減少延遲和瓶頸，雲資料中心正在轉向葉脊（leaf-spine）拓撲，其中每個葉伺服器可以通過脊進行單跳（single hop），訪問其他葉伺服器。
來源：Cadence Design Systems
Cadence Design Systems介面IP高階產品營銷經理Muthukumar Vairavan表示：“在葉脊拓撲結構中，每片葉都要連線到每個脊開關。因此，可以支援的主機數量以及網路頻寬擴充套件現在變成了交換機裝置埠數量和每個埠頻寬的函式。交換機的頻寬主要取決於交換機ASIC和可安裝在單個機架單元中的光學模組數量。”
目前，最先進的交換機ASIC擁有多達256條PAM-4 SerDes通道，每條通道的執行速度為56Gbps，總頻寬為12.8Tbps。Vairavan表示：“總的來說，這種交換機最多可以支援32個埠400GbE（8條線路，每條56Gbps）。但是，隨著超大規模資料中心對頻寬的需求不斷增加，交換機廠商希望將晶片頻寬提高一倍，達到25.6Tbps。傳統上，這是通過將SerDes通道速度加倍來實現的，而光學網際互聯論壇（OIF）正致力於定義112Gbps SerDes規範，以實現這一目標。”
在這樣的速度下所面臨的挑戰是，通道損耗非常高，而且SerDes需要很多均衡。採用先進的DSP技術對訊號進行恢復，這可能導致顯著的功耗。Vairavan建議，為了解決這個問題，平臺設計需要轉向更好的PCB材料，使用有源電纜和重定時器，以保持在這樣的速度下通道損耗可控。“另一項新興技術是板載光學（OBO），光學晶片靠近電路板上的交換機ASIC放置，因此減少了電子通道。 通過將光學元件從面板移走，OBO還可以提供更好的密度和冷卻效果。OIF指定了許多類別的SerDes規範，如Long-Reach，Medium-Reach，Short-Reach等，以便對特定的交換機配置進行正確的SerDes效能/功率權衡。”
雖然構建其中一個晶片需要許多IP，但有四個專案通常會引發討論——SerDes、HBM PHY、網路級片上儲存器，以及TCAM（內容可定址儲存器）。
eSilicon公司營銷副總裁Mike Gianfagna表示：“SerDes需要實現高速片外通訊。HBM PHY需要將2.5D封裝的HBM堆疊記憶體連線到ASIC上。網路級片上儲存器就像雙埠和偽雙埠儲存器一樣，針對極高速度進行了優化，TCAM用於實現高效的網路資料包路由。”
Gianfagna指出，IP問題還有另外兩個方面。“首先，經過晶片驗證的高質量IP非常重要，但還不夠。還必須驗證IP可以協同工作。諸如可測試性策略、操作點和金屬疊層之類的東西——這種相容性大大降低了整合風險。其次，IP必須在考慮最終應用的情況下進行配置。 其中包括編譯記憶體和TCAM等內容，以支援SerDes的不同配置要求和可程式設計效能。”
位置，位置，位置
然而，沒有一種方法可以適用於所有情況。一個系統公司想要從它的IP供應商那裡得到什麼晶片取決於晶片的設計應用。
Synopsys公司高速SerDes產品營銷經理Manmeet Walia表示：“有多種方法看待這個問題。首先，你要在更廣泛的層面上認清楚你所服務的市場是什麼，無論是企業、校園、資料中心（現在被稱為超大規模資料中心），還是電信基礎設施。如果把它們按規模排列，那麼企業要排在第一位，它們是較小的資料中心。然後是雲提供商——谷歌、facebook、亞馬遜——這就是所謂的超大規模資料中心。最後是服務提供商，如ATT等。根據你所服務的物件，三種規模的需求各不相同。”
第二個因素涉及到這些公司所需要的具體功能。Walia表示：“無論是CPU晶片組、GPU、加速器、介面卡卡、交換機、儲存陣列還是安全系統，根據它們的功能，又會出現不同的要求。第三，從PHY的角度來看，它們在系統中的位置很重要，無論是在刀鋒伺服器卡內，還是在中間卡上，或是在交換機架的頂部。所以它們的位置決定了它們的需求。市場整體上非常分散，因為它變得越來越複雜。”
Walia說，除此之外，還有一群開發人員在談論晶片，因為它們被逼到了晶片裸片尺寸或光罩的邊緣。“他們現在想要進入chiplets，我們正在從那些想要做所謂的USR（超短距離）SerDes的客戶那裡獲得需求。這是另一個需要解決的市場。”
今天，大多數網路設計活動都在雲端，其中大部分都是由AI和機器學習應用驅動的。Walia表示：“有趣的是，所有網路公司現在都在嘗試遵循垂直整合模式，他們甚至在嘗試自己製作晶片組。無論是中國的阿里巴巴、騰訊、百度，還是美國的Facebook、谷歌，都在嘗試自己的AI晶片組。他們不想使用商業晶片。因此，至少從IP的角度來看，我們的業務指標不是晶片量。更多的是從設計開始的，當然，我們在此處看到了雲端計算驅動了我們大部分IP業務。”
西門子Mentor事業部IP部門總經理Farzad Zarrinfar對此表示贊同：“基本的處理器並沒有達到要求，所以我們看到主要的OEM、搜尋領導者、遊戲領導者和通訊領導者都在開發他們自己的ASIC。顯然，這些ASIC很多取決於應用。如果它是資料中心應用，或是某種汽車應用，亦或物聯網應用，我們就會看到很多構建模組。例如，如果你觀察一個三層千兆交換機，那麼你就會發現1千兆位和10千兆位MAC（媒體訪問控制器）。有些人在晶片內部加入了ASIC、收發器、SerDes和PHY，以進一步提高整合度，並最大限度地降低成本。有些人希望基於自己的架構來保持它。他們使PHY和SerDes具有更大的幾何形狀，並且在晶片外使用它們，他們將更大的幾何結構用於SerDes。然後，在純數字部分，他們將工藝推進到10nm和7nm，甚至可以降至5nm finFET技術。”
Walia說，這種模式在過去幾年中迅速出現。最初，這些公司開發低端應用，比如攝像頭，但現在他們正在轉向高階資料中心，並完成越來越多的工作。
對於AI / ML應用而言，晶片主要是許多帶有ARM 64位處理器的SerDes。Walia表示：“這是一組ARM高階處理器，周圍是SerDes。它們通過SerDes使這些核心能夠以非常快的速度互相通訊，然後這些SerDes也以盒子對盒子的方式與其他類似的裝置通訊。從本質上講，它是一個輸入和一個輸出，但它們之間發生的是一個指令集，允許它們在一段時間內通過可重複性，以及讀取人類行為或其他資料來接受訓練，所以它允許自我程式設計，允許在一段時間內學習，這就是它們需要強大處理能力的原因。”
網路設計的另一個方面涉及密度要求。Walia表示：“如今，這些都轉化為整合的挑戰。整合變得越來越重要，我們一直在與想要整合多達300條SerDes通道（某些情況下甚至達到500條）的客戶進行交流，這要求我們作為IP供應商為他們提供很多服務，以便他們可以整合這些SerDes。這個區域需要非常小，即前端需要非常窄，以便沿著PHY的邊緣放置越來越多的SerDes。另外，我們現在需要在兩個方向上都有PHY，以便設計團隊能夠最舒服地將它們放入晶片的所有四個側面。這是因為在28nm以下，臺積電不允許我們翻轉多邊形方向。但這意味著我們必須有兩個不同的設計和兩個不同的佈局，以便他們可以有效地將這些SerDes放在四個側面。除此之外，我們還必須允許它們在內部有多個層次——基本上要在IP內部包含兩級、三級深度的SerDes。”
與此同時，Walia指出，OEM正在越來越多地採用封裝凸點技術（packaging bump technology），而不是採用標準的C4凸點（C4 bumps）。“很可能他們正在使用插入式方法（interposer-type），所以他們需要更寬，並且凸點可能需要有犧牲pad或微凸點技術（microbump technology）。從本質上講，需要大量的凸點定製以及許多後端服務。你如何把所有這些東西放在一起？如何把所有這些訊號帶到封裝基板上？如何把它們放入SoC？如何以1GB /秒或類似的速度進行時序收斂？所有這些都是巨大的挑戰，所以當我們提供這些IP時，我們必須提供很多關於如何使用它們的指導。過去我們認為，IP非常難以設計，但易於整合。但現在不是這樣了。它們不但很難設計，而且更加難以整合。”
管理IP
如今設計的許多高階網路晶片組和ASIC都以資料中心為目標，其中功耗、效能和麵積都是關鍵因素。它也是晶片製造商最賺錢的領域之一。
ClioSoft公司營銷副總裁Ranjit Adhikary表示：“這就是雲端計算領域正在發生的一切。每個人都想把東西放在雲端，雲端市場正在增長。鑑於此，每個資料中心公司都希望降低成本，因此功耗和可靠性成為非常重要的組成部分。當你討論下一代網路交換機、定義一個平臺時，你需要確保I/O頻寬和記憶體子系統都能夠提供所需的效能。因此，你基本要確保所有IP都可以即插即用。你需要確保它們都有相同的金屬疊層、可靠性要求、工作範圍、控制介面——甚至相同的DFT方法。當你現在談論這些事情的時候，IP管理平臺就變成了一個重要組成部分，因為到頭來你總是希望可以獲得你想要的IP。你想知道引數是什麼，於是下載它，檢視它，從而無需經過一個漫長的週期來確定IP是否有效，或者到處尋找支援資料在哪裡。
找到各種IP區塊並確定它們是否在其他地方被使用至關重要。Adhikary表示：“許多公司將為不同的代工廠提供不同的PDK，設計團隊需要知道IP是否經過代工廠驗證，或者同一公司的其他客戶是否正在使用它。你想知道IP的可靠性。例如，它投入生產了嗎？有什麼問題嗎？最終，問題歸結為文件記錄的功耗、效能和麵積有多好。我們在大多數公司中發現，資訊並不全都集中在一個地方，因此把IP管理系統與文件控制系統聯絡起來變得很重要，這樣每個人都能保持同步，而這僅僅是個開始。”
展望未來
隨著雲服務提供商把25.6Tbps交換機遷移到51.2Tbps，傳統的擴充套件技術似乎不太可能滿足需求。
Walia表示：“交換機ASIC是在先進技術節點上實現的，以利用增加的密度和更低的功率，但正在觸到光罩和產量的極限。一種迅速普及的選擇是晶片分解，大型晶片被分解為可管理的晶片尺寸，然後使用高速、低功耗的封裝內互連技術整合到多晶片模組（MCM）封裝內。另一種選擇是將邏輯晶片和SerDes分開，並將它們放在MCM中。通過轉向封裝內光學，可以獲得51.2Tbps所需的更大的光學密度，所謂封裝內光學是將光學晶片與MCM中的開關ASIC晶片整合到一起，以實現異構系統級封裝（SiP）。然後可以將光纖連到面板或尾纖上。”
交換機ASIC和高速光電互連是雲時代資料中心的支柱。為了滿足這些資料中心頻寬的爆炸性增長，交換機ASIC製造商、光學和互連IP供應商和標準機構需要建立生態系統。未來的解決方案將圍繞異構解決方案展開，這些解決方案將為特定的應用和獨特的資料流量身定製，以滿足新的效能、功耗和可擴充套件需求。