天河二號超級計算機的組成結構
天河2號由16000個節點組成,每個節點有2顆基於Ivy Bridge-E Xeon E5 2692處理器和3個Xeon Phi,累計***有32000顆Ivy Bridge處理器和48000個Xeon Phi,總計有312萬個計算核心。
每個Xeon Phi使用其中的57個核心,而不是使用全部的61個,因為使用61個在運算周期協調方面會有問題,而使用57個核心能夠加速4個執行線程,並且在每個線程單周期可以達成4Gflops的運算量,運行在1.1GHz的Xeon Phi可以生產1.003 Tflops的雙精度運算能力。如果考慮CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2個Ivy Bridge+9個Xeon Phi單個節點可以有3.431 Tflops運算能力,16000個節點總計可達54.9PFlops性能。每個運算節點有256GB主存、而每個Xeon Phi板載8GB內存,因此每個節點***有88GB內存,總計16000個節點壹***有1.404 PB內存,而外部存儲器容量方面更是高達12.4PB.
在每個主板上有2個計算節點,而每個框架則有16個主板,4個框架組成壹個機櫃,整個系統由125個機櫃組成。每個計算節點主板分為兩塊,壹塊CPU壹塊APU,CPU上有4核Ivy Bridge、內存和壹個Xeon Phi協處理器,而APU基板上則承載著5個Xeon Phi協處理器.CPU和APU之間有5個水平插入的鏈接口,由Ivy Bridge內置的PCI-E 2.0進行連接,雖然Ivy Bridge內置為PCI Express 3.0接口,但Xeon Phi僅支持2.0,單個通路為10Gbps帶寬。
計算節點的前端處理器為4096個FT-1500處理器, FT-1500處理器是由國防科技大學為天河1研發,其可以說是天河1項目的最大收獲,其為16核心的Sparc V9架構處理器,在40nm工藝情況下運行頻率為1.8Ghz,峰值性能為144 Gflops/s,功耗為65W,但相比英特爾22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge還是有明顯差距。
天河2互聯方面采用自主研發的 Express-2 內部互聯網絡,其為有13個交換機,而每個交換機有576個端口。連接介質為光電混合。具體控制器是名為NRC的ASIC專用目的集成電路,其采用90nm工藝,封裝尺寸為17.16x17.16 mm,***有2577引腳。單個NRC的吞吐能力為2.56Tbps.而在終端方面網絡接口也采用類似結構的NIC,但規模稍小,為10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式連接,傳輸速率為6.36GB/s.並且在在12000節點的情況下延遲也很低,僅為85us.
而在計算能力方面,使用14336個節點 總計50GB內存進行LINPACK測試,理論性能為49.19Pflops,而實際測試性能為30.65Pflops,效率為62.3%.這個效率並不算高,還有很大優化提升潛力。當然也可能是被Xeon phi僅支持PCI Express 2.0帶寬不足限制。
上面測試使用了16000個節點中的14336個,運用了90%的規模,基本可以代表天河2的整體性能表現。天河2的性能部件(處理器、內存、互聯)整體功耗為17.6MW,而整體的運算能力為30.65PFlops,這樣計算每瓦的性能為1.935Gflops,這個性能/功耗比可以排在超算TOP500的前五,其整體性能/功耗比十分出色。
系統的整體功耗為17.6 MW,並且這個功耗還不包括水冷這樣的散熱系統,如果考慮上整體功耗將高達24MW,廣州國家超算中心將采用城市供水系統構建高散熱效能的冷卻系統,有能力可以提供80KW系統的散熱能力。
天河二號超級計算機系統由170個機櫃組成,包括125個計算機櫃、8個服務機櫃、13個通信機櫃和24個存儲機櫃,占地面積720平方米,內存總容量1400萬億字節,存儲總容量12400萬億字節,最大運行功耗17.8兆瓦。天河二號運算1小時,相當於13億人同時用計算器計算壹千年,其存儲總容量相當於存儲每冊10萬字的圖書600億冊。相比此前排名世界第壹的美國“泰坦”超級計算機,天河二號計算速度是“泰坦”的2倍,計算密度是“泰坦”的2.5倍,能效比相當。與該校此前研制的天河壹號相比,二者占地面積相當,天河二號計算性能和計算密度均提升了10倍以上,能效比提升了2倍,執行相同計算任務的耗電量只有天河壹號的三分之壹。