摘要：智東西（公眾號(hào)：zhidxcom）作者 | 溫淑編輯 | 漠影智東西12月3日消息，擁有超7900萬用戶的日本移動(dòng)運(yùn)營(yíng)商N(yùn)TT Docomo，正在開發(fā)圖像識(shí)別解決方案等創(chuàng)新的AI驅(qū)動(dòng)應(yīng)用。這套AI解決方案的核心，正是NVIDIA推出的工作組...

智東西（公眾號(hào)：zhidxcom）

作者 | 溫淑

編輯 | 漠影

智東西12月3日消息，擁有超7900萬用戶的日本移動(dòng)運(yùn)營(yíng)商N(yùn)TT Docomo，正在開發(fā)圖像識(shí)別解決方案等創(chuàng)新的AI驅(qū)動(dòng)應(yīng)用。這套AI解決方案的核心，正是NVIDIA推出的工作組服務(wù)器NVIDIA DGX Station。

繼2017年發(fā)布的NVIDIA DGX Station V100后，在11月16日舉行的2020年超級(jí)計(jì)算大會(huì)（SC20）上，NVIDIA發(fā)布最新工作組服務(wù)器NVIDIA DGX Station A100，有望為全球AI和大數(shù)據(jù)科學(xué)應(yīng)用提供更加強(qiáng)勁的AI性能支持。

作為NVIDIA最新一代DGX Station產(chǎn)品，NVIDIA DGX Station A100亦是全球唯一一臺(tái)千萬億級(jí)工作組服務(wù)器。

DGX Station A100算力可達(dá)2.5 petaFLOPS、提供高達(dá)320GB內(nèi)存、最多支持28個(gè)獨(dú)立GPU實(shí)例運(yùn)行并行任務(wù)。

不僅如此，NVIDIA DGX Station A100無需專門的數(shù)據(jù)中心環(huán)境，可支持多用戶、異地完成AI工作負(fù)載處理。

超高性能背后，NVIDIA是怎樣做到的？NVIDIA DGX Station A100又將為AI和大數(shù)據(jù)科學(xué)應(yīng)用帶來怎樣的改變？今天，智東西與你一起，走進(jìn)NVIDIA DGX Station A100背后的黑科技。

NVIDIA DGX Station A100

一、可以塞在辦公桌下的工作組服務(wù)器

目前，工業(yè)生產(chǎn)、金融、教育、科研等各個(gè)領(lǐng)域的數(shù)據(jù)科學(xué)團(tuán)隊(duì)對(duì)DLRM、GPT-3等復(fù)雜大數(shù)據(jù)模型的應(yīng)用日益增多。

在這背后，全球數(shù)據(jù)信息總量已趨海量、各個(gè)行業(yè)領(lǐng)域智能化轉(zhuǎn)型需求日益凸顯，呼喚著AI基礎(chǔ)設(shè)施提供更高的算力。

基于上述需求，支持多用戶的數(shù)據(jù)中心服務(wù)器似乎成為數(shù)據(jù)科學(xué)團(tuán)隊(duì)的“標(biāo)配”。但是，數(shù)據(jù)中心在滿足數(shù)據(jù)科學(xué)團(tuán)隊(duì)對(duì)算力需求的同時(shí)，帶來了新的問題。

首先，數(shù)據(jù)中心服務(wù)器對(duì)電力設(shè)置、冷卻設(shè)施要求較高，在運(yùn)行時(shí)噪音較大，因此，數(shù)據(jù)中心服務(wù)器通常需要部署在專門的環(huán)境中，難以滿足數(shù)據(jù)科學(xué)團(tuán)隊(duì)多人分布式辦公的需求。

據(jù)NVIDIA方面分享，針對(duì)上述痛點(diǎn)，NVIDIA推出的DGX Station工作組服務(wù)器，可提供高達(dá)2.5 petaFLOPS的算力、高達(dá)320GB的超大內(nèi)存，在滿足多用戶使用需求的前提下，還能為AI基礎(chǔ)設(shè)施部署“減負(fù)”，使用戶在辦公環(huán)境中處理大流量數(shù)據(jù)工作負(fù)載。

具體來說，相比數(shù)據(jù)中心服務(wù)器，DGX Station A100具備工作噪音小、無需配備數(shù)據(jù)中心級(jí)電源、無需專門的散熱系統(tǒng)等優(yōu)勢(shì)。

我們了解到，DGX Station A100的最大耗電量為1.5kW，因此可被部署于世界各地的標(biāo)準(zhǔn)辦公環(huán)境。

另外，DGX Station A100的運(yùn)行溫度在5～35°C之間，并采用一種全新定制的泵制冷劑兩相冷卻系統(tǒng)，操作更為簡(jiǎn)便。

泵制冷劑兩相冷卻系統(tǒng)是一個(gè)封閉的免維護(hù)系統(tǒng)，其無毒、不易燃、不冷凝。在單個(gè)回路中，制冷系統(tǒng)通過制冷劑的流動(dòng)，同時(shí)冷卻中央處理器，以及串聯(lián)起來的四個(gè)GPU。

相比之下，上一代DGX Station采用水冷式設(shè)計(jì)，需要工作人員定期檢查水位。

不僅如此，相比于OEM（代工生產(chǎn)）廠商提供的工作站產(chǎn)品，DGX Station A100建立在服務(wù)器級(jí)架構(gòu)上，該架構(gòu)采用與服務(wù)器級(jí)產(chǎn)品相同的組件。在能支持大型數(shù)據(jù)科學(xué)團(tuán)隊(duì)工作的前提下，DGX Station A100不需要數(shù)據(jù)中心托管系統(tǒng)。

二、四個(gè)A100 GPU完全互連，最多提供28個(gè)獨(dú)立GPU實(shí)例

基于上述特點(diǎn)，NVIDIA DGX Station系統(tǒng)可滿足工業(yè)、科研、金融、教育等各個(gè)領(lǐng)域的大數(shù)據(jù)科學(xué)團(tuán)隊(duì)，以多用戶、異地模式處理AI工作負(fù)載。

以德國(guó)人工智能研究中心為例，該研究中心正借助DGX Station構(gòu)建能夠應(yīng)對(duì)重大社會(huì)和行業(yè)挑戰(zhàn)的AI模型，其中包括能夠幫助緊急服務(wù)快速響應(yīng)自然災(zāi)害的計(jì)算機(jī)視覺系統(tǒng)。

在DGX Station A100提供的超強(qiáng)性能背后，NVIDIA為其賦予了怎樣的設(shè)計(jì)巧思？我們了解到，DGX Station A100搭載NVIDIA A100 GPU，并采用NVIDIA NVLink等先進(jìn)技術(shù)，通過軟硬件協(xié)同為大數(shù)據(jù)級(jí)AI應(yīng)用賦能。

1、配備四組A100 40GB GPU或A100 80GB GPU

NVIDIA DGX Station A100配備四組NVIDIA A100 40 GB GPU或A100 80GB GPU，可提供高達(dá)320GB的超大內(nèi)存。

A100 80GB GPU與NVIDIA DGX Station A100同日發(fā)布，在延續(xù)A100 40GB GPU超強(qiáng)計(jì)算性能的同時(shí)，內(nèi)存容量實(shí)現(xiàn)翻倍。

此外，NVIDIA A100 80GB GPU內(nèi)存帶寬達(dá)到2TB/s，相比A100 40GB GPU提升約29%。

NVIDIA A100 80GB GPU

2、通過NVIDIA NVLink技術(shù)使四個(gè)A100 GPU互連

相較于上一代互連技術(shù)，可使GPU之間通信帶寬增加至原來的兩倍，將數(shù)據(jù)密集型工作負(fù)載的GPU數(shù)據(jù)傳輸速度提高至每秒600GB。

通過NVIDIA NVLink技術(shù)，NVIDIA DGX Station A100可實(shí)現(xiàn)4個(gè)NVIDIA A100 40GB或A100 80GB GPU完全互連。

3、支持NVIDIA 多實(shí)例GPU（MIG）技術(shù)

MIG技術(shù)可將一個(gè)A100 GPU分割成多達(dá)7個(gè)獨(dú)立的GPU實(shí)例，從而為不同大小的任務(wù)提供不同程度的計(jì)算，提高利用率和投資回報(bào)。

DGX Station A100是目前唯一支持MIG技術(shù)的工作組服務(wù)器。單一DGX Station A100最多可提供28個(gè)獨(dú)立GPU實(shí)例以運(yùn)行并行任務(wù)，并在不影響系統(tǒng)性能的前提下支持多用戶。

三、算力高達(dá)2.5 petaFLOPS，為復(fù)雜AI推理模型提速四倍

與NVIDIA于2017年推出的第一代NVIDIA Station產(chǎn)品對(duì)比，NVIDIA Station A100的算力提升了四倍。

具體來說，NVIDIA Station V100能夠提供500 teraFLOPS的AI性能，相比之下，NVIDIA Station A100能提供高達(dá)2.5 petaFLOPS的AI性能。

基于2.5 petaFLOPS的強(qiáng)勁性能，在實(shí)際應(yīng)用中，相比NVIDIA DGX Station A100，DGX Station A100能夠助力復(fù)雜AI模型提速。

根據(jù)NVIDIA官方數(shù)據(jù)，針對(duì)BERT Large推理等復(fù)雜的對(duì)話式AI模型，DGX Station A100比上一代DGX Station提速約4.35倍；對(duì)于BERT Large AI訓(xùn)練，DGX Station A100比上一代產(chǎn)品提速約2.75倍；對(duì)于GROMACS科研應(yīng)用（一套分子動(dòng)力學(xué)模擬程序包，主要用來模擬研究蛋白質(zhì)、脂質(zhì)、核酸等生物分子的性質(zhì)），DGX Station A100比上一代產(chǎn)品提速約1.85倍。

我們了解到，目前，DGX Station V100的客戶中，包含美國(guó)排名前列的七家醫(yī)院、全球排名前六的汽車制造企業(yè)、美國(guó)排名前六的政府機(jī)構(gòu)，以及十家全球領(lǐng)先的航空和國(guó)防企業(yè)。

NVIDIA副總裁兼DGX系統(tǒng)總經(jīng)理Charlie Boyle認(rèn)為，DGX Station A100將進(jìn)一步為數(shù)據(jù)科學(xué)和AI研究團(tuán)隊(duì)簡(jiǎn)化研究過程。

“數(shù)據(jù)科學(xué)和AI研究團(tuán)隊(duì)可以使用與NVIDIA DGX A100系統(tǒng)相同的軟件堆棧加速他們的工作，使其能夠輕松地從開發(fā)走向部署?！彼f。

結(jié)語：為全球AI及大數(shù)據(jù)應(yīng)用“減負(fù)”

互聯(lián)網(wǎng)應(yīng)用中，各類數(shù)據(jù)以指數(shù)級(jí)增長(zhǎng)，日益對(duì)AI算力提出更高需求。特別是生物醫(yī)藥、材料分析等特定領(lǐng)域中的AI應(yīng)用，更呼喚在內(nèi)存、算力等各個(gè)方面進(jìn)行提升。

在這一背景下，數(shù)據(jù)中心服務(wù)器成為金融、工業(yè)生產(chǎn)、教育、科研應(yīng)用等各個(gè)領(lǐng)域的硬件標(biāo)配。但同時(shí)，數(shù)據(jù)中心服務(wù)器對(duì)工作環(huán)境電力、溫度、部署成本等方面的要求，成為大數(shù)據(jù)科學(xué)團(tuán)隊(duì)進(jìn)行分布式工作的一道“攔路虎”。

這一背景下，NVIDIA于11月推出的工作組服務(wù)器NVIDIA DGX Station A100在滿足各領(lǐng)域AI及大數(shù)據(jù)應(yīng)用對(duì)算力、內(nèi)存需求的同時(shí)，將AI基礎(chǔ)設(shè)施部署及應(yīng)用的門檻降低。

12月7日，智東西公開課邀來NVIDIA技術(shù)專家，對(duì)NVIDIA DGX Station A100進(jìn)行全面解讀，敬請(qǐng)關(guān)注。

今年12月15～19日，NVIDIA將舉辦GTC中國(guó)線上大會(huì)，解讀NVIDIA在AI技術(shù)方面的諸多創(chuàng)新及AI賦能各行各業(yè)。目前大會(huì)已開放免費(fèi)注冊(cè)，觀看主題演講還將有機(jī)會(huì)贏得 GeForce RTX 3070 顯卡！所有福利僅限注冊(cè)用戶！掃描下方海報(bào)二維碼免費(fèi)注冊(cè)報(bào)名。