隨著人工智能和5G網(wǎng)絡(luò)的興起，“喚醒萬(wàn)物，萬(wàn)物互聯(lián)”的時(shí)代已經(jīng)來(lái)臨。計(jì)算量需求的爆發(fā)式增長(zhǎng)無(wú)疑對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求，需要更多的高性能數(shù)據(jù)中心。

數(shù)據(jù)中心承載的網(wǎng)絡(luò)轉(zhuǎn)發(fā)數(shù)據(jù)量越來(lái)越大，建設(shè)高性能網(wǎng)絡(luò)勢(shì)在必行。以往我們將目光都集中在了軟件定義網(wǎng)絡(luò)技術(shù)的普及、100G/400G單端口帶寬的提升等方面的新技術(shù)，而忽略了性能。一個(gè)網(wǎng)絡(luò)的性能高低與每個(gè)環(huán)節(jié)都休戚相關(guān)，并不是簡(jiǎn)單地將網(wǎng)絡(luò)出口由10G換成40G或100G就能改變的，從流量訪問(wèn)一直到應(yīng)用軟件的處理都需要提升，最大的瓶頸在哪里?搞過(guò)網(wǎng)絡(luò)技???????的人都知道，對(duì)于一個(gè)交換機(jī)，其上的端口能做線速轉(zhuǎn)發(fā)是基本要求，但對(duì)于服務(wù)器來(lái)說(shuō)就很困難，一個(gè)1G網(wǎng)卡的服務(wù)器，處理流量能達(dá)到800M就相當(dāng)不錯(cuò)了，這是因?yàn)榉?wù)器收到數(shù)據(jù)流量還要解析(交換機(jī)往往做三層解析就足夠，而且是由專(zhuān)門(mén)芯片來(lái)完成，不消耗CPU資源)，將每個(gè)報(bào)文的內(nèi)容都要解析出來(lái)，然后提供給應(yīng)用層軟件，例如圖1：

圖1：RDMA與TCP/IP技術(shù)對(duì)比圖

圖1中右側(cè)是經(jīng)典的TCP/IP協(xié)議，是數(shù)據(jù)中心內(nèi)部數(shù)據(jù)傳輸網(wǎng)絡(luò)使用的唯一網(wǎng)絡(luò)協(xié)議，分為五層，其中藍(lán)色標(biāo)記的代表硬件部分，紅色標(biāo)記的代表是系統(tǒng)軟件部分，綠色標(biāo)記的代表是應(yīng)用軟件部分。在TCP/IP的網(wǎng)絡(luò)世界里，一個(gè)服務(wù)器網(wǎng)卡接收到一個(gè)數(shù)據(jù)報(bào)文，要經(jīng)過(guò)網(wǎng)絡(luò)層和傳輸層，再送給應(yīng)用層，網(wǎng)絡(luò)和傳輸層就要消耗CPU資源，由CPU來(lái)查詢(xún)內(nèi)存地址，檢驗(yàn)CRC，還????TCP包到應(yīng)用，占用CPU緩存，單位時(shí)間內(nèi)進(jìn)來(lái)的報(bào)文數(shù)量越多，消耗CPU的資源就越多，CPU除了處理數(shù)據(jù)報(bào)文還要運(yùn)行其它的應(yīng)用，CPU并不是完全平穩(wěn)運(yùn)行的，CPU的高低波動(dòng)也會(huì)影響處理報(bào)文的速度，從而影響網(wǎng)絡(luò)傳輸性能。左側(cè)是RDMA技術(shù)，最大的突破是將網(wǎng)絡(luò)層和傳輸層放到了硬件中，服務(wù)器的網(wǎng)卡上來(lái)實(shí)現(xiàn)，數(shù)據(jù)報(bào)文進(jìn)入網(wǎng)卡后，在網(wǎng)卡硬件上就完成四層解析，直接上送到應(yīng)用??????，四層解析CPU無(wú)需干預(yù)，這就是RDMA能帶來(lái)低延時(shí)、高帶寬和低CPU利用率的根本原因，也是RDMA技術(shù)的吸引人之處。利用RDMA技術(shù)，可以將網(wǎng)卡的帶寬利用率大幅提升，一個(gè)擁有1G網(wǎng)卡的服務(wù)器，使用RDMA技術(shù)，應(yīng)用軟件處理的數(shù)據(jù)速度就可以接近1G。服務(wù)器可以將幾乎100%的CPU資源都提供給計(jì)算，降低了CPU在網(wǎng)絡(luò)協(xié)議處理中的占用率，服務(wù)器可以利用這些CPU資源來(lái)做更多計(jì)算或提供其他的服務(wù)，相當(dāng)于增加了虛擬機(jī)數(shù)量，節(jié)省了服務(wù)器資源。

RDMA技術(shù)的全稱(chēng)叫做RemoteDirectMemoryAccess，即遠(yuǎn)程直接數(shù)據(jù)存取，就是為解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過(guò)網(wǎng)卡將數(shù)據(jù)直接傳入服務(wù)器的存儲(chǔ)區(qū)，不對(duì)操作系統(tǒng)造成任何影響，消除了外部存儲(chǔ)器復(fù)制和文本交換操作，解放內(nèi)存帶寬和CPU資源。當(dāng)一個(gè)應(yīng)用執(zhí)行RDMA讀或?qū)懻?qǐng)求時(shí)，不執(zhí)行任何數(shù)據(jù)復(fù)制。在不需要任何內(nèi)核內(nèi)存參與的條件下，RDMA????求從運(yùn)行在用戶(hù)空間中的應(yīng)用中發(fā)送到本地網(wǎng)卡，然后經(jīng)過(guò)網(wǎng)絡(luò)傳送到遠(yuǎn)程服務(wù)器網(wǎng)卡。RDMA最早專(zhuān)屬于Infiniband架構(gòu)，隨著在網(wǎng)絡(luò)融合大趨勢(shì)下出現(xiàn)了RoCE(RDMAoverConvergedEthernet)和iWARP(RDMAoverTCP/IP)，這使高速、超低延時(shí)、極低CPU使用率的RDMA得以部署在目前使用最廣泛的數(shù)據(jù)中心網(wǎng)絡(luò)上。三種技術(shù)都是在網(wǎng)絡(luò)設(shè)備側(cè)實(shí)現(xiàn)，用來(lái)和支持RDMA的網(wǎng)卡進(jìn)行適配，識(shí)別和轉(zhuǎn)發(fā)RDMA報(bào)文。InfiniBand采??Cut-Through轉(zhuǎn)發(fā)模式，減少轉(zhuǎn)發(fā)時(shí)延，基于Credit流控機(jī)制，保證無(wú)丟包。RoCE性能與IB網(wǎng)絡(luò)相當(dāng)，DCB特性保證無(wú)丟包，需要網(wǎng)絡(luò)支持DCB特性，但時(shí)延比IB交換機(jī)時(shí)延稍高一些。iWARP則是利用成熟IP網(wǎng)絡(luò)，繼承RDMA優(yōu)點(diǎn)，但如果采用傳統(tǒng)IP網(wǎng)絡(luò)丟包對(duì)性能影響大。圖2列舉了三種技術(shù)的對(duì)比情況：

圖2：三種RDMA技術(shù)對(duì)比

從圖2中可以看到，IB是低延時(shí)網(wǎng)絡(luò)交換機(jī)的專(zhuān)有技術(shù)，一般延時(shí)可達(dá)到140ns，應(yīng)用程序延時(shí)3μs，比普通網(wǎng)絡(luò)設(shè)備延時(shí)要低一個(gè)量級(jí)，但價(jià)格奇貴，一般是普通網(wǎng)絡(luò)設(shè)備的五到十倍，只有在金融、期貨交易環(huán)境中才會(huì)考慮使用，畢竟全部采用在技術(shù)和成本方面花費(fèi)太高。為了降低應(yīng)用成本，IB組織在IB協(xié)議基礎(chǔ)上增加了適用于以太網(wǎng)的協(xié)議：RoCE和iWARP。使用這兩類(lèi)????議就可以通過(guò)普通的以太網(wǎng)硬件組網(wǎng)。iWARP技術(shù)的主要問(wèn)題在于穩(wěn)定性，一旦網(wǎng)絡(luò)有丟包，性能會(huì)奇差，而iWARP就是基于以太網(wǎng)協(xié)議實(shí)現(xiàn)的，以太網(wǎng)協(xié)議不可能沒(méi)有丟包，這使得iWARP技術(shù)沒(méi)有了應(yīng)用空間。IB性能最好，RoCE則用得最多，RoCE是伴隨著RDMA技術(shù)才普及起來(lái)的，相比于IB技術(shù)，RoCE技術(shù)仍基于以太網(wǎng)實(shí)現(xiàn)，但是增加了丟包控制機(jī)制，確保以太網(wǎng)處于一個(gè)無(wú)丟包的狀態(tài)，雖然延??????IB差些，但部署成本要低得多，而且在這樣的網(wǎng)絡(luò)中，RDMA才是主角，通過(guò)服務(wù)器網(wǎng)卡來(lái)實(shí)現(xiàn)RDMA，網(wǎng)絡(luò)設(shè)備只要通過(guò)RoCE技術(shù)配合實(shí)現(xiàn)就行，關(guān)鍵還是靠RDMA來(lái)降低時(shí)延。

隨著人工智能和5G網(wǎng)絡(luò)的興起，“喚醒萬(wàn)物，萬(wàn)物互聯(lián)”的時(shí)代已經(jīng)來(lái)臨。計(jì)算量需求的爆發(fā)式增長(zhǎng)無(wú)疑對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求，需要更多的高性能數(shù)據(jù)中心。RDMA技術(shù)作為一種先進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式映入眼簾，引起了強(qiáng)烈關(guān)注。與傳統(tǒng)網(wǎng)絡(luò)相比，RDMA可更加顯著地提升應(yīng)用效率，提供高性能的網(wǎng)絡(luò)傳輸。RDMA這么好，為什么還沒(méi)有普及呢，仍只在HPC中有些應(yīng)用，主要還是價(jià)格因素，現(xiàn)如今已經(jīng)出現(xiàn)了像RoCE這樣兼容以太網(wǎng)的技術(shù)，相信在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域，RDMA會(huì)真正的開(kāi)花結(jié)果，尤其在存儲(chǔ)領(lǐng)域，IP存儲(chǔ)已經(jīng)看上了RDMA，很多互聯(lián)網(wǎng)公司均開(kāi)始考慮現(xiàn)在存儲(chǔ)網(wǎng)絡(luò)中部署RDMA，然后慢慢向其它網(wǎng)絡(luò)部分延伸。