一、背景

 

得益于GPU強大的計算能力，深度學習近年來在圖像處理、語音識別、自然語言處理等領域取得了重大突GPU服務器幾乎成了深度學習加速的標配。

 

如何提供一個合適的實例規格，從而以最高的性價比提供給深度學習客戶，是我們需要考慮的一個問題，本文試圖從CPU、內存、磁盤這三個角度對單機GPU云服務器的深度學習訓練和預測的性能模型做了初步的分析，希望能對實例規格的選擇提供一個科學的設計模型。

 

下面是我們使用主流的學習框架在NVIDIA GPU上做的一些深度學習的測試。涉及NVCaffe、MXNet主流深度學習框架，測試了多個經典CNN網絡在圖像分類領域的訓練和推理以及RNN網絡在自然語言處理領域的訓練。

 

二、訓練測試

 

我們使用NVCaffe、MXNet主流深度學習框架測試了圖像分類領域和自然語言處理領域的訓練模型。

 

2.1 圖像分類

 

我們使用NVCaffe、MXNet測試了圖像分類領域的CNN網絡的單GPU模型訓練。

 

NVCaffe和MXNet測試使用ImageNet ILSVRC2012數據集，訓練圖片1281167張，包含1000個分類，每個分類包含1000張左右的圖片。

 

2.1.1 CPU+Memory

 

2.1.1.1 NVCaffe

 

NVCaffe是NVIDIA基于BVLC-Caffe針對NVIDIA GPU尤其是多GPU加速的開源深度學習框架。LMDB格式的ImageNet訓練集大小為240GB ，驗證集大小為9.4GB。

 

我們使用NVcaffe對AlexNet、GoogLeNet、ResNet50、Vgg16四種經典卷積神經網絡做了圖像分類任務的模型訓練測試。分別對比了不同vCPU和Memory配置下的訓練性能。性能數據單位是Images/Second(每秒處理的圖像張數)。圖中標注為10000指的是迭代次數10000次，其它都是測試迭代次數為1000次。

 

2.1.1.2 MXNet

 

MXNet的數據集使用RecordIO格式，ImageNet訓練集 93GB ，驗證集 3.7GB。

 

我們使用網絡Inception-v3(GoogLeNet的升級版)做了圖像分類的訓練測試。分別對比了不同vCPU和Memory配置下的訓練性能。數據單位是Samples/Second(每秒處理的圖像張數)。

 

2.1.2 磁盤IO

 

我們在阿里云GN5(P100)實例上使用NVCaffe測試了GoogLeNet網絡模型在NVMe SSD本地盤、SSD云盤和高效云盤上的訓練性能，測試結果如下(性能數據單位是Images/Second)：

 

2.2 自然語言處理

 

我們使用MXNet測試了RNN網絡的LSTM模型的訓練，使用PennTreeBank自然語言數據集。PennTreeBank數據集的文本語料庫包含近100萬個單詞，單詞表被限定在10000個單詞。分別對比了不同vCPU和Memory配置下的訓練性能：

 

三、推理測試

 

3.1 圖像分類

 

我們使用NVCaffe測試了圖像分類領域的CNN網絡的模型推理。

 

測試使用ImageNet ILSVRC2012數據集，驗證測試圖片 50000張。

 

3.1.1 CPU+Memory

 

我們使用NVcaffe對AlexNet、GoogLeNet、ResNet50、VGG16四種經典卷積神經網絡做了圖像分類的推理測試。分別對比了不同vCPU和Memory配置下的訓練性能。數據單位是Images/Second(每秒處理的圖像張數)。

 

3.1.2 磁盤IO

 

我們使用NVCaffe測試了GoogLeNet網絡在NVMe SSD本地盤、SSD云盤和高效云盤上的圖像分類推理性能，測試結果如下(數據單位是Images/Second)：

 

四、數據預處理測試

 

在訓練模型之前，往往要對訓練數據集做數據預處理，統一數據格式，并做一定的歸一化處理。

 

我們使用NVCaffe對ImageNet ILSVRC2012數據集做了數據預處理的測試，分別對比了NVMe SSD本地盤、SSD云盤和高效云盤的數據預處理時間，數據單位是秒，數據如下：

 

五、數據分析

 

5.1 訓練

 

5.1.1 圖像分類

 

從NVCaffe和MXNet的測試結果來看，圖像分類場景單純的訓練階段對CPU要求不高，單GPU 只需要4vCPU就可以。而內存需求則取決于深度學習框架、神經網絡類型和訓練數據集的大小：測試中發現NVCaffe隨著迭代次數的增多，內存是不斷增大的，但是內存需求增大到一定程度，對性能就不會有什么提升了，其中NVCaffe AlexNet網絡的訓練，相比其它網絡對于內存的消耗要大得多。相比之下MXNet的內存占用則要小的多(這也是MXNet的一大優勢)，93G預處理過的訓練數據集訓練過程中內存占用不到5G。

 

對于磁盤IO性能，測試顯示訓練階段NVMe SSD本地盤、SSD云盤性能基本接近，高效云盤上的性能略差1%。因此訓練階段對IO性能的要求不高。

 

5.1.2 自然語言處理

 

從MXNet的測試結果來看，對于PennTreeBank這樣規模的數據集，2vCPU 1GB Mem就能滿足訓練需求。由于自然語言處理的原始數據不像圖像分類一樣是大量高清圖片，自然語言處理的原始數據以文本文件為主，因此自然語言處理對內存和顯存的要求都不高，從我們的測試來看，4vCPU 30GB 1GPU規格基本滿足訓練階段需求。

 

5.2 推理

 

5.2.1 圖像分類

 

從NVCaffe的圖像分類推理測試來看，除AlexNet 2vCPU剛剛夠用外，其它網絡2vCPU對性能沒有影響，而9.4GB的驗證數據集推理過程中內存占用大概是7GB左右，因此對大部分模型來看，2vCPU 30GB 1GPU規格基本滿足圖像分類推理的性能需求。

 

對于磁盤IO性能，推理性能NVMe SSD本地盤、SSD云盤很接近，但高效云盤差15%。因此推理階段至少應該使用SSD云盤保證性能。

 

5.2.2 自然語言處理

 

對于自然語言處理，參考訓練性能需求，我們應該可以推測2vCPU 30GB 1GPU規格應該也能滿足需求。

 

5.3 數據預處理

 

從NVCaffe對ImageNet ILSVRC2012數據集做數據預處理的測試來看，數據預處理階段是IO密集型，NVMe SSD本地盤比SSD云盤快25%，而SSD云盤比高效云盤快10%。

 

六、總結

 

深度學習框架眾多，神經網絡類型也是種類繁多，我們選取了主流的框架和神經網絡類型，嘗試對單機GPU云服務器的深度學習性能模型做了初步的分析，結論是：

 

深度學習訓練階段是GPU運算密集型，對于CPU占用不大，而內存的需求取決于深度學習框架、神經網絡類型和訓練數據集的大小;對磁盤IO性能不敏感，云盤基本能夠滿足需求。

 

深度學習推理階段對于CPU的占用更小，但是對于磁盤IO性能相對較敏感，因為推理階段對于延遲有一定的要求，更高的磁盤IO性能對于降低數據讀取的延時進而降低整體延遲有很大的幫助。

 

深度學習數據預處理階段是IO密集型階段，更高的磁盤IO性能能夠大大縮短數據預處理的時間。