卷積神經網絡（CNN）通常是在固定資源成本下開發的，然後進行擴展以在提供更多資源時實現更高的準确性，從而使Google AI卷積神經網絡（CNN）得以發布。 。例如，通過增加層數，可以将ResNet從ResNet-18擴展到ResNet-200，最近，GPipe獲得了84.3％的ImageNet通過将基準CNN放大四倍來實現top-1精度。模型縮放的常規做法是任意增加CNN的深度或寬度，或使用較大的輸入圖像分辨率進行訓練和評估。盡管這些方法确實提高了準确性，但它們通常需要繁瑣的手動調整，并且仍然經常會産生次優的性能。相反，如果Google可以找到一種更原則化的方法來放大CNN以獲得更好的準确性和效率呢？

在Google的ICML 2019論文“ EfficientNet：重新思考卷積神經網絡的模型縮放”中，Google提出了一種新穎的模型縮放方法，該方法使用了簡單而高效的複合系數以更結構化的方式擴展CNN。與傳統方法任意縮放網絡尺寸（例如寬度，深度和分辨率）不同，Google的方法使用一組固定的縮放系數來統一縮放每個尺寸。在這種新穎的縮放方法和AutoML的最新進展的支持下，Google開發了一系列模型，稱為EfficientNets，該模型以超過10倍的更好效率（更小和更快）超越了最先進的精度。

為了了解擴展網絡的影響，Google系統地研究了擴展模型的不同維度的影響。雖然縮放單個維度可以提高模型性能，但Google發現平衡網絡的所有維度（寬度，深度和圖像分辨率）與可用資源相比，可以最好地改善整體性能。

複合縮放方法的第一步是執行網格搜索，以找到在固定資源約束（例如，兩倍多的FLOPS）下基準網絡的不同縮放維度之間的關系。）。這将确定上述每個尺寸的适當縮放系數。然後，Google應用這些系數将基準網絡擴大到所需的目标模型大小或計算預算。

比較不同縮放方法。與常規縮放方法（b）-（d）任意縮放網絡的單個維度不同，Google的複合縮放方法以一種有原則的方式均勻地縮放所有維度。

與傳統的縮放方法相比，此複合縮放方法始終如一地提高了模型的準确性和效率，可用于擴展現有模型，例如MobileNet（ 1.4％圖像網絡精度）和ResNet（ 0.7％）。

模型縮放的有效性也嚴重依賴于基線網絡。因此，為了進一步提高性能，Google還通過使用AutoML MNAS框架執行神經體系結構搜索來開發了新的基準網絡，該框架優化了準确性和效率（FLOPS）。生成的體系結構使用了移動反向瓶頸卷積（MBConv），類似于MobileNetV2和MnasNet，但是由于增加了FLOP預算而略大。然後，Google擴大基準網絡，以獲得稱為EfficientNets的一系列模型。

Google的基準網絡EfficientNet-B0的體系結構簡潔明了，因此更易于擴展和推廣。

Google已經将EfficientNets與ImageNet上的其他現有CNN進行了比較。通常，與現有的CNN相比，EfficientNet模型可實現更高的準确性和更高的效率，從而将參數大小和FLOPS減小了一個數量級。例如，在高精度系統中，Google的EfficientNet-B7在ImageNet上達到了最先進的84.4％top-1 / 97.1％top-5精度，而與CPU推理相比，它的體積要小8.4倍，速度要快6.1倍以前的Gpipe。與廣泛使用的ResNet-50相比，Google的EfficientNet-B4使用類似的FLOPS，同時将top-1的準确性從ResNet-50的76.3％提高到82.6％（ 6.3％）。

型号尺寸與精度比較。EfficientNet-B0是AutoML MNAS開發的基準網絡，而Efficient-B1至B7是通過擴大基準網絡而獲得的。特别是，Google的EfficientNet-B7達到了新的最先進的84.4％top-1 / 97.1％top-5精度，同時比現有的最佳CNN縮小了8.4倍。

盡管EfficientNets在ImageNet上表現良好，但要發揮最大作用，它們還應該轉移到其他數據集。為了對此進行評估，Google在八個廣泛使用的轉移學習數據集上測試了EfficientNets。EfficientNets在8個數據集中的5個數據集中，例如CIFAR-100（91.7％）和Flowers（98.8％）中的5個達到了最先進的精度，參數減少了一個數量級（最多減少了21倍的參數減少），這表明Google的EfficientNets也可以很好地轉移。

通過對模型效率進行重大改進，Google期望EfficientNets可以作為将來計算機視覺任務的新基礎。因此，Google開放了所有EfficientNet模型的源代碼，希望對大型機器學習社區有利。您可以在此處找到EfficientNet源代碼和TPU培訓腳本。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!