降低AI大模型的碳排放
AI模型的訓練和運營過程需要消耗大量能源，但關鍵問題是，如何知道及測算單個機器學習實驗正在產生多少溫室氣體排放，以及可以減少多少？
目前數據科學家們仍無法簡單可靠地獲取該領域的測量結果，這也妨礙著進一步制定可行的應對策略。
針對這一問題，谷歌發表了一項研究，詳細介紹了最先進的語言模型的能源成本，包括早期和更大版本的LaMDA。
研究結果表明，將高效的模型、處理器和數據中心與
清潔能源相結合，可以將機器學習系統的
碳足跡減少1000倍。
該團隊提出了四種基本方法，可顯著減少機器學習工作負載的碳（和能源）足跡，這些方法目前在Google中使用，任何使用Google Cloud服務的人都可以使用。
Google能源和碳足跡減少最佳實踐（4Ms）如下：
模型：研究人員表示，選擇高效的ML模型架構至關重要，因為它有可能提高ML質量，同時將計算時間縮短一半。
機器：與通用處理器相比，使用專門用于ML訓練的處理器和系統可以將性能和能效提高2倍至5倍。
機械化：大多數情況下，本地數據中心更老、更小。 因此，新的節能冷卻和配電系統的費用無法攤銷。
基于云的數據中心是全新的、定制設計的倉庫，具有可容納50000臺服務器的能效特性。 它們提供異常高效的電源利用率 (PUE)。
因此，在云端而不是在本地進行計算，可以節省1.4-2倍的能源并減少污染。
優化：云允許客戶選擇具有最清潔能源的區域，從而將總碳足跡減少5到10倍。
基于4Ms改進的模型、特定于機器學習的硬件和高效的數據中心，大大抵消了這種負載增加。
谷歌的數據表明，機器學習訓練和推理在過去三年中僅占谷歌整體能源使用量的10%至15%，其中每年有35%用于推理，25%用于訓練。
為了找到改進的機器學習模型，谷歌采用了神經架構搜索 (NAS)。
每個問題域/搜索空間組合通常只執行一次NAS，然后可以將生成的模型重復用于數百個應用程序，NAS的一次性成本通常被持續使用的減排量所抵消。
研究人員進行了一項研究來訓練Transformer模型。
為此，他們在典型的數據中心中使用了Nvidia P100 GPU，其能源組合與全球平均水平相似，而使用TPUv4等新一代ML硬件，性能比P100提升了14倍。
同時，高效的云數據中心比普通數據中心節省1.4倍的能源，從而使總能耗降低83倍。
此外，由低碳能源驅動的數據中心可以將碳排放量再減少9倍，從而在四年內總共減少747倍。
谷歌團隊認為，在信息技術領域，制造各種類型和規模的計算設備的生命周期成本，比機器學習的運營成本要高得多。
排放估算的制造成本包括制造所有相關組件（從芯片到數據中心建筑）所排放的嵌入碳。
當然，除了使用4Ms方法，服務提供商和用戶還可以采取簡單的措施來提高他們的碳足跡績效，例如：
客戶應通過讓數據中心提供商報告數據中心效率和每個位置的能源供應清潔度，來分析和減少他們的能源使用和碳足跡。
工程師應該在最環保的數據中心中最快的處理器上訓練模型，這些數據中心越來越多地在云上。
機器學習的研究人員應該專注于設計更有效的模型，如：利用稀疏性或包括檢索來減少模型。
此外，他們應該報告他們的能源消耗和碳影響。這不僅會鼓勵超越模型質量的競爭，而且還可以確保對他們的工作進行正確的核算。 本`文@內-容-來-自；中^國_碳0排0放^交-易=網 ta n pa i fa ng . co m
【版權聲明】本網為公益類網站，本網站刊載的所有內容，均已署名來源和作者，僅供訪問者個人學習、研究或欣賞之用，如有侵權請權利人予以告知，本站將立即做刪除處理（QQ：51999076）。
國家工信部備案/許可證編號
