如今，任何有關(guān)人工智能的討論都必然會涉及ChatGPT的崛起，這是一款基于OpenAI的GPT系列大型語言模型(LLM)構(gòu)建的無處不在的聊天機器人。但是，如何在數(shù)據(jù)中心滿足這種生成式人工智能技術(shù)的需求呢？
這款聊天機器人于去年年底推出，并以其內(nèi)容生成功能引起轟動。人們正在使用ChatGPT和其他供應(yīng)商的競爭機器人來回答復(fù)雜的問題，以及自動化編寫軟件代碼和制作營銷文案等任務(wù)。
但由于這種生成式人工智能技術(shù)固有的所有可能性，充分利用基礎(chǔ)模型的潛力一直很困難。大多數(shù)模型都是根據(jù)公開數(shù)據(jù)進行訓(xùn)練的，這使得它們不太適合特定的企業(yè)應(yīng)用，例如查詢敏感的內(nèi)部文檔。
企業(yè)希望這些模型能夠處理企業(yè)內(nèi)部數(shù)據(jù)。但這是否意味著企業(yè)必須全力以赴、從頭開始構(gòu)建？讓我們深入了解一下。
構(gòu)建大型語言模型：數(shù)據(jù)中心中成本高昂之事
構(gòu)建LLM的任務(wù)需要多個步驟，例如GPT-3或GPT-4，首先需要進行大量的計算訓(xùn)練，這需要數(shù)百甚至數(shù)千個昂貴的GPU在數(shù)據(jù)中心服務(wù)器中聚集在一起，持續(xù)數(shù)周或數(shù)月。
隨著模型規(guī)模的增加，訓(xùn)練和再訓(xùn)練所需的GPU數(shù)量也會增加。例如，Google必須插入6144個芯片來訓(xùn)練其5400億參數(shù)的PaLM模型。這一過程還需要高級培訓(xùn)技術(shù)和工具方面的專業(yè)知識，例如Microsoft DeepSpeed和Nvidia MegaTron-LM，而這些在組織中可能并不容易獲得。
訓(xùn)練完成后，這些芯片就需要在模型上持續(xù)運行推理，這進一步增加了成本。從這個角度來看，如果只使用500臺Nvidia DGX A100多GPU服務(wù)器(通常用于LLM訓(xùn)練和推理)，每臺售價19.9萬美元，就意味著該項目的支出約為1億美元。除此之外，服務(wù)器產(chǎn)生的額外功耗和熱量輸出將增加總擁有成本。
這是對數(shù)據(jù)中心基礎(chǔ)設(shè)施的大量投資，特別是對于那些不是專門的人工智能組織、只希望LLM加速某些業(yè)務(wù)用例的企業(yè)來說。
人工智能時代數(shù)據(jù)中心的理想方法
除非企業(yè)擁有獨特的高質(zhì)量數(shù)據(jù)集，可以創(chuàng)建具有堅實競爭優(yōu)勢的模型，值得投資。否則最好的方法是針對組織自身數(shù)據(jù)(企業(yè)文檔、客戶電子郵件等)的特定用例，對現(xiàn)有開源LLM進行微調(diào)。
一個很好的反例是BloombergGPT模型。這是Bloomberg從頭開始訓(xùn)練的一個包含500億個參數(shù)的[模型]……有多少組織可以自信地聲稱其擁有相同數(shù)量的獨特高質(zhì)量數(shù)據(jù)？其實，沒有那么多。
另一方面，微調(diào)是一個更輕量級的過程，只需要一小部分時間、預(yù)算和精力。
如果企業(yè)確實看到從頭開始構(gòu)建LLM的價值，那么就應(yīng)該從小規(guī)模開始，使用托管云基礎(chǔ)設(shè)施和機器學(xué)習(xí)(ML)服務(wù)，而不是立即購買昂貴的GPU進行現(xiàn)場部署。
云還提供了更多培訓(xùn)選項可供選擇，不僅包括Nvidia GPU，還包括AMD和Intel的GPU，以及Google TPU和AWS Trainium等客戶加速器。
另一方面，如果當(dāng)?shù)胤苫蚍ㄒ?guī)強制要求遠離云端，現(xiàn)場部署GPU等加速硬件將是默認的首選。
規(guī)劃仍然是關(guān)鍵
在急于為特定領(lǐng)域的LLM和基于其的應(yīng)用投資GPU、技能或云合作伙伴之前，技術(shù)決策者必須通過與企業(yè)中的其他領(lǐng)導(dǎo)者和主題專家合作來制定明確的戰(zhàn)略。專注于決策的業(yè)務(wù)案例，大致了解此類工作負載當(dāng)前和未來的需求將會很有幫助。
通過這種規(guī)劃，企業(yè)可以做出明智的決定，決定何時以及如何投資培訓(xùn)LLM。這包括選擇什么樣的硬件、可以在哪里使用其他人開發(fā)的現(xiàn)有模型，以及誰可能是人工智能之旅的合適合作伙伴等方面。
人工智能/機器學(xué)習(xí)的發(fā)展速度令人難以置信……如果以傳統(tǒng)的面向未來的思維方式來對待這些新技術(shù)，那么解決方案很可能會相對較快地過時。所涉及的技術(shù)和硬件的特殊性意味著，更好的選擇可能是首先開發(fā)解決方案前景，并相應(yīng)地升級數(shù)據(jù)中心。
在沒有正當(dāng)理由的情況下，人們很容易相信采用新技術(shù)的炒作和趨勢，但這無疑會導(dǎo)致失望，并可能拒絕企業(yè)未來可以從中受益的實際用例。更好的方法是保持頭腦冷靜，投入時間了解相關(guān)技術(shù)，并與利益相關(guān)者合作，評估可以從集成中獲得的好處。
