上週五在交大舉辦的GenAI落地訓練解決方案發表會深刻地吸引了我的興趣。會議中，群 聯電子與滿拓科技提出了解決訓練大型語言模型受硬體規格限制的創新方案，這對我作為 一個實驗室有在做語言模型研究生來說，是一個極具啟發性的資訊。 在過去的實驗中，我便經常遭遇到硬體規格不足的限制，由於實驗室只配置有V100規格的 GPU，而沒有A100這類更昂貴更高規格的GPU，這使得我難以訓練更大的語言模型，在做語 言模型的實驗上遇到了更多的限制。因此，這次的發表會為我提供了更多的思路和解決方 案。特別是發表會上企業提出的成本更低、更有效率的硬體構想，這讓我期待未來能夠以 更合理的成本配置硬體來訓練像lamma-13B這樣的大型語言模型。這也意味著實驗室無需 投入高昂的成本購買A100等硬體，仍能夠擁有專業且具有成本效益的配置。 除了技術層面的啟發外，發表會最後提到的關於試用機台設備的活動與競賽，更是一個實 踐的機會。參與這樣的競賽，不僅能夠體驗我們在發表會上提出的當前最新穎最具有創新 性的設備，還能夠與其他研究者共同交流，激發更多創新思維。 總體來說，這次的GenAI發表會不僅讓我對當前解決大型語言模型訓練中的硬體挑戰前景 有了更深刻的理解，同時也為我提供了我對目前研究遇到的瓶頸與問題的解決方案。我期 待這次發表會提出的硬體規格解決計畫能應用到我的實驗室工作中，對我未來實驗室的研 究有更深遠的增益。 有興趣的教授與研究者也可以參考下面的連結，參與群聯電子與滿拓科技提出的試用設備 的活動與競賽。 https://forms.gle/mxndJs29s1Sa6RAK8 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.255.237.166 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/graduate/M.1704513084.A.4EE.html ※ 編輯: timecs111 (111.255.233.16 臺灣), 01/09/2024 11:42:17