零一萬物發布AI模型 阿里云魔搭社區開源首發

11月7日消息,李開復帶隊創辦的AI2.0公司零一萬物近日正式發布首款預訓練大模型Yi-34B,模型開放商用申請,已在阿里云魔搭社區ModelScope首發。魔搭第一時間推出了模型部署相關教程,供開發者參考并快速上手。
官方介紹,零一萬物此次開源的Yi系列模型包含34B和6B兩個版本;零一萬物創始人及CEO李開復表示:“零一萬物堅定進軍全球第一梯隊目標,從招的第一個人,寫的第一行代碼,設計的第一個模型開始,就一直抱著成為‘World's No.1’的初衷和決心。”
圖注:Yi-34B發布在魔搭社區
圖源:阿里云公眾號
據了解,Yi-34B已登頂全球英文及中文權威榜單No.1。在Hugging Face英文測試公開榜單Pretrained預訓練開源模型排名中,Yi-34B以70.72分位列全球第一;在C-Eval中文權威榜單排行榜上,Yi-34B超越了全球所有開源模型;在全球大模型各項評測中最關鍵的MMLU(Massive Multitask Language Understanding大規模多任務語言理解)、BBH等反映模型綜合能力的評測集上,Yi-34B同樣表現突出,在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出。
與此同時,Yi-34B模型將發布支持200K超長上下文窗口(context window)版本。上下文窗口是大模型綜合運算能力的金指標之一,對于理解和生成與特定上下文相關的文本至關重要;為此零一萬物技術團隊實施了一系列優化,包括計算通信重疊、序列并行、通信壓縮等,實現了在大規模模型訓練中近100倍的能力提升,也為Yi系列模型上下文規模下一次躍升儲備了充足“電力”。
圖注:Yi-34B登頂Hugging Face英文測試公開榜單
圖源:阿里云公眾號
另外,借助AI Infra,Yi-34B模型實現40%訓練成本下降。AI Infra(AI Infrastructure人工智能基礎架構技術)涵蓋大模型訓練和部署提供各種底層技術設施,包括處理器、操作系統、存儲系統、網絡基礎設施、云計算平臺等等;零一萬物Yi系列大模型基于阿里云平臺打造,阿里云強大的智能算力基礎設施為模型訓練提供了穩固的基石。
憑借強大的AI Infra,Yi-34B模型訓練成本實測下降40%,實際訓練完成達標時間與預測的時間誤差不到一小時,進一步模擬上到千億規模訓練成本可下降多達50%;目前,零一萬物Infra能力實現故障預測準確率超過90%,故障提前發現率達到99.9%,不需要人工參與的故障自愈率超95%。
圖注:Yi-34B簡介
圖源:零一萬物官網
同時,零一萬物組建了由前Google大數據和知識圖譜專家領銜的數據團隊,建設了高效、自動、可評價、可擴展的智能數據處理管線;還自研出一套“規模化訓練實驗平臺”,用來指導模型的設計和優化;數據處理管線和加大規模預測的訓練能力建設,把以往的大模型訓練碰運氣的“煉丹”過程變得極度細致和科學化。
值得一提的是,未來零一萬物將基于Yi系列大模型,打造更多To C超級應用。李開復強調:“AI 2.0是有史以來最大的科技革命,它帶來的改變世界的最大機會一定是平臺和技術,正如PC時代的微軟Office,移動互聯網時代的微信、抖音、美團一樣,商業化爆發式增長概率最高的一定是ToC應用。零一萬物邀請開發者社群跟我們一起搭建Yi開源模型的應用生態系,協力打造AI 2.0時代的超級應用。”
