DeepSeek發布Prover-V2模型,參數量達6710億

robot
摘要生成中

【DeepSeek發布Prover-V2模型,參數量達6710億】DeepSeek今日於AI開源社區Hugging Face上發布了一個名爲DeepSeek-Prover-V2-671B的新模型。據悉,DeepSeek-Prover-V2-671B 使用了更高效的 safetensors文件格式,並支持多種計算精度,方便模型更快、更省資源地訓練和部署,參數達6710億,或爲去年發布的Prover-V1.5數學模型升級版本。在模型架構上,該模型使用了DeepSeek-V3架構,採用MoE(混合專家)模式,具有61層Transformer層,7168維隱藏層。同時支持超長上下文,最大位置嵌入達16.38萬,使其能處理復雜的數學證明,並且採用了FP8量化,可通過量化技術減小模型大小,提高推理效率。(金十)

查看原文
本頁面內容僅供參考,非招攬或要約,也不提供投資、稅務或法律諮詢。詳見聲明了解更多風險披露。
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate.io APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)