智通財經APP獲悉，華泰證券發佈研報稱，北京時間4月19日，Meta發佈Llama 3，本次開源參數量爲8B和70B的兩個版本，未來數個月內還會推出其他版本，升級點包括多模態、多語言能力、更長的上下文窗口和更強的整體功能。Llama 3性能大幅超越前代Llama 2，在同等級模型中效果最優。Meta目前正在訓練超過400B的版本，性能比肩GPT-4，但尚未決定是否開源。對於國內大模型，後續需要關注：1)Llama 3中文化促進國內AI垂類模型、大模型應用的性能提升；2)Llama 3中文化與國內閉源模型的競爭。
華泰證券主要觀點如下：
模型效果：大幅超越前代Llama 2，同等級效果最優
Llama 3分爲大中小三個版本，相比其他模型：小規模的8B模型效果比同類大小的模型Mistral 7B、Gemma 7B略好或基本持平；中等規模的70B模型效果比Gemini Pro 1.5、Claude 3 Sonnet略好或相當，並超過GPT-3.5；最大的400B模型仍在訓練過程中，設計目標是多模態、多語言，根據Meta公佈的目前訓練數據，其性能與GPT-4相當。相比前代Llama 2：對比指令精調模型，Llama 3 8B在多項基準測試中超過Llama 2 70B。在未來幾個月中，Meta將發佈多個具有新功能的模型，包括多模態、多語言能力、更長的上下文窗口和更強的整體功能，並將發佈研究論文。
技術亮點：訓練數據量與上下文長度擴充，GQA提升推理效率
華泰證券表示，Llama 3的模型結構相比Llama 2變化不大，都採用decoder-only架構，技術亮點主要在於預訓練數據量、上下文長度、分組查詢注意力機制：1)訓練數據量極大擴充。Llama 3經過超15T token的預訓練，訓練數據集比Llama 2使用的數據集大七倍，其中代碼數據擴充了4倍，使得Llama 3的代碼能力和邏輯推理能力大幅度提升。2)上下文長度擴充。Llama3支持8k上下文長度，是Llama 2的2倍，同時大大降低了錯誤拒絕率，改善了一致性，但相比其他主流模型仍有差距(GPT-4 turbo 128k，Claude 3 100k，GPT-4 32k)；3)採用分組查詢注意力(GQA)以加速推理。
應用：智能助手Meta AI、雷朋Meta智能眼鏡等
Meta同時更新基於Llama 3構建的智能助手Meta AI，無需切換即可在 Instagram、Facebook、WhatsApp和Messenger的搜索框中暢通使用Meta AI。Llama 3很快將在AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake上推出，並得到AMD、AWS、戴爾、英特爾、英偉達、高通提供的硬件平臺的支持。此外，雷朋Meta智能眼鏡也將支持多模態的Meta AI。
行業觀點：利好AI應用，關注Llama 3中文化與國內閉源大模型競爭
華泰證券表示，Llama 3的推出爲開源模型注入了新的活力，未來還將新增多模態能力，看好Llama 3促進AI應用繁榮。海外頭部廠商中，OpenAI和谷歌閉源模型領先，Meta憑藉開源模型獨樹一幟的競爭格局繼續維持。對於國內大模型，後續需要關注：1)Llama 3中文化促進國內AI垂類模型、大模型應用的性能提升；2)Llama 3中文化與國內閉源模型的競爭。
風險提示：AI及技術落地不及預期；本研報中涉及到未上市公司或未覆蓋個股內容，均系對其客觀公開信息的整理，並不代表本研究團隊對該公司、該股票的推薦或覆蓋。