20230416_国金证券_计算机行业证券研究报告：LLaMA等开源模型凸显先进算法及行业数据的重要性_17页.pdf

敬请参阅最后一页特别声明 1 2017 Transformer OpenAI Google AI AI Meta LLaMA LLaMA 40 1.4 Tokens LLaMA PaLM GPT-3 LLaMA LLaMA AI LLaMA AI“AI”LLaMA AI AI Hugging face LLaMA LLaMA LLaMA 2023 3 Alpaca LLaMA-7B 5.2 8 A100 3 300 8 A100 AI 2,000 AI 33.2 66 LLaMA AI+AI 1 2 行业深度研究 敬请参阅最后一页特别声明 2 内容目录 1.头部领先模型走向闭源，垂类模型开发呼唤开源.3 1.1.3 1.2 AI.5 2.LLaMA 在通用开源模型中性能领先.6 2.1 LLaMA.6 2.2.7 2.3 LLaMA.8 3.“通用模型+迁移学习+微调”有望成为开发新范式，数据是重要壁垒.9 3.1“”.9 3.2.10 3.3.11 3.4 AI.13 4.投资建议.13 5.风险提示.14 图表目录 1.3 2 OpenAI.4 3.5 4.5 5 LLaMA.6 6 LLaMA.6 7 LLaMA.7 8 LLaMA.7 9 LLaMA.8 10.9 11.10 12“+”.10 13 LLaMA.11 14.11 15.11 16.12 YWBYxOnQoNoPtNtQrMoRqRbRdN6MoMqQmOmPeRmMmQeRrQtMaQpPyQvPrNpRwMmQrN行业深度研究 敬请参阅最后一页特别声明 3 1.1.1 2017 Transformer AI AI AI AI AI API B C AI C 1 API OpenAI GPT 2018.6 GPT-2 2019.2 GPT-3 2020.3 GPT-3.5 2022.11 DALLE-2 2022.4 Whisper 2022.9 GPT-4 2023.3 Google BERT 2018.10 T5 2019.10 LaMDA 2021.5 PaLM 2022.4 Imagen 2022.5 PaLI 2022.9 Muse 2023.1 PaLM-E 2023.3 Meta LLaMA 2023.2 OPT 2022.5 Make-A-Video 2022.9 Segment Anything 2023.4 PLA TO 2019.10 ERNIE 3.0 2021.7 ERNIE-ViLG 2022.1 2023.3 Anthropic Claude 2022.12 Stablilty AI Stable Diffusion 2022.9 OpenAI Google AI GitHub Anthropic Stability AI AI 行业深度研究 敬请参阅最后一页特别声明 4 AI Google 2017 Transformer 2018 BERT GPT-1 AI AI Stability AI 2020 2022 9 Stable Diffusion AI Stability AI 14 7 1,000 OpenAI Google Meta AI OpenAI AI 2019 OpenAI OpenAI 2018 GPT-1 2019 2 GPT-2 Zero-shot 8 4 2019 OpenAI OpenAI LP 2020 OpenAI GPT-3 API GPT-3 AI OpenAI OpenAI OpenAI 2022 11 ChatGPT AI 2023 3 OpenAI GPT-3.5 Whisper API 3 14 GPT-4 2 OpenAI OpenAI,AI Percy Liang 2022 11 16 13 AI 行业深度研究 敬请参阅最后一页特别声明 5 3 Holistic Evaluation of Language Models(Percy Liang)30 1.2 AI AI AI AI AI 4 1 2 AI API 3 AI 4 4 AI API API 95%AI AI AI API AI API SaaS 90%50%-70%API 95%AI API AI AI AI AI Meta LLaMA 行业深度研究 敬请参阅最后一页特别声明 6 2.LLaMA 2.1 LLaMA 2023 2 24 Meta AI LLaMA LLaMA Transformer Decoder-Decoder OpenAI GPT-4 Google PaLM-E LLaMA 70 130 330 650 5 LLaMA LLaMA Meta 2023.2 70 130 330 650 PaLM Google 2022.4 5,400 GPT3.5 OpenAI 2022.11 1,750 PaLM-E Google 2023.3 5,620 2023.3 Meta OpenAI Google LLaMA 40 1.4 Tokens LLaMA Google PaLM 7,800 T okens LLaMA 6 LLaMA CommonCrawl 67%3.3TB 30 40 C4 15%783GB Github 4.5%328GB Wikipedia 4.5%83GB Books 4.5%85GB 20 ArXiv 2.5%92GB StackExchange 2%78GB Meta LLaMA 行业深度研究 敬请参阅最后一页特别声明 7 PaLM GPT-3 LLaMA 8 6 2 7 LLaMA BoolQ PIQA SIQA HS WG ARC-e ARC-c OBQA LLaMA-65B 650 85.3 82.8 52.3 84.2 77 81.5 56 60.2 LLaMA-33B 330 83.1 82.3 50.4 82.8 76 81.4 57.8 58.6 PaLM 5,400 88 82.3 83.4 81.1 76.6 53 53.4 GPT-3 1,750 60.5 81 78.9 70.2 68.8 51.4 57.6 Meta LLaMA AI AI Hugging face LLaMA LLaMA LLaMA 2.2 AI AI Google T5 AI Google LLaMA LLaMA 8 LLaMA LLaMA-7B 70 NVIDIA 3060 12G LLaMA-13B 130 NVIDIA 3090Ti NVIDIA 4090 LLaMA-33B 330 A100-40GB LLaMA-65B 650 A100-80GB Meta LLaMA AI AI B G AI AI ChatGPT AI AI Tokens 行业深度研究 敬请参阅最后一页特别声明 8 2023 3 30 BloombergGPT 2,720 AI LLaMA AI AI 2.3 LLaMA LLaMA LLaMA RLHF ChatGPT GPT-4 LLaMA LLaMA LLaMA AI AI AI AI 9 LLaMA LLaMA RLHF RLHF RLHF AI ChatGPT RLHF AI AI AI RLHF AI LLaMA AI LLaMA AI AI 行业深度研究 敬请参阅最后一页特别声明 9 3.“+”3.1 OpenAI ChatGPT+AI AI AI 10 ChatGPT All in one+AI AI AI LLaMA LLaMA AI LLaMA 行业深度研究 敬请参阅最后一页特别声明 10 11 AI AI AI LLaMA AI AI 3.2 AI RLHF AI ChatGPT RLHF AI AI RLHF AI AI AI AI RLHF AI AI RLHF NLP GPT-3 ChatGPT 23 4 12 DeepSpeed Chat RLHF RLHF AI RLHF+AI AI 12+行业深度研究 敬请参阅最后一页特别声明 11 3.3 AI ChatGPT ChatGPT 650 LLaMA Meta LLaMA(GPU)LLaMA 13 LLaMA GPU GPU LLaMA-7B A100-80GB 1 Tokens 82,432 LLaMA-13B A100-80GB 1 Tokens 135,168 LLaMA-33B A100-80GB 1.4 Tokens 530,432 LLaMA-65B A100-80GB 1.4 Tokens 1,022,362 Meta LLaMA LLaMA-65B 2,048 A100-80GB 21 955 LLaMA AI AI AI 500 Tokens Google PaLM 6%2,048 A100-80GB 34 0.75 14 50014,000 1,022,362=36,512 A100 GPU 36,512 1.36 6.86=34 Microsoft Azure 1.36/A100 36,5122,048 24=0.75 2,048 A100-80GB Microsoft Azure NIVIDIA AI 10 AI 160 A100-80GB AI AI 20 NVIDIA DGX A100 20 8 A100-80GB 2,800 5 15.3 19 A100 H100 25 15 36,512 行业深度研究 敬请参阅最后一页特别声明 12 GPU 2,0480.7510=153.6 160 160 A100 NVIDIA DGX A100 1608=20 NVIDIA DGX A100 8 A100 20 20 6.86 2,800 NVIDIA DGX A100 20 2,800510365=15.3 6.5 20 24 10 1.2 3.7 NVIDIA DGX A100 6.5kW 1.2/kWh 15.3+3.7=19 Microsoft Azure NIVIDIA 2023 3 Alpaca LLaMA-7B 5.2 8 A100 3 300 650 NVIDIA DGX A100 AI 16 NVIDIA DGX A100 1 NVIDIA DGX A100 8 A100 20 6.86 140 NVIDIA DGX A100 20 380 3 4 8=36,480 Tokens/380 Tokens/GPU Meta A100 LLaMA-65B OpenAI Decoder-Decoder A100 4 500 Tokens/AI 250 36,480500 72 AI AI 72 15 1000 15 AI 行业深度研究 敬请参阅最后一页特别声明 13 1000 2=2000 AI 1405 28 6.5(12+0.2 12)365 1.2 5.2 12 12 0.2 NVIDIA DGX A100 6.5kW 1.2/kWh 28+5.2=33.2 8 1.36 6.86 24 365=66 Microsoft Azure 1.36/A100 Meta OpenAI Scaling Laws for Neural Language Models Jared Kaplan 2020 8 A100 AI 2,000 AI 33.2 66 3.4 AI API AI AI AI LLaMA AI AI 4.LLaMA AI+AI 1 2 行业深度研究 敬请参阅最后一页特别声明 14 5.GPU 行业深度研究 敬请参阅最后一页特别声明 15 行业 投 资评级的说明：买入：预期未来 3 6 个月内该行业上涨幅度超过大盘在 15%以上；增持：预期未来 3 6 个月内该行业上涨幅度超过大盘在 5%15%；中性：预期未来 3 6 个月内该行业变动幅度相对大盘在-5%5%；减持：预期未来 3 6 个月内该行业下跌幅度超过大盘在 5%以上。行业深度研究 敬请参阅最后一页特别声明 16 特 别 声 明：国金证券股份有限公司经中国证券监督管理委员会批准，已具备证券投资咨询业务资格。本报告版权归“国金证券股份有限公司”（以下简称“国金证券”）所有，未经事先书面授权，任何机构和个人均不得以任何方式对本报告的任何部分制作任何形式的复制、转发、转载、引用、修改、仿制、刊发，或以任何侵犯本公司版权的其他方式使用。经过书面授权的引用、刊发，需注明出处为“国金证券股份有限公司”，且不得对本报告进行任何有悖原意的删节和修改。本报告的产生基于国金证券及其研究人员认为可信的公开资料或实地调研资料，但国金证券及其研究人员对这 些信息的准确性和完整性不作任何保证。本报告反映撰写研究人员的不同设想、见解及分析方法，故本报告所载观点可能与其他类似研究报告的观点及市场实际情况不一致，国金证券不对使用本报告所包含的材料产生的任何直接或间接损失或与此有关的其他任何损失承担任何责任。且本报告中的资料、意见、预测均反映报告初次公开发布时的判断，在不作事先通知的情况下，可能会随时调整，亦可因使用不同假设和标准、采用不同观点和分析方法而与国金证券其它业务部门、单位或附属机构在制作类似的其他材料时所给出的意见不同或者相反。本报告仅为参考之用，在任何 地区均不应被视为买卖任何证券、金融工具的要约或要约邀请。本报告提及的任何证券或金融工具均可能含有重大的风险，可能不易变卖以及不适合所有投资者。本报告所提及的证券或金融工具的价格、价值及收益可能会受汇率影响而波动。过往的业绩并不能代表未来的表现。客户应当考虑到国金证券存在可能影响本报告客观性的利益冲突，而不应视本报告为作出投资决策的唯一因素。证券研究报告是用于服务具备专业知识的投资者和投资顾问的专业产品，使用时必须经专业人士进行解读。国金证券建议获取报告人员应考虑本报告的任何意见或建议是否符合其特定状况，以 及（若有必要）咨询独立投资顾问。报告本身、报告中的信息或所表达意见也不构成投资、法律、会计或税务的最终操作建议，国金证券不就报告中的内容对最终操作建议做出任何担保，在任何时候均不构成对任何人的个人推荐。在法律允许的情况下，国金证券的关联机构可能会持有报告中涉及的公司所发行的证券并进行交易，并可能为这些公司正在提供或争取提供多种金融服务。本报告并非意图发送、发布给在当地法律或监管规则下不允许向其发送、发布该研究报告的人员。国金证券并不因收件人收到本报告而视其为国金证券的客户。本报告对于收件人而言属高度机密，只有符合条件的收件人才能使用。根据 证券期货投资者适当性管理办法，本报告仅供国金证券股份有限公司客户中风险评级高于 C3 级(含 C3 级）的投资者使用；本报告所包含的观点及建议并未考虑个别客户的特殊状况、目标或需要，不应被视为对特定客户关于特定证券或金融工 具的建议或策略。对于本报告中提及的任何证券或金融工具，本报告的收件人须保持自身的独立判断。使用国金证券研究报告进行投资，遭受任何损失，国金证券不承担相关法律责任。若国金证券以外的任何机构或个人发送本报告，则由该机构或个人为此发送行为承担全部责任。本报告不构 成国金证券向发送本报告机构或个人的收件人提供投资建议，国金证券不为此承担任何责任。此报告仅限于中国境内使用。国金证券版权所有，保留一切权利。上海 北京 深圳 电话：021-60753903 传真：021-61038200 邮箱：邮编：201204 地址：上海浦东新区芳甸路 1088 号 紫竹国际大厦 7 楼 电话：010-85950438 邮箱：邮编：100005 地址：北京市东城区建内大街 26 号 新闻大厦 8 层南侧 电话：0755-83831378 传真：0755-83830558 邮箱：邮编：518000 地址：中国深圳市福田区中心四路 1-1 号 嘉里建设广场 T3-2402 前沿报告库是中国新经济产业咨询报告共享平台。行业范围涵盖新一代信息技术、5G、物联网、新能源、新材料、新消费、大健康、大数据、智能制造等新兴领域。为企事业单位、科研院所、投融资机构等提供研究和决策参考。扫一扫免费获取海量报告