20230402_招商证券_计算机行业证券研究报告：AIGC时代的“卖铲人”_29页.pdf

-1-AIGC AIGC 系 列 报 告（二）2023.4.2证券研究报告|行业深度报告信息技术|计算机刘玉萍S1090518120002周翔 宇S1090518050001-2-Transformer 1022 NLP 5 10 Transformer GPT3/GPT3 10000 V100/A100 14.59/3.34 4.72/1.89 GPT3 1000 token 350TFLOPS 0.15 GPU AI GPU Tensor Core AI DGX A100 H100 BasePOD SuperPOD DGX A100 DGX H100 AI AIGC AIGC AI AI AI AI WUFUuNnQsRrQoQsRrMqPrQ6M9R6MsQpPpNsRfQqQmQfQpPmP8OmNqPxNnRqPuOmRqQ-3-1.1 Transformer 1.2 1.3 1.4 GPU AI DGX-4-XXXXXXXXXXXXXXXXXXXXXXXXXX1.1 Transformer 1998 LeNet MNIST 6 28*28 6 CPU2015 ResNet ImageNet 1500 224*224 6000 NVIDIA V100NLP2018 BERT 33 token NLP Transformer3 NVIDIA A1002020 GPT-3 3000 token NLP 1750 NVIDIA H100AI Transformer 1998 LeCun 2012 2018 Transformer Transformer LeCun google OpenAI Transformer-5-XXXXXXXXXXXXXXXXXXXXXXXXXX1.2 1022 0 102 2 OpenAI GPT4 GPT3 GPT4 Wei J,Tay Y,Bommasani R,et al.Emergent abilities of large language modelsJ.arXiv preprint arXiv:2206.07682,2022.OpenAI Emergent Ability-6-XXXXXXXXXXXXXXXXXXXXXXXXXX1.3 NLP 5 10 2020 OpenAI GPT-3 1750 2018 94M ELMo 1800 100 Trillion AIGC-7-XXXXXXXXXXXXXXXXXXXXXXXXXX1.4 GPU AI AI GPGPU AI GPU AI GPU Tensor Core Transformer 8 FP8 Tensor Float32 TF32 FP16 CUDA-X GPU GPGPU M60 P4 P40 P100 T4 RTX V100 A10 A40 A100 NGC AWS GoogleCloud IBMCloud MicrosoftAzure OracleCloud NPNCSPs-8-XXXXXXXXXXXXXXXXXXXXXXXXXX1.4 GPU AI TensorCore H100 Transformer H100 HopperTensor Core 30 Nvidia Tensor Core VoltaNVIDIA Volta Tensor Core FP16 FP32 NVIDIA Pascal TFLOPS 12 TFLOPS 6 Volta Pascal 3 TuringNVIDIA TuringTensor Core AI Turing Tensor Core FP32 FP16 INT8 INT4 NVIDIA Pascal GPU AmpereNVIDIA Ampere Tensor Core TF32 FP64 AI Tensor Core HPC Tensor Core BFloat16 INT8 INT4 AI HopperNVIDIA Hopper Transformer Tensor Core 8 FP16 6 Hopper Tensor Core TF32 FP64 FP16 INT8 3 CUDA Core Tensor CoreFP32(TFLOPS)FP16(TFLOPS)INT8(TOPS)TF32(TFLOPS)FP16(TFLOPS)INT8(TOPS)V100 15.7 31 62 125A100 19.5 39 78 156 312 624H100 67 134 268 495 990 1979 V100/A100/H100 Tensor Core-9-2.1 2.2 2.3 2.4 API DGX-10-XXXXXXXXXXXXXXXXXXXXXXXXXX2.1 Kaplan,J.,McCandlish,S.,Henighan,T.,Brown,T.B.,Chess,B.,Child,R.,Gray,S.,Radford,A.,Wu,J.and Amodei,D.,2020.Scaling laws for neural language transformer(NLP)Encoder-Only(E)Decoder-Only(D)Encoder-Decoder(ED)=Encoder-Only Decoder-Only=6 Encoder-Decoder=3 GPT3 parameters 175B 175*109 token 300B 300*109 GPT3 Decoder-Only D GPT3 175*109 300*109 6=3.15 1023=315 ZettaFLOPS McCandlish,S.,Henighan,T.,Brown,T.B.,Chess,B.,Child,R.,Gray,S.,Radford,A.,Wu,J.and Amodei,D.,2020.Scaling laws for neural language OpenAI 3.15 1023 24 365=3646-11-XXXXXXXXXXXXXXXXXXXXXXXXXX2.1 modelParameters token in dataset domain kZflops(1021)pf*day(1015)GoogleBERT 4810 33 NLP encoder-only 6 10 110PaLM 5400 7800 NLP decoder-only 6 2527 29250magen 110+lambda 1370 1680 NLP decoder-only 6 138 1598Parti 200+decoder-only 6MicrosoftFlorence 6.4+Turing-NLG 170 2700 NLP encoder-only 6 28 319FacebookOPT-175B 1750 1800 NLP decoder-only 6 189 2188M2M-100 150 NLPencoder-decoder3Deep MindGopher 2800 3000 NLP encoder-only 6 504 5833AlphaCode 414 9670 NLPencoder-decoder3 120 1390OpenAIGPT3 1750 3000 NLP decoder-only 6 315 3646ChatGPT 1751 NLP decoder-only 6GPT4 1750-2800+NvidiaMegatron-Turing NLG5300 2700 NLP decoder-only 6 859 9938 ERNIE 2600 3000 NLP decoder-only 6 468 5417 AIGC-12-XXXXXXXXXXXXXXXXXXXXXXXXXX2.2 GPT3 10000 V100 20%GPT3 GPT3=GPT3 V100 125TFlops 20%14.59A100 312TFlops 35%3.34=X$/X 24 X Azure$/$/GPT V100 10.796 1.350 10000 14.59 4.723A100 18.829 2.354 10000 3.34 1.8863646 125TFlops 20%10000=14.59 Days V100/A100 GPT3 Azure 10000 V100 GPT3 14.59 X 1.350$/X 24 X 10000=4.72 Million USD V100/A100 GPT3 Azure OpenAI-13-XXXXXXXXXXXXXXXXXXXXXXXXXX2.2 Azure OpenAI AIGC(PF*day)V100(A100 V100 A100 BERT 110 0.44 0.10 0.143 0.057PaLM 29250 117.00 26.79 37.894 15.130Lambda 1598 6.39 1.46 2.071 0.827 Turing-NLG 319 1.28 0.29 0.413 0.165Facebook OPT-175B 2188 8.75 2.00 2.834 1.132Deep MindGopher 5833 23.33 5.34 7.557 3.017AlphaCode 1390 5.56 1.27 1.801 0.719OpenAI GPT3 3646 14.58 3.34 4.723 1.886 Megatron-Turing NLG 9938 39.75 9.10 12.874 5.140 ERNIE 5417 21.67 4.96 7.017 2.802 A100/V100 GPT3 2.5 10000 A100 DGX A100 8 A100 20 10000 A100 1250 2.5 17.17-14-XXXXXXXXXXXXXXXXXXXXXXXXXX2.3 Scaling laws for neural language=Encoder-Only Decoder-Only=2 Encoder-Decoder=1 GPT3 parameters 175B 175*109 1000 token 175*109 1000 2=3.5 1014=350 TFLOPS McCandlish,S.,Henighan,T.,Brown,T.B.,Chess,B.,Child,R.,Gray,S.,Radford,A.,Wu,J.and Amodei,D.,2020.Scaling laws for neural language A100 TF32 156TFLOPS 350 TFLOPS 156 TFLOPS=2.24 second A100$2.354/GPT3 1000token$2.354/h 3600 2.24=$0.0015/1k token-15-XXXXXXXXXXXXXXXXXXXXXXXXXX2.4 API ChatGPT GPT4 API ChatGPT API 0.2/1k token GPT4 API ChatGPT API 0.012/1k token ChatGPT OpenAI ChatGPT$0.002/1k token$0.002/1k tokenGPT4-8K$0.03/1k token$0.06/1k tokenGPT4-32K$0.06/1k token$0.12/1k token 0.012/1k token 0.012/1k token API ChatGPT API 2014 15 token 2014 16 token token token ChatGPT 15$0.002/1k token$0.00003 16$0.002/1k token$0.000032$0.000062 GPT4-8K 15$0.03/1k token$0.00045 16$0.06/1k token$0.00096$0.00141 GPT4-32K 15$0.06/1k token$0.0009 16$0.12/1k token$0.001920$0.00282 15 0.012/1k token 0.00018 16 0.012/1k token 0.000192 0.000372 API-16-DGX 3.1 AI DGX 3.2 DGX A100 AI 3.3 DGX H100 DGX-17-XXXXXXXXXXXXXXXXXXXXXXXXXX3.1 AI DGX DGX AI AI NVIDIA DGX DGX NVIDIA Base Command AI NVIDIA DGX A100 H100 BasePOD SuperPOD A100 H100 DGX DGX-18-XXXXXXXXXXXXXXXXXXXXXXXXXX3.2 DGX A100 AINVIDIA DGX A100 AI 5 petaFLOPS AI DGX A100 NVIDIA A100 Tensor Core GPU AI NVIDIA DGX A100 DGX NVIDIA DGX SATURNV NVIDIA AI DGX A100 DGX A100-19-XXXXXXXXXXXXXXXXXXXXXXXXXX3.3 DGX H100 DGX DGX H100 NVIDIA DGX NVIDIA DGX SuperPOD DGX H100 8 NVIDIA H100 GPU 640GB 32petaFLOPS NVIDIA H100 Tensor Core GPU NVIDIA DGX H100 AI NVIDIA ConnectX-7 NVIDIA BlueField-3 DPU NVIDIA DGX SuperPOD 6 2 AI DGX H100 DGX H100-20-DGX 4.1 AI 4.2-21-XXXXXXXXXXXXXXXXXXXXXXXXXX4.1 AI AI AI/2022 WAIC 590 590 MLUarch05 IO CPU MLU370-X8 Z100 A100 INT8 256TOPS 49.1TOPS 624TOPSINT16 128TOPS-FP16 96TFLOPS 24.5TFLOPS 312TFLOPSBF16 96TFLOPS-312TFLOPSFP32 24TFLOPS 12.2TFLOPS 156TFLOPS 32GM 32GB 80GB 1228GB/s 1024GB/s 1935GB/s 250W 280W 300W MLU370&Z100&A100-22-XXXXXXXXXXXXXXXXXXXXXXXXXX4.2 TrendForce 2022 GPGPU AI 1%14 2023 8%2022 2026 10.8%05101520252022 2023 2024 2025 2026 GPGPU AI CAGR=10.8%AI AI AI AI AI AI AI 50%2021 20.9%50%&AI TrendForce-23-XXXXXXXXXXXXXXXXXXXXXXXXXXAI 3 2 28 AI AI AI AI AIGC AI AI-24-XXXXXXXXXXXXXXXXXXXXXXXXXX1 AI+AI+2023-03-182 ChatGPT AI AIGC 2023-02-08-25-负责本研究报告的每一位证券分析师，在此 申明，本报告 清晰、准确地 反映了 分析师本人的研究观点。本人薪酬的任何 部分过 去不曾 与、现 在不与，未来 也将不 会与本报告中的具体推荐或观点直接或间 接相关。刘 玉萍：计算机行业首席分析师，北京大 学汇丰 商学院 金融学 硕士。2022 年 水晶球最佳分析师第一名。周翔宇：计算机行业分析师，三年 中小盘 研究经 历，获 得2016/17 年新 财富中 小市值团队第五、第二名。孟林：计算机行业分析师，中科院信 息工程 研究所 硕士，两年四 大行技 术部工 作经验，两年一级市场投资经验，2020 年加入 招商证 券。-26-报告中所涉及的投资评级采用相对评 级体系，基于 报告发 布日后6-12个月内公 司股价（或行业指数）相对同期当地市场基准指 数的市 场表现 预期。其中，A 股 市场以 沪深300指数为基准；香港市场以恒生指数为基准；美国市 场以标 普500 指数为基准。具体 标准如 下：股票评级强烈推荐：预期公司股价涨幅超越基 准指数20%以上增持：预期公司股价涨幅超越基准指 数5-20%之间中性：预期公司股价变动幅度相对基 准指数 介于 5%之间减持：预期公司股价表现弱于基准指 数5%以上行业评级推荐：行业基本面向好，预期行业指 数超越 基准指 数中性：行业基本面稳定，预期行业指 数跟随 基准指 数回避：行业基本面转弱，预期行业指 数弱于 基准指 数-27-本报告由招商证券股份有限公司（以 下简称“本公 司”）编制。本公司 具有中 国证监会许可的证券投资咨询业务资格。本报告 基于合 法取得 的信息，但本 公司对 这些信息的准确性和完整性不作任何保证。本报 告所包 含的分 析基于 各种假 设，不 同假设可能导致分析结果出现重大不同。报告中 的内容 和意见 仅供参 考，并 不构成 对所述证券买卖的出价，在任何情况下，本报告 中的信 息或所 表述的 意见并 不构成 对任何人的投资建议。除法律或规则规定 必须承 担的责 任外，本公司 及其雇 员不对 使用本报告及其内容所引发的任何直接或 间接损 失负任 何责任。本公 司或关 联机构 可能会持有报告中所提到的公司所发行的 证券头 寸并进 行交易，还可 能为这 些公司 提供或争取提供投资银行业务服务。客户 应当考 虑到本 公司可 能存在 可能影 响本报 告客观性的利益冲突。本报告版权归本公司所有。本公司保 留所有 权利。未经本 公司事 先书面 许可，任何机构和个人均不得以任何形式翻版、复制、引用或 转载，否则，本公司 将保留 随时追究其法律责任的权利。-28-感谢您宝贵的时间Thank You 前沿报告库是中国新经济产业咨询报告共享平台。行业范围涵盖新一代信息技术、5G、物联网、新能源、新材料、新消费、大健康、大数据、智能制造等新兴领域。为企事业单位、科研院所、投融资机构等提供研究和决策参考。扫一扫免费获取海量报告