20230330_方正证券_互联网传媒行业证券研究报告：ChatGPT的挑战者大模型的“安卓时刻”_36页.pdf
ChatGPT”S1220522040001 2023 3 30 Meta-LLaMA 1 LLaMA 2 LLaMA Meta AI AI Yann LeCun 3 Meta Meta OPT OPT-IML LLaMA 4 LLaMA&Meta LLaMA 5 LLaMA LLaMA 6 LLaMA Alpaca Alpaca Meta LLaMA 7B 500 52K ChatGPT vs LLaMA&1 LLaMA-13B GPT-3 10 2 LLaMA,LLaMA 3 GPT-3 GPT-3 PaLM LLaMA ChatGPT&SD:1 2 3 iOS 4 Stable Diffusion StableDiffusion WUAZuNrMsRnMtNmPrMoRmN7N8Q7NmOpPsQnOjMoOtPiNqQtQ8OrQqPvPrNyRNZpOtM 1 1.1 360 1.2 1.2.1 GPU 1.2.2 2 2.1 AI 2.1.1 ChatGPT Siri ChatGPT API ChatGPT 2.1.2 3 3.1 AI ChatGPT ChatGPT 3.2 AI PDF WPS Meta-LLaMA ChatGPT vs LLaMA&SD:Meta-LLaMA LLaMA(Large-scale Language Model for Artificial Media)Meta 2023 2 24 Meta(AI)LLaMAChatGPT Transformers 70 130 330 650 20 Token LLaMA-13B GPT-3(175B)10 LLaMA 1.1 LLaMA Facebook Meta LLaMA LLaMA Yann Facebook AI Research FAIR AI 2013 Facebook CNN Geoffrey Hinton Yoshua Bengio Facebook IJCV PAMI IEEE Trans ICLR(International Conference on Learning Representations)Yoshua Bengio AAAI 2018 ACM Geoffrey Hinton Yoshua Bengio 1.2 LLaMA AI Yann LeCun Yann LeCun Open AI 01 02 03 04 MetaAI Meta AI 2018 1.3 Meta OPT LLaMA 2022 5 Meta AI Open Pretrained Transformer(OPT-175B)1750 OPT 125M 350M 1.3B 2.7B 6.7B 13B 30B 175B)12 Meta OPT-IML 30B 175B LLaMA GitHub Meta OPT OPT Open Pre-trained Transformer Language Models Transformer OPT-IML OPT-IML Open Pre-trained Transformer Meta 2000 1750 LLaMA LLaMA Large Language Model Meta AI 2022 5 2022 12 2023 2 25 4chan LLaMA Github 15.7K Meta LLaMA Common Crawl C4 Meta LLaMA LLaMA 1.4 LLaMA&Github GitHub Meta LLaMA 1.5 LLaMA Github GitHub Github Star PaLM-rlhf-pytorch PaLM RLHF 6.7k OpenChatKit kit 200 60 6k text-generation-webui GPT-J 6B OPT GALACTICA LLaMA Pygmalion gradio web UI 4.3k KoboldAI-Client AI AI 1.6k stanford_alpaca LLaMA 14.7k ChatRWKV RWKV 100%RNN 4.4k ChatGLM-6B General Language Model(GLM)62 9.5k LLaMA 70 650 130 LLaMA GPT-3 14.2k LLaMA LLaMA LLaMA GitHub LLaMA LLaMA 1.6 LLaMA Alpaca CSDN Alpaca Alpaca Meta LLaMA 7B text-davinci-003 52K Token OpenAI Stanford_alpaca GitHub 1.6 LLaMA Alpaca GPT CSDN self-instruction GPT self-instruction InstructGPT GPT3 33%LLaMA Alpaca 1.6 LLaMA Alpaca GitHub Alpaca 500 52K Alpaca 52K Instructioin 52K Input 40%Output text-davinci-003 Alpaca text-davinci-003 prompt text-davinci-003 Alpaca 20 self-instruct 21.7M 1.6 LLaMA Alpaca GitHub OpenAI 5 1 260012 52002 open AI 1000token 0.002=token 17786930 35.57 ChatGPT vs LLaMA&2.1 LLaMA GPT LLaMA:Open and Efficient Foundation Language Models ArronAI AI LLaMA-13B GPT-3 10 token GPT-3 token LLaMA LLaMA M2 MacBook M1 MacBook 4GB RAM Raspberry Pi 4 LLaMA Meta Transformer GPT-1 1.17 12 5GB 12 GPT-2 15 48 40GB 48 GPT-3 1750 96 45TB 96 LLaMA GPT 2.2 LLaMA LLaMA:Open and Efficient Foundation Language Models LLaMA LLaMA650 A100GPU 102 1750 BLOOM LLaMA-65B 108 OPT-175B LLaMA-65B 81 2048 A100 LLaMA-7B 2 1 8.2 LLaMA-7B 70 LLaMA 2048 A100 LLaMA 7B 1.0T(tokens)2048 A100-80G 2 LLaMA 13B 1.0T(tokens)2048 A100-80G 3 LLaMA 33B 1.4T(tokens)2048 A100-80G 11 LLaMA 65B 1.4T(tokens)2048 A100-80G 21 LLaMA OPT&BLOOM 2.2 LLaMA DGX A100 20W DGX A100 8 A100-80G GPU 175B DGX H100 40W A100 10 LLaMA OPT&BLOOM 2.2 LLaMA LLaMA 7B Github 4 A100-80G 4090 5 V100-32G(4.9W),A6000-48G(3W),RTX4090-24G(1.5W)13B A100-80G 33B,65B A2-16G 9000 T4-16G 10500 A10-24G 16500 A40-48G 28500 Atlas 300I i20 k200 2.3 GPT-3 650 LLaMA PaLM-540B GPT-3 1750 GPT-3 1750 LLaMA-65B 2.7 LLaMA:Open and Efficient Foundation Language Models InfoQ 2.3 GPT-3 PaLM Meta Platforms LLaMA 5-shot 5 LLaMA 13B STEM GPT-3 5-shot LLaMA:Open and Efficient Foundation Language Models InfoQ 2.3&LLaMA OPT-175B+10+6 TruthfulQA TruthfulQA LLaMA GPT-3 CrowS-Pairs TruthfulQA LLaMA:Open and Efficient Foundation Language Models NLP SQL table schema SQL LLaMA ChatGPT LLaMA 2.3 Mini-post:first look at LLaMA&SD:Meta-LLaMA 2023 1.()2.Fine-tuning()Delta-tuning(3.1 AI Meta-LLaMA Fine-tuning Delta-tuning Fine-tuning Stanford Meta-LLaMA Alpaca Delta-tuning Addition-based Specification-based Reparameterization CSDN Delta-tuning Fine-tuning 3.2 HTC 3.3 iOS InfoQ 2023 Stable Diffusion Stability AI 2022 Stable Diffusion Stable Diffusion Windows Stable Diffusion M1 Mac iPhone Stable Diffusion UI APP Stable Diffusion Photoshop Figma GIMP VR Stable Diffusion 3.4 StableDiffusion Stable Diffusion HsuDan Stable Diffusion StableDiffusion StableDiffusion 3.4.1 Stable Diffusion Github Waifu Diffusion Elysium Anime Anything Zeipher Basil_mix Chillout Mix StableDiffusion StableDiffusion StableDiffusion StableDiffusion Novel AI Chillout Mix StableDiffusion 3.4.2 Stable Diffusion Github Civitai StableDiffusion ControlNet 插 件发 布，通 过固定 姿势 的方 式提 高模 型 的适用 性。Chillout Mix 拓展 模型 发 布，在StableDiffusion 基础 上可以 生成 真人 风格 的图 片。2022 年8月，stability AI宣布 开源Stable Diffusion模型 供公 众使 用。2022 年10 月，基于StableDiffusion 开 发的Novel AI 二次 元文 生图 模 型发布，引 起大 量关 注。2022.2 2022.10 2023.2 2023.2 37 1 360 2 2.1 GPU 2.2 1 AI 1.1 ChatGPT Siri ChatGPT API ChatGPT 1.2 1 AI ChatGPT ChatGPT 2 AI PDF WPS 38 C3 20%10%-10%10%10%300 300 300 THANKS 48 6 71 2 31 12 2 3 36 37 前沿报告库是中国新经济产业咨询报告共享平台。行业范围涵盖新一代信息技术、5G、物联网、新能源、新材料、新消费、大健康、大数据、智能制造等新兴领域。为企事业单位、科研院所、投融资机构等提供研究和决策参考。扫一扫免费获取海量报告
