DataFunCon#2023 2023.11.24 2.3.4.1.XVFUvMrMpMqRpRtQnQsNpO6MdN8OnPrRoMqMkPoOpOiNnNpM9PqQvNvPnOoQvPpMtM 01 02 03 GPU 5 2+=LLaMA2-13B LLaMA2-70B 1 Llama 2:Open Foundation and Fine-Tuned Chat Models Meta2 Textbooks Are All You Need II:phi-1.5 technical report Microsoft Research 70B 13B 7BGPU Hours1 1,720,320 368,640 184,32048 187 40 20 LLaMA-2 2T Tokens GPU Hours)GPU 70B 13B 7B 129G 26G 14G 2*80G A100 1*40G A100 LLaMA-2 面向金融 应用场 景，定向增强摘要、逻辑、计算等金融场景核心能力 增量预训练和指令微调阶段，加入大量金融数据，提升金融理解能力 使用百万级经人工构建和校验的高质量指令数据进行指令微调和对齐 扩充中文词表，并使用大量高质量中英文语料进行二阶段增量预训练5 9 11-70B-70B-chat 8-bit 4-bit 70B C-Eval CMMLU 70B 70B/70B NL2SQL*Xuanyuan-70B 2023 9 21 MODEL MMLU CEVAL CMMLU GSM8K MBPP BBH FinanceIQXuanYuan-70B 70.9 71.9 71.10 74.4 43 71.4 67.56GPT4 83.93 68.40 70.95 91.4 61.8 86.7 60.05ChatGPT 69.1 52.5 53.9 78.2 60.2 70.1 44.2Llama2 68.9 52.10 53.11 63.5 39.6 64.9 36.02Baichun2-13B-base 59.17 58.10 61.97 52.6 30.8 49 51.2Qwen-14B 67.9 71.7 70.2 61.6 39.8 53.7 53.29|RM|Html Epub/PDF HTML PDF MinHashLSH 10TB 1TB 70%100%60%35%32%Unicode 7k 39k,48%Token 5k-8k Token 20k-100k 50%50%40B Tokens 25%60%15%300B Tokens 1:39:14:1CommonCrawl|BooksStackexchange|GithubWikiPedia|Arxiv|.:MMLU:CEVAL:FinanceIQ 80%20%8 50 4 20 Self-instruct Self-QA1 Evol-instruct2 1 Unsupervised Knowledge Guided Language Model Alignmen，Duxiaoman.2 Empowering large language models to follow complex instructions,Microsoft,Peking University.SFT Human:Assistant:.Human:Assistant:.System MessageHumanAssistant Next Token Prediction Mask Response 21 A large chinese financial chat model with hundreds of billions parameters Duxiaoman.2 Effective long-context scaling of foundation model,GenAI,Meta.:1:+(10M+)(200k)=4 1 prompt prompt promptLLM prompt res A res B prompt res A res B prompt res A res B AB AB A=BRMPairwise Data Reward Model *ETF ETF*911*110*ETF Exchang traded fund*NLU Query NLGPrompt RankingPrompt LLM =*/(+)050010001500200025003000350040007B 13B 70B+19%+12%26%tokens/gpu/s FlashAttention 121%87%bs 3 36%bs ZeRO+26%128 256 384 512 640 94%97%99%98.5%512 100%GPU:I/O 8192 800Gbps 3 I/O 50%I/O 30%Tree AllReducePrefech&Overlapping 1 Don t Make Your LLM an Evaluation Benchmark Cheater C-EVAL+=GPT4 1GPT4 C-EVAL 20 C-EVAL CMMLU MMLU AGIEVAL MATH.GSM8K Humaneval BBH VS GPT4 VS A VS B SFT-V1 VS SFT-V2 VS RLHF-V1 VS RLHF-V2 CheckPoint+LOSS PPL C3 EPRSTMT.CommonsenseQA BOOLQ.PIQA SIQA.CEVAL CMMLU.MATH GSM8K.Humaneval MBPP.Benchmark+pipeline pipeline Case:GSB /23 10w+14 600+FinanceIQ 10 19 500+KPI FinanceIQ FinanceIQ(CICE)(CPA)FinanceIQ 10 36 7173/FinanceIQ|客情摘要 客服助手 传播洞察 智能投放 NL2SQL 投研投顾 智能信审 风险模拟 智能搜索 知识助手 代码生成 单测生成 借8 万吧，借个 四、五个月，这个价格能 便宜点 儿不？这样吧，如 果 您 借满6 个月 呢，利息可以给您打个9 折；如果提前还，您还按原来的价格，您看可以吗？&APP 1 2 AI AI 25%这个新客户非常重要，项目可以承受一定程度的亏损，但是要保证公司整体利润底线不受影响，那么报价最低是多少？本季度目标利润率是10%。根据最近三个月的财务数据统计，总营收为2.1 亿元，毛利3360万，实际利润率为16%；我们的投标价格底线最低下降至3849 万时，不会影响公司整体毛利率目标。实际营收(万元)实际毛利(万元)实际利润率21000 3360 16%Q3 实际营收(万元)实际毛利(万元)实际利润率28000 2800 10%Q3 5621384918%10%0%2%4%6%8%10%12%14%16%18%010002000300040005000600070008000 AI 方法+AI 能力 BI 方法+AI 能力 发生即获取 主动按需收集业务数据 自然语言即可分析 基于数据自动优化运营 BI BI 40%20%Python java sql javascript go html c+css 金融监管治理有 几个 要素，以及 每个 的含义和重要性？金融监管治理涉及的四个核心要素是：独立性、问责制、透明度、操守。首先，独立性指的是监管机构具有一定的自主权，使其能够免受政治层面和被 监管实 体的干扰，以确保公平、有效地进行金 融监管。监管机构的独立性不仅要求专业性技 能，以便在复杂情况下迅速做出反应，还要求 其能够 使自身免受政治干预，增加监管行为的 透明度 和稳定性，由此提高政策制定的可信度。其次，问责制是监管治理的重要环节，然后，透明度也是极为重要的，最后，操守是指监管机构和监管人员需要坚守的行为与规范。金融监管治理的四个要素相互影响、相互促进，共同构建了金融监管的基础环 境。要 统一提升，需要多元化的改革与整合，构建高效、公正的金融监管环境。-ChatMan 2 0%86%+|.|NLP|.|.|.-70B-70B-chat-13B 5 9 11 12 扫 码访问GitHub 页面THANKS