华泰证券：GPT-产业梳理：GPT-1-到-ChatGPT

计算机华泰证券HUATAI SECURITIESChatGPT:三个阶段打造智能对话交互式Al模型ChatGPT从美生到现在，经历了三个大版本阶段的波进。1)GPT-1阶段：2018年6月，OpenAl发表论文《Improving Language Understanding byGenerative Pre-Training》,标志着GPT-1的诞生。论文首次提出生成式预训练概念，基于Transformer架构的解码器搭建训练模型。训练过程包括预训练和微调两个阶段，模型参数量为1.17亿.2)GPT-2阶段：2019年2月，论文《Language Models are Unsupervised Multitask Learners》发布，GPT-2诞生。GPT-2取消了GPT-1中的有监督微调阶段，将其变成了无监督的模型，采用更大的参数和多任务(multitask)学习进行预训练，提高了模型面对未知任务时的推理能力(zer0-shot零次学习)。GPT-2-训练参数量为15亿。3)GPT-3阶段：2020年5月，OpenAl发表论文《Language Models are Few-Shot Leamers》,提出GPT-3模型。GPT-2模型中的zero-shot在某些任务上性能不及预期，因此OpenAl在GPT-3中提出了few-shot少量(10-100个)样本学习，提高了模型的表现性能。在模型参数量上，从GPT-2的15亿提升到1750亿。2021年8月，OpenAl推出基于GPT-3的通用编程模型C0dex,可以将自然语言转换翻译、解释和重构为代码。2022年3月，OpenAl将基于人美反馈的强化学习(RLHF)技术引入GPT-3,通过奖励(reward)机制进一步训练模型，提高模型性能和准骑度，InstructGPT诞生。InstructGPT训练参数量仅13亿，与GPT-3的1750亿相比大大减少，能给出更符合人美思维的输出结果。4)ChatGPT阶段：2022年11月，OpenAl正式推出了对话交互式的ChatGPT。本质上，ChatGPT和InstructionGPT为同代产品，只是在InstructGPT的基础上增加了聊天功能，同时向公众开放使用，产生更多有效标注数据。ChatGPT上线5天便突破100万用户。目前，微软已整合ChatGPT推出新版浏览器EDGE和搜索引擎Big。谷歌也发布了对标产品Bad。此外，国内厂商如百度、京东、阿里等也宣布进军“ChatGPT行业”。国表1：从GPT-1到ChatGPT波进路线2018.6-2019.22019.2-2020.72020.7-2022.112022.11-GPT-1GPT-2GPT-3ChatGPTGPT-1GPT-2GPT-3CodexInstructGPTchatGPT2018.62019.22020.52021.82022.32022.1111715花:1750亿12013亿:20亿主战李美们·微款投资10亿美元·提陕GPT-3APL,·对GPT-3进行微调·发布GPT-3C0dex新板更新了2021年提出·先后发布参数为124M第一次商业探以改善模型本，支特端辑内容浅将内的embedding在文本355M、774M的小中·基于GPT-2架构·开发人员现可以报据容插入现有文本煌康、代玛煌求和大模型证明语言模型在图白己的数据对GPT-3·Codex道过AP为70个不·对774M参数GPT-2语像补全和采样上问进行微调问应同程序提供各种同例言模型进行了微调样有不错的效果·训练GPT-3像人一支持,OpenAl和微款扩大合作伏件关系支战·发布泉数大小为1.5B·向搬款提供GPT-3样使同基于文本的web。训棒“评论写作”模型·ChatGPT Plus.务的型许可，可同于微软测览器，并道过训练探讨AI协助人奏监督A的时产品和服务奖励模型提高准痛性应同前景推出。售价20美元/和有同性·超300个应同程序月，是又一次商业接入GPT-3的API.·在AP可I中引入文本和代探索平均每天生成45亿码embedding,将文微合ChatGPT单词本等内容转变创数宇推出新瓶Bing序列OpenAI资补未源：OpenAl官网、arv论文、华泰研究我们将对GPT的每个发展阶段进行详朝复查和模型拆解，对枝术和理念进行潮漂。免袁声明和城露以及分析师声明是捉寺的一部分，请务必一起阅读。3