纵观AI发展,算法的技术突破拉动了算力的需求甲子光年口2015-2016年左右开启了大模型时代,体的训练计算量较之前的时期大2到3个数量级。从2022年底,随着ChatGPT成功带来大规模参数通用大模型相继发布这些大模型的训川练需要干亿、甚至万亿级参数,以及上千GB的高质量数据,大模型的训练送代将极大地拉动了智能算力的需求,口2012-2023年算力需求了数十万倍,A1算力需求远超摩尔定律,大模型对算力的需求每年特续增长,未来10年A1算力需求将再增长500倍模型规模指数级增长推动算力需求爆发2010前深度学习时期之前,训练计算力需求缓慢增长,算力翻倍需要21.3个月●GPT-4●ChatGPT2010-2022深度学习不断取得进展,算力翻倍仅需要7个1e+4月,所需算力量级由TFLOPs增至EFLOPsphaGoZero●1e+3●GPT-3训练算功(FLOPS)需求与人工智能发展关系图1e+2Neural MachineAlphaZeroTranslation●1-241e+17 Dota 1v1●Xce ption1e+010+1语116●DeepSpeech2训诗算力藏求1e-1VGGRes Net屯FLOPS11dVisualizing andUnderstanding1e-2ConvNets●Google Ne1410●1e-3NlexNett06+41e-41819000201220132014201520162017201820192020202120222023B据来源:《COMPUTE TRENDS ACRO5 S THREE ERAS CF MACHINE LEARNING)Jaime Sevillal等著、甲子光年图库0结题理.2024123
暂无评论内容