Page 16 - 网络电信2024年7月刊
P. 16
3.2 算法要素分析 理数据等敏感信息的安全和隐私。大模型算力体系是一个集计
大模型算法目前正面临着开源和闭源之争。OpenAI在 算、存储、网络和管理于一体的综合体系，支持大模型的训练
ChatGPT2发布之后选择了闭源发展，而Facebook母公司Meta于 和推理。通过高性能的计算服务器集群、存储系统、高带宽、
2023年7月18日表示，将发布其开源大模型Llama的商用版本， 低延迟的网络互联、日渐完善的管理和监控系统以及安全和隐
为初创企业和其他企业提供了一个强大的免费选择，以取代 私保护机制，可以实现高效、安全、可靠的大模型训练和推
OpenAI和谷歌出售的昂贵专有模型。国内阿里云、智谱和清华 理。
EKG、百川智能等选择开源，阿里云公布1+4开源战略，推出大
模型方向的开源新势力魔搭GPT。开源生态有助于大模型的繁 3.4 生态体系要素分析
荣，但华为的盘古大模型为了其数据隐私和商业收益选择闭 国内大模型中，参与主体站位于架构层、模型层和应用层
源。 3种不同层级。首先，架构层的进入门槛是最高的，需要具备
表1 国内外大模型数据集分析
3.3 算力要素分析 设计4D混合并行策略能力以及并行策略与智算硬件协同，功能
大模型的算力体系是指为实现大模型训练和推理而构建的 有点类似大模型基础设施，主要参与对象是各大云计算厂商；
计算资源和基础设施体系，由5个部分组成。 其次，模型层的一大重点是基础大模型，对算力、算法、数据
(1）计算服务器集群。大模型算力体系的核心，由大量高 和人才的要求非常高，一般的创业公司资金与能力都达不到，
性能的计算服务器组成。 所以部分公司选择在基础大模型之上做一些微调，有针对性地
(2）存储系统。模型参数、训练数据和推理数据等需要一 推出行业大模型；最后，应用层是基于前两类大模型再调用
个强大的存储系统进行存储。 API开发应用，这是大部分创业公司能做的事。如大众所熟知的
(3）网络互联。用来实现计算服务器之间的数据传输与通 ChatGPT，其实是OpenAI对GPT-3.5微调后开发出来的对话机器
信。 人应用。
(4）管理和监控系统。用来实现对计算服务器、存储系
统及网络互联的监控和管理，可以发挥实时的性能监控资源分 科技公司在布局时，往往会采用交叉覆盖三大层级的方
配、故障诊断和任务调度等功能。 式。基础做法是先发布通用大模型或行业大模型底座，其他公
(5）安全和隐私保护。用来保护模型参数、训练数据及推 司会利用这些基础大模型，再结合自身拥有的行业数据微调出
属于自己的大模型应用。有野心的头部企业实现架构层和模型
网络电信 二零二四年八月 13
