文 | 曾铃响

来源于 | 高新科技向令说（xiangling0815）

用文字说明“一个女人喊着鲜红色的折叠伞走在路上走”，系统软件展现出一张唯美意境的时尚街拍；

有一张飞机飞行的相片，想加上一段合适的响声，上传照片后，一段汽车发动机呼啸声的音频播放出去；

把蒙蒙细雨的下雨声导进进来，江南风情旧宅的萦绕雨景图呈现在了眼下……

这种，是早已建立了的多模态AI运用，横穿文本、图象、视频语音，在初中级运用作用上就己经展示出对比单模态更智能化、更当然、更多元化的风采，其市场前景被广泛关心，只不过是较长一段时间至今，多模态的进步速率一直算不上快。

如今，事儿已经产生变化。

在华为公司全连接2021期内，我国科技进步信息内容研究室、AITISA（新一代人工智能产业链科技创新经营战略）和鹏城实验室协同了公布《人工智能数据中心发展趋势市场研究报告2.0——从人工智能数据中心迈向人工智能算力互联网》，在其中确立提及了以“大算力 互联网大数据”也就能大模型（多模态多元化的能力一般都由大模型才可以更快的完成，换句话说多模态的类型主要表现为大模型）。大会上，中国科学院自动化研究所公布了世界第一个三模态大模型紫东.鸿蒙，这显然让多模态的快速发展进入了一个最新的落地式环节。

多模态大模型，已经与人工智能算力互联网相互促进，变成 双方的最好伴旅人。

多种要素下，多模态大模型已是必然趋势

伴随着AI的工艺和产业发展规划逐渐迈向深层次，多模态大模型的发展趋势十分明亮，这表现在三个层面：

最先，是AI本身的能力演变规定。

在单模态行业，比如所属NLP的跨语系汉语翻译这类运用，设备可以说早就超过人们，完成了至关重要的工艺和行业使用价值，假如要进一步向前走，多模态顺理成章就变成 AI技术性和产业链突出重围的新方位。此外，单模态自身也遭遇“专业知识冰川”的发展瓶颈，进一步智能化系统也必须 大模型来支撑点，比如对“老孙去吃饭堂”的了解，单纯性的文本数据信息难以让AI鉴别“吃饭堂”并不是把饭堂吞掉只是“到食堂吃饭”，但一张场景图片或视頻就可以非常容易表述明白并关系起來。

随后，是“数据信息”提供的规定。

数据信息是AI发展趋势的压根、是AI的“食材”，在全世界范畴内，包含国内市场上，互联网技术的产生协助AI模型练习的信息量越发巨大，他们让AI获得了迅速的热量填补。

殊不知，现阶段互联网技术音频视频数据信息快速提高，占有率超出80%，单一基本数据类型比如文字只占很少的占比，这促使更丰富的视频语音、图象、视頻等数据信息并没有被灵活运用与学习培训，以多模态的形式将更深层、更普遍地发掘这类信息的使用价值，相反，很多的各类特性的数据信息投喂也将促进AI解决单模态，向着多模态大模型不断进步。

最终，是产业链需要的逐步推进。

伴随着AI逐渐落地式，产业链要求也在往里面走，大量情景运用必须 多模态大模型来支撑点，比如，跨模态查找、智能问答、文学类文艺创作、配音、视頻引言这些。

可以说，越发在技术性方面将图象、文本、视频语音互相结合，一个运用在情景中体现的使用价值就会越为显著，也更能让AI的情景运用真真正正道别经常被诟病的“可有可无”感。

算力、架构、技术性累积三位一体，多模态大模型加快落地式

为何紫东.鸿蒙那样的多模态大模型得到完成，缘故关键有三大层面，缺一不可：

1、人工智能算力互联网变成 多模态、大模型的关键推动要素

多模态大模型的一个关键特点，是练习的主要参数经营规模展现指数级的升高。

过去的单模态，单一种类的数据信息“饲养”协助AI模型获得专业知识、迭代更新能力，相对来说模型自身并不一定过多的主要参数，就好似中小学生不断学习乘除法一样只需了解基础的数学课标准一样。

而当不一样模态添加后，一个能够识别图像、文本、视频语音的常用优化算法，不但必须 了解单模态的各类数据信息，还必须了解不一样数据信息中间极端化繁杂的联络，模型的基本参数产生澎涨，这就好似技术专业的高校理工科专业学习培训必须 综合性各种各样综合知识开展繁杂地算一样。

此刻，很显而易见，算力就变成最主要的支撑点，仅有集成电路工艺的算力才可以支撑点大模型的练习，才可以让多模态运用有更强的实际效果。

因此 ，在给予强劲群集化算力的全国各地人工智能数据中心基本上，人工智能算力互联网的发生，进一步解决了多模态大模型的算力要求难题，变成主要的推动要素。

实际上，因为大模型的计算许多情况下也有波峰波谷的难题（即测算时算力消耗极大，而不测算的时候算力闲置不用），而人工智能算力互联网又能在国内区域内认知、分派、生产调度人工智能算力，依据各核心算力資源的情形和各地区的市场需求状况开展算力动态性配制，彼此的供求关联除开“量”以外在“节奏感”上也十分切合。

相反看，多模态大模型的新技术进步及其在行业中的运用，也将促进自身做为全国各地产业群推动能量的人工智能算力互联网能够更好地发展趋势，“用其所长”与此同时技术性不断发展，由此可见二者是相辅相成的关联。

2、昇思MindSpore特点促进开发设计加快

因为模型主要参数十分巨大，光有算力支撑点还不好，多模态大模型开发设计所依靠的AI架构也必须有安装和运用算力、适用巨大主要参数的能力，而这些方面，以往世界各国现有的一些流行开发框架都只适用简易的数据信息并行处理，达到不上大模型的必须 。

此次在华为公司全连接2021上公布的多模态大模型紫东.鸿蒙，就根据昇思架构练习的，这也是业内第一个适用自动式并行处理的架构，全世界第一个汉语预练习大模型腾飞.盘古开天就源于其手。

昇思架构与多模态大模型相符合的首要技术性优点取决于，能够在培训环节中全自动将模型分割到不一样的机器设备，并有效地运用巨大的测算机器设备群集来进行并行处理练习，等同于创建了一套切实可行的神经中枢应急指挥平台，将测算每日任务以与此同时开展的方法分派下来，再大的训练科目也可以井然有序完成加快，而不是阻塞起來。

其完成全过程，是根据多层次全自动并行处理这一与众不同能力来完成的——根据数据信息并行处理、模型并行处理、Pipeline并行处理、对映异构并行处理、反复测算、高效率运行内存重复使用及拓扑结构认知生产调度，减少通讯时长的占有，完成总体迭代更新時间最少，简易来讲也是根据一系列技术革新来让并行处理更有范围和高效率，不用像别的AI架构一样全自动乃至是手动式来进行大模型的并行执行开发设计。

在全新的1.5版本升级中，昇思架构还增多了多种多样并行处理调优，适用在大群集下高效率练习千亿元至万亿元主要参数模型。

3、已经有多模态大模型有关工作经验基本

多模态能力一定创建在单模态能力的根基以上，这也是众所周知的。本次紫东.鸿蒙的开发人员即中国科学院自动化研究所，是昇腾AI的主要绿色生态小伙伴，在公布紫东.鸿蒙以前，中国科学院自动化技术研究室就早已在图象、视频语音、文字三个层面自主研发了业内先进的模型：

在这个基础上，中国科学院自动化技术研究室与昇腾AI携手并肩，还建立了一些“早期提前准备”能力的搭建，包含文图跨模态了解与转化成特性、视頻了解与叙述特性的世界领跑，这种都变成 紫东.鸿蒙的主要支撑点：

最后能够见到，全世界第一个三模态大模型紫东.鸿蒙应时而生，让多模态从普遍的2个模态一跃迈进了三模态时期，不但能够完成跨模态了解（例如图像识别技术、语音识别技术等每日任务），也可以进行跨模态转化成（例如从文字转化成图象、从图象转化成文字、视频语音转化成图象视频等每日任务）。

看上去，2个模态与三个模态好像仅有总数的区别，但在技术上，其完成难度系数或与二维世界到三维世界的超越相近，必须大批量的工艺累积与自主创新。而一旦三模态得到完成，相较为两模态，AI的互动会显得更为当然，可以离强人工智能更近一步。

总结

多模态大模型已经加快颠覆式创新产业链，在开源系统对外开放的前提下，昇腾AI扶持的紫东.鸿蒙已经踏入无人驾驶、工业生产质量检验、影视制作写作、智能医疗等应用领域，协作顾客包含比亚迪集团、魏桥创业等大型企业，一幅多模态大模型颠覆式创新古月百业联盟的景象已经进行。

从多模态大模型的进步能够看得出，将来，伴随着人工智能算力互联网、昇思架构那样的基本硬件软件开创性新项目的发展趋势，我国的AI将完成从基本技术性到产业链使用的全方位领跑，凭着技术性和方式自主创新有着真实的竟争堡垒。

*文中照片均来自互联网