2021年12月14日，OPPO宣布公布第一款自研NPU芯片——马里亚纳MariSilicon X。这款芯片称之为“OPPO未来十年影像的开场之作”，其面世“意味着OPPO在计算影像行业初次建立了全链路竖直融合……将来，马里亚纳MariSilicon X将和通用性服务平台一起组成了手机上关键计算的上下人脑，宣布打开‘一机双芯’时期。”

马里亚纳MariSilicon X芯片将专业运用于影像计算，并具有四大前沿科技。

1.马里亚纳MariSilicon X集成化了自主研发的MariNeuro AI计算模块，给予达到18TOPS的较大合理算力，及其业内先进的11.6TOPS/W的能耗等级主要表现，朝向OPPO自研AI优化算法，完成最有效的计算加快和功能损耗提升。例如在运作OPPO自主研发的AI减噪优化算法时，马里亚纳MariSilicon X可以以4K的规格型号，完成40fps的响应速度，对比于先前Find X3 Pro通用性NPU适用的2fps速率，完成了20倍的特性跃居，与此同时功能损耗减少超出50%，展现了越专用型越高效率的明显优点。

2.该芯片的MariLumi影像控制部件适用最大20bit的解决位宽，并适用令人震惊的20bit Ultra HDR，是现阶段旗舰级服务平台HDR工作能力的4倍。在及时展现出的界面中，最靓与最暗之处的亮度对比度极值点做到100万比1，几乎与人的眼睛真正的体会一样。

3.它将繁杂的AI优化算法及其20bit HDR结合所有外置到RAW域开展，让AI计算不会再受制于数据量的耗损，为全部影像链接輸出优质的图象数据信息。与传统式后面计算对比，它的即时RAW计算可以产生8dB的图象频率稳定度提高。

4.根据双通道设计方案，马里亚纳MariSilicon X初次建立了对RGB和W清晰度的隔开解决，利润最大化运用每一种清晰度特点，释放出来RGBW列阵的所有发展潜力。马里亚纳MariSilicon X的RGBW Pro方式产生了8.6dB的频率稳定度提高，及其1.7倍的分析力提高，在传感器尺寸规格型号也没有改变的条件下完成大幅度的影像实际效果提高。

汇总来讲便是，在四项前沿科技提升的支持下，马里亚纳MariSilicon X以与此同时适用4K 20bit RAW计算 AI Ultra HDR的全新升级规格型号，OPPO官方网声称它将“为计算影像塑造了全新升级规范，让安卓系统AI短视频初次有着4K主要表现，也让4K短视频，第一次有着AI工作能力”。

那麼OPPO为什么要自研影像NPU芯片？马里亚纳MariSilicon X产品研发身后又有什么小故事？带上这种疑惑，大家特意访谈了OPPO芯片商品高級主管姜波老先生。

问：能不能介绍一下项目立项以前，OPPO针对NPU芯片拥有什么样的思索与整体规划？

姜波：NPU并不像CPU和GPU，CPU很有可能大伙儿全是在使用ARM架构，可是NPU各家都不太一样。我从业半导体业好多年了，(我觉得)NPU在所有行业领域里遭遇2个问题：一是NPU应当用于干什么，第二个问题是NPU应该怎么做？大家的马里亚纳MariSilicon X得出了回答。

第一，在手机上，计算影像实际上是在各种各样运用下对算力规定最大的一部分，因此专芯专用型或是提升的方位应该是这一方位。这也是大家明确提出来的关键思想观点。马里亚纳MariSilicon X它实际上是影像专用型NPU，从相机传感器进去的最原始记录，根据它去做解决，在处理完以后，再把更快的整理过的数据信息赠给SoC。之前的HDR也好、减噪方式 也好，实际上这种大家不用交给SoC主芯片去干了。从全部影像的链接而言，从感应器到马里亚纳 X，再到后面通用性服务平台，总体的影像品牌提升才算是大家的目地。

第二，有关如何做NPU。我觉得应当依据应用领域真真正正把它的合理算力释放出，因此它的能耗等级是跟应用领域有关的。由于做一个通用性的NPU，实际上它难以对焦某一个应用领域，可是做为OPPO而言，我们都是终端设备生产商，大家更搞清楚用户痛点在哪里，客户情景的價值点在哪里。因此大家会依据这一应用领域去相对应地设计大家的硬件配置构架，去提高相对应的能效等级。也就是说我们都是提高合理算力。这儿不是说最大算力，最高算力在手机NPU上来堆得话是非常容易的一件事，只需把芯片总面积慢慢增加就好了。可是芯片的能耗等级真真正正要保证那么高，是特别大的挑戰。

问：能不能请您实际讲下影像NPU和传统式ISP中间的差别呢？

姜波：马里亚纳 X对焦在一个根据NPU去处理释放出来计算影像的发展潜力的问题，这也是人们的聚焦点。大家觉得全部影像的发展趋势往后面看来，实际上对焦在计算影像上。而计算影像借助的也是AI，AI真真正正可以逐步提升它的限制。现阶段在图片的呈现上而言，各种各样芯片都做得很非常好。但恰好是由于AI算力或是对于影像的专门设计方案性每家差别非常大，因此造成它在解决包含短视频、乃至“眼见为实”的感受时，由于短视频和照相的数据信息数量级差别，造成现在的客户体验很有可能不足好。大家也是期待向这一角度去勤奋，去填补照相视频中间的感受间距。自然照相拥有更强算力以后，ISP一样可以做得更强，这是一个核心。

刚刚提到ISP和NPU有什么区别。ISP实际上是全部影像解决链接中的一部分，它里边有很多控制模块。例如，假如仅仅用自研NPU跑自研优化算法，封装形式一下，很有可能还可以称其为NPU，对不对？但我们要做的是完善的影像解决链接。马里亚纳 X里全部的影像控制部件，最后目地要把AI的完美工作能力显现出来，这也是人们的聚焦点，也是为什么大家把它精准定位成一个影像专用型的NPU的根本原因所属。

问：听闻产品研发流程中一次性流片(试生产)就成功了是不是？

姜波：一般的芯片流片以后很有可能还需要做一个小整修。大家那时候测后就拿去流片，回家以后不仅大家较为诧异，连大家的合作方都较为诧异，说：“OPPO确实也不改了没有？”我讲：“不变了，一次就立即硬件配置批量生产，手机软件再修再调”。这真的是蛮完美的一个事例，应当说也较为好运。

问：新品发布会上您详细介绍马里亚纳MariSilicon X的情况下心态有一些兴奋，是不是那时候让您回想到了产品研发流程中的艰苦？

姜波：坦白说，自己较大的一个感受，便是做自研芯片这样的事情，除开有时间和钱的资金投入，更主要的是优秀人才，人可能是最重要的！由于相对性而言我们都是幸不辱命，和传统化的芯片生产商对比，大家建团的時间特别短，突破口也是很险峻的一条曲线图。大家每一个精英团队组员从一开始就担负了好多好多的工作压力，由于大家一开始对标底规范，就要这件事难以。实质上假如做一个平凡的商品，简易做一颗芯片用上，这也是相对性简单的一件事。可是大家为自己制定了一个十分高的挑戰，例如2019年时大家制定的一些标值规范，就算到了今日，坦白说最一流的SoC都还做不到。因此这代表着大家一开始，大家都怀着追求极致的核心理念。参加这一事儿的每一个人放弃都许多，尤其是大家的技术工程师，出自于责任感，真的是在非常长一段时间里礼拜天基本上都把自身的時间放到工作方面。

问：自研NPU是不是也是OPPO追求极致的一种主要表现？

姜波：如今SoC上也是有影像，也有NPU，但那就是一个非常松弛的构造，它并没真真正正做到完美。这正中间无论是NPU的软件架构设计也好，或是全部构架里边的通道设计方案也好，这种都是造成有一些应当要做到的事儿沒有搞好，因此马里亚纳 X从一开始最开始设计方案的过程中就考虑到了这种点，如何去处理客户的困扰——换句话说一些客户情景下的困扰。OPPO实际上是一家对商品追求极致，把用户价值也放到第一位的企业。后边的商品如果有梯度下降法得话，大家也期待再进一步把它推倒更完美的一个点。可是与此同时大家也想注重一下，计算影像这一跑道是OPPO自身认同的一个关键跑道，此次既是以往十年影像探寻的汇总，也是后边的起始点。