嘉楠科技发布高性能图像及语音处理AI芯片勘智K510
嘉楠科技正式发布 AI 芯片勘智 K510。该芯片定位于中高端边缘推理市场,搭载自主研发 IP 核的升级版本 KPU2.0,采用独创计算数据流与复用方式,在算力提升 3 倍的同时降低芯片功耗。K510 集成新一代图像处理单元,搭载 3D ISP,支持 TOF 深度摄像头,以及 2D/3D 降噪、WDR 宽动态、鱼眼矫正和硬件 3A 等功能。在应用方面,K510 支持高清视频会议、高清航拍和机器人等边缘侧场景。
据获悉,官方介绍,K510 在总线架构、IP 核心与视频子系统推出全新设计,相比一代芯片算力提升 3 倍,经典视觉算法大幅度优化,自研高速 PHY 接口理论带宽 10GB/s,8 位数据压缩率 50% 以上,极大优化了勘智 AI 系列在机器视觉场景的应用性能。
总线结构是一款 SoC 的主要特征。为了解决 SoC 总线地址空间有限以及芯片受单一时钟的影响,嘉楠科技在 NoC 总线架构中设计了可扩展的地址空间,使每个 IP 核工作在特定的时钟域。
根据相关性,K510 将系统时钟结构划分成多个时钟域,从而解决分状态时钟控制问题。把整个系统划分成多个可支持上下电操作的电源域,从而解决了分区域控制能耗问题。
在 ISA 方面,K510 沿用 RISC-V 双核 64 位 CPU 架构,并集成了数字信号处理器 DSP 来辅助加速 AI 应用。不同的是,嘉楠科技为 DSP 设计了专用的片上存储,并且在双核 CPU 与 DSP 之间加入 mailbox 通信模块,以实现对系统各部分的灵活调度。
K510 自主研发 IP 核 KPU2.0 融合了嘉楠科技在算法、软硬件和编译器的最新设计,集中突破 AI 芯片设计中广泛存在的“存储墙”和“性能墙”的问题。
首先是“存储墙”,计算过程需要把数据从存储器搬运到处理器才能进行运算。而存储器的吞吐性能往往滞后于处理器的性能增长,直接影响了计算效率的提升。嘉楠科技在 KPU2.0 中采用了全局本地缓存设计,通过 SRAM 阵列满足神经网络中不同层级对内部访问带宽和存储的需求。
其次是“性能墙”,为了提升计算效率,KPU2.0 采用了动态 3D PE 阵列。第三个维度支持多种方式共享传递数据,并实现多个维度上的计算映射,提高 PE 阵列的利用率。同时也可以动态开启或关闭每一个 2D 阵列,并根据不同层级对带宽和计算资源的需求进行调整。
结合动态 3D PE 计算阵列和灵活的全局本地访存设计,嘉楠科技提出的计算数据流,计算卷积不需要进行 im2col(image to column)数据重排,提升计算效率;而通过多级存储设计,K510 可以增加卷积计算的数据复用,从而减少数据的读取次数,降低芯片功耗。
同时,KPU2.0 还搭载了可重构的 SIMD 加速单元,通过创新的 meshnet 网络可以灵活配置支持各种激活函数、pooling 和 resize 等算子。
K510 搭载的高速 PHY 接口由嘉楠科技自主研发。LPDDR4 支持 32 位双通道,最高频率 2700MHz,理论最大带宽 10GB/s。MIPI D-PHY spec v1.2, 支持 4 通道输入,每通道峰值速率达 2.5Gbps。
与第一代芯片相比,K510 在帧率和外设方面都有大幅优化。此外,K510 还支持浮点 BF16 计算,在不适合进行模型量化的场景相比同类产品更具优势。
在外设方面,K510 搭载 MIPI CSI2 和 DVP 接口,可同时支持最多 3 个摄像头输入。MIPI CSI 接口支持 1x4 lane 和 2x2 lane 模式,灵活支持各种 MIPI 摄像头。K510 MIPI 支持 DPHY v1.2 标准,最高速率每 lane 可达 2.5Gbps,支持 RAW, RGB, YUV 等各种流行格式。
K510 内部还集成了 3 个图像处理单元 ISP, 其中一个 ISP 支持 3D 功能,无需软件参与,直接依靠硬件完成深度数据的提取加工,相比软件处理深度信息方式不但节省了巨大的 CPU 开销,性能上也会有很大提升。
为进一步提高芯片对算法模型的适配,嘉楠科技在 K510 的编译器和软件上联合优化带宽需求,对算法进行量化压缩。
K510 在设计上针对中间层数据和权重的分布特性采用不同的压缩算法。针对中间层计算数据,利用相邻数据的相关性进行无损压缩,即便 8 位数据的平均压缩率也能达到 50% 以上,并且基本不损失精度;对权重数据则采用稀疏压缩,在网络进行稀疏训练的情况下,压缩率也可以到 50% 以上。
在软件方面,K510 支持丰富的网络模型算子,包括常见的 CNN、RNN 和各类向量计算和数据处理操作。支持裸机、嵌入式 RTOS 和 Linux,并且移植了 OpenCV Python Numpy。同时,K510 支持 TensorFlow、PyTorch、ONNX 和 TVM 等主流深度学习框架,兼容性更强。
得益于架构优化和高清 MIPI 的强大配置,K510 支持 2~3 路 2K 显示和 VPU 图像拼接,以及业内最前沿的 TOF VSLAM 视觉导航技术,快速实现对障碍物的测距和避障,可用于无人机航拍、高清视频会议和机器人等多个场景。
【来源:IT之家】【作者:骑士】
美国民众拍到UFO舰队后被证实SpaceX星链卫星关于所谓UFO的报告,似乎每天都在上演。日前,美国多家电视台接到民众电话报告,称在夜空中拍下一排排的发光体,如珍珠一样,一个挨着一个,怀疑是不是UFO地外舰队,地点包括德克萨斯州南
联发科今年会不断冲击高端旗舰市场昨日,联发科(MediaTek)举办在线发布会,发布了全新6nm5G移动芯片天玑900。作为一款面向中端市场的产品,天玑900采用八核CPU架构设计,包括2个主频2。4GHz的Ar
ViaSat要求美国阻止SpaceX发射更多星链卫星据国外媒体报道,美国太空探索技术公司SpaceX的星链卫星部署可能面临新的障碍。据报道,SpaceX星链卫星网络的竞争对手卫星互联网提供商ViaSat已经要求美国联邦通信委员会(F
6月2日!华为将正式发布鸿蒙手机操作系统华为技术有限公司对外宣布,将于6月2日晚8时举行线上发布会,正式公布可以覆盖手机等移动终端的鸿蒙操作系统。据了解到,鸿蒙OS是华为的自有操作系统,在2019年8月举行的华为开发者大
华为公布鸿蒙手机操作系统开机画面视频5月25日消息今日,华为正式宣布,将于6月2日2000召开鸿蒙操作系统及华为全场景新品发布会,正式公布可以覆盖手机等移动终端的鸿蒙操作系统。同时,华为还公布了鸿蒙手机操作系统开机画
搜狗发布全球首个手语AI合成主播5月17日,搜狐科技5GampAI峰会在北京举行,搜狗CEO王小川应邀出席发表主题演讲。活动中,王小川正式发布最新一代搜狗AI合成主播mdashmdash全球首个手语AI合成主播l
一加Nord2或NordCE5G有望6月中旬发布有传闻称一加只会在2021年推出少数几款Nord系列智能机,且最近我们有看到Nord2和NordCE5G新机的爆料。虽然目前已知的细节有限,但早在今年3月份,就有爆料称Nord2将
最薄游戏手机!曝红魔6R已入网骁龙88855W快充前不久,Redmi品牌发布了首款游戏手机RedmiK40游戏增强版,该机完全舍弃了以往游戏手机的浮夸设计,机身极为简单轻薄,官方宣称这是首款游戏主力机。随后,中兴倪飞在微博发文表示
首款骁龙888屏下旗舰!曝三星GalaxyZFold3入网据知名爆料博主数码闲聊站透露,三星近日有多款新品获得国内入网许可,其中一款正是新一代折叠屏旗舰GalaxyZFold3,最高支持25W快充。据此前消息,三星今年将会提前发布Gala
曝索尼PS5或回炉重造升级6nm工艺芯片索尼日前在国内召开新品发布会,正式推出了PS5主机国行版本,并宣布将于下周(5月15日)首次开售,光驱版售价3899元数字版售价3099元。然而PS5国行版还未开售,供应链方面就放
市场监管总局对34家互联网平台企业开展整改督导5月8日消息,据国家市场监管总局官网消息,5月7日,市场监管总局召开互联网平台企业整改督查专题会,对互联网平台企业整改督查和评估工作进行调度。会议指出,各相关省(市)市场监管局立即