您当前所在位置: 逸达平台注册 > 产品中心 >
产品中心 矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法
作者:admin    发布时间: 2021-09-08 07:07

 

本文经AI新媒体量子位(公多号ID:QbitAI)授权转载,转载请有关出处。

新华社北京5月5日电(记者刘夏村)记者5日从应急管理部获悉,截至当日20时,“五一”假期期间全国安全形势总体平稳,未发生重特大生产安全事故和自然灾害。

中新网5月6日电 据国家卫健委网站消息,5月5日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增确诊病例5例,均为境外输入病例(四川2例,云南2例,广东1例);无新增死亡病例;新增疑似病例1例,为境外输入病例(在上海)。

5月5日0-24时,全省新增境外输入确诊病例1例,广州报告,来自喀麦隆。新增境外输入无症状感染者1例,广州报告,来自科特迪瓦。新增出院3例。

羊城晚报全媒体记者马灿、通讯员沈甸报道:5月4日傍晚,受强雷雨云团影响,广东地区暴雨倾盆、电闪雷鸣。南方电网广东电网公司全力迎战各地暴雨,保居民用电安全。截至5月5日下午4时,5.2万受影响用户已全部复电。

羊城晚报全媒体记者李志文、通讯员刘雅摄影报道:“五一”假期,由于“补偿式”探亲、旅游观光等客流交织,广州南站客流呈现假期头尾长途多、中间短途多、总体高位运行的特征。

在不做乘添操作(multiply-adds)的情况下,能计算矩阵乘法吗?

矩阵乘法包含大量a+b×c类运算,所以常在运算中将乘法器和添法器进走结相符成一个计算单元,进走乘法累添操作。

用近似算法的话,实在能够!

这是来自MIT的最新钻研,他们挑出了一栽新的近似算法MADDNESS,在确保必定精度的情况下,将速度升迁到了现有近似算法的10倍,比准确算法速度快100倍,被ICML 2021收录。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

钻研还认为,新算法能够比比来大火的稀奇化、因子化等操作更有前途。

现在,作者已经开源了算法代码,感有趣的幼友人们能够往尝试一下。

一首来望望。

用K聚类算法搞个查找外

这个算法,借鉴了一栽叫做乘积量化(Product Quantization)的手段。

其中,量化内心上是一栽近似操作。

原由矩阵乘法中的每个元素,都能够望做是两个向量的点积产品中心,所以能够议决查找相通向量,来近似地推想向量的点积,而无需再进走大量乘法运算。

乘积量化的详细原理如下:

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

当吾们输入一个要计算的向量a的时候,函数g(·)会对a进走一个近似操作,从一个挑前竖立益的数值查找外中,找到与它最相近的谁人值,并输出一个近似的向量g(a)。

与此同时,这张外格中的每个值,都已经挑前做过点积计算了,所以在输出g(a)的同时,它与查询向量(query vector)b对答的近似点积计算终局h(b)也能被查外并输出。

末了,只必要用f(·,·)函数对g(a)和h(b)做添法运算,而不必要再做乘法计算了。

浅易来说,就是议决近似查外的手段,撙节了矩阵乘法中的乘法计算时间。

那么,云云的数值查找外,原形要竖立什么数值,才能确保在近似计算过程中,亏损的计算精度最幼呢?

这边借鉴了一下K聚类算法(K-means)的思路,即将数据预分为K组,随机选取K个对象行为初首聚类中央,再议决训练迭代,确保在将样本分到K个类中时,每个样本与其所属类中央的距离之和最幼。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

△可视化的K聚类算法

议决这栽手段计算出来的数值查找外,能更实在地近似矩阵乘法的数值计算终局。

按照云云的思路,作者们挑出了一栽高效的向量乘积量化函数,能在单CPU中每秒编码超过100GB的数据;同时,还挑出了一栽针对矮位宽整数的高速乞降函数。

然后,基于这两类函数,整出了一套崭新的矩阵乘法算法MADDNESS。

这个近似算法的成绩如何呢?

精度保持,效率升迁数倍

这个算法所必要的算力并不高,在搭载英特尔酷睿i7-4960HQ(2.6GHz)处理器的Macbook Pro上就能完善。

他们在Keras版本的VGG16模型上进走了测试,所用的数据集是CIFAR-10/100,对一系列最新的近似算法进走了评估:

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

从图中来望,在效率升迁挨近10倍的情况下,采用MADDNESS(图中红线)照样能在CIFAR-10上保持几乎不变的精度。

即使是在CIFAR-100上,在精度几乎不变的情况下,MADDNESS和MADDNESS-PQ也同样实现了效率最大化的终局。

除了最新算法外,与其他的现有算法相比(包括作者们在2017年挑出的Bolt算法),成绩同样专门拔尖。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

对比计算速度的话,MADDNESS的点积速度就能比现有最快手段快两倍旁边。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

自然,也有读者指出,这篇论文还存在一些待解决的题目:

①论文用的是VGG16模型,但异国在Transformer等更经典的模型(如BERT)中进走实验;②固然对矩阵乘法进走了添速,但毕竟只是近似算法,意味着湮没的精度亏损;③异国在GPU中测试评估终局。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

但他照样认为,这不失为一篇专门有有趣的钻研。

作者介绍 矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

Davis Blalock,MIT的计算机系博士生,致力于研发迅速机器学习算法,他认为速度是衡量机器学习模型的一个专门主要的因素。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

John Guttag,MIT计算机系教授,钻研倾向是机器学习、AI和计算机视觉,现在的钻研项现在荟萃在医疗AI和医学成像上。

值得一挑的是,这两位钻研人员,此前还炮轰过神经网络中的剪枝算法。

矩阵乘法无需相乘,速度升迁100倍,MIT开源最新近似算法

他们针对其中的81栽算法进走了横向对比,发现“异国清晰证据外明,这些算法在10年内,对义务成绩有清晰改善”。

钻研一作Davis Blalock还认为:

这些改进都是所谓的“微调”,而不是科研人员声称的“中央创新”,甚至有些改进手段能够根本就不存在。

在对AI模型进走效率升迁上,两位作者实在是很厉格了。

项现在地址: https://github.com/dblalock/bolt

论文地址: https://arxiv.org/abs/2106.10860

【编辑保举】产品中心

18张图通知你:90分的网络工程师,答该掌握的十个关键技术点 自动化和机器人技术的不同及其适用的场景 8月份Github上炎门的开源项现在 基数排序的1个幼技巧,2栽排序手段,3栽排序算法 复杂事件处理(CEP)技术在数据坦然场景中的行使

Powered by 逸达平台注册 @2018 RSS地图 HTML地图