据外媒报道，沙特阿拉伯阿卜杜拉国王科技大学(KAUST)的研究人员发现了一种可以显著提高训练速度的方法。通过观察大型训练数据库的分布式机器学习中产生结果零的频率，可以显著加快大型机器学习模型的训练速度。
计算机的1和0(图片来源:techxplore.com)
AI模型通过对数据库进行训练来开发“智能”，这种数据库会被提前标记，告诉模型如何区分不同的输入信息，然后做出相应的反应。输入的标记数据越多，模型完成分配给它的任务就越好。对于自动驾驶汽车等复杂的深度学习应用，即使采用功能强大、价格昂贵的高度并行超级计算平台，也需要大量的输入数据库和较长的训练时间。
在训练期间，小的学习任务被分配给几十个或几百个计算节点，然后这些计算节点将通过通信网络共享结果，然后运行下一个任务。在这种并行计算任务中，计算消耗的最大来源之一就是每个模型步骤中计算节点之间的通信。
KAUST研究人员表示:“在分布式深度学习中，通信是主要的性能瓶颈。随着模型规模的快速增长，我们也看到学习过程中零值的比例在增加，这就是所谓的稀疏性。我们的想法是利用这种稀疏性，通过只发送非零数据块，尽可能提高有效带宽的效率。”
基于KAUST早期开发的SwitchML方法，即通过在处理数据传输的网络交换机上运行高效的聚合代码来优化节点之间的通信，研究人员希望通过将结果标识为零来进一步优化这种方法，并开发一种在不中断并行计算过程的情况下同步减少传输的方法。
研究人员表示:“确切地说，如何利用稀疏性来加速分布式训练是一个具有挑战性的问题。所有节点都需要同时处理同一位置的数据块，所以我们必须协调节点，保证只聚合一个位置的数据块。为了克服这个问题，我们创建了一个聚合器来协调这些工作人员，并指导他们接下来发送哪个数据块。”
该团队在由一组图形处理单元(GPU)组成的测试台上演示了其OmniReduce方法，在典型的深度学习任务中，它的速度快了7倍。据外媒报道，沙特阿拉伯阿卜杜拉国王科技大学(KAUST)的研究人员发现了一种可以显著提高训练速度的方法。通过观察大型训练数据库的分布式机器学习中产生结果零的频率，可以显著加快大型机器学习模型的训练速度。
计算机的1和0(图片来源:techxplore.com)
AI模型通过对数据库进行训练来开发“智能”，这种数据库会被提前标记，告诉模型如何区分不同的输入信息，然后做出相应的反应。输入的标记数据越多，模型完成分配给它的任务就越好。对于自动驾驶汽车等复杂的深度学习应用，即使采用功能强大、价格昂贵的高度并行超级计算平台，也需要大量的输入数据库和较长的训练时间。
在训练期间，小的学习任务被分配给几十个或几百个计算节点，然后这些计算节点将通过通信网络共享结果，然后运行下一个任务。在这种并行计算任务中，计算消耗的最大来源之一就是每个模型步骤中计算节点之间的通信。
KAUST研究人员表示:“在分布式深度学习中，通信是主要的性能瓶颈。随着模型规模的快速增长，我们也看到学习过程中零值的比例在增加，这就是所谓的稀疏性。我们的想法是利用这种稀疏性，通过只发送非零数据块，尽可能提高有效带宽的效率。”
基于KAUST早期开发的SwitchML方法，即通过在网络交换机上运行高效的聚合代码来优化节点间的通信……hat处理数据传输，研究人员希望通过将结果识别为零来进一步优化这种方法，并开发一种在不中断并行计算过程的情况下同步减少传输的方法。
研究人员表示:“确切地说，如何利用稀疏性来加速分布式训练是一个具有挑战性的问题。所有节点都需要同时处理同一位置的数据块，所以我们必须协调节点，保证只聚合一个位置的数据块。为了克服这个问题，我们创建了一个聚合器来协调这些工作人员，并指导他们接下来发送哪个数据块。”
该团队在由一组图形处理单元(GPU)组成的测试台上演示了其OmniReduce方法，在典型的深度学习任务中，它的速度快了7倍。
标签：发现
8月31日，蔚来发布智能操作系统NIOOS300，并向用户开启推送。
1900/1/1 0:00:00大众前CEO审判或再次推迟调查大众柴油排放丑闻的一家法院8月25日表示，对该公司前首席执行官文德恩（MartinWinterkorn）的审判可能会再次推迟。
1900/1/1 0:00:00自小米官宣造车后，其相关动作不断引发业界关注。前不久，有媒体报道称，北京、上海、武汉、合肥、西安等地都在争取小米造车项目，但其大概率会选择将总部和首座工厂落户北京。
1900/1/1 0:00:00盖世汽车讯据外媒报道，8月25日，梅赛德斯奔驰在一份声明中称，该公司首席技术官SajjadKhan将离职，并成立一个技术风险投资基金。
1900/1/1 0:00:00第二十四届成都国际汽车展览会开幕。江铃福特携全系家族产品首次单独亮相成都国际车展，标志着江铃福特乘用车展现全新气象，以新举措、新决心、新雄心彰显商乘并举战略进入快车道。
1900/1/1 0:00:00近日，首批出口的小鹏汽车P7参数询价在广州新沙港启航，。这是继小鹏汽车G3在挪威市场销售近一年之后，挪威消费者迎来的来更多选择。
1900/1/1 0:00:00
汽车导航