了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

概述

距机器学习平台 PAI 2.0 发布两年后,阿里巴巴重磅发布 PAI 3.0 版本。

了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

先简单介绍一下机器学习相关概念。


机器学习

了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

机器学习分类

机器学习简单来说就是,人教机器在我们积累的数据当中发现规律,然后能够辅助我们来做一些预测和决策。


机器学习分类

机器学习笼统地讲可以分为三类:

1)有监督学习(supervised learning),是指每个样本都有对应的期望值,然后通过搭建模型,完成从输入的特征向量到目标值映射,典型的例子是回归和分类问题;

2)无监督学习(unsupervised learning),是指在所有的样本中没有任何目标值,我们期望从数据本身发现一些潜在的规律,比如说做一些简单的聚类;

3)增强学习(Reinforcement learning)相对来说比较复杂,是指一个系统和外界环境不断地交互,获得外界反馈,然后决定自身的行为,达到长期目标的最优化,其中典型的案例就是阿法狗下围棋,或者无人驾驶。

了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

机器学习兴起的因素

最近几年,机器学习比以前更火了,主要是三大因素:

第一个因素是数据的因素。互联网上每天生成海量的数据,有图像、语音、视频、还有各类传感器产生的数据,例如各种定位信息、穿戴设备;非结构化的文本数据也是重要的组成部分。数据越多,深度学习越容易得到表现好的模型。

第二个因素是大规模分布式高性能计算能力的提升。这些年来,GPU高性能计算、分布式云计算等计算平台迅猛发展,让大规模的数据挖掘和数据建模成为可能,也为深度学习的飞跃创造了物质基础。

第三个因素是指算法上的创新。随着数据和计算能力的提升,算法本身也有了很大的进展,尤其在深度学习方面,譬如从脑神经学上得到的灵感,在激活函数上进行了稀疏性的处理,等等。

基于上述三点,人工智能又迎来了它的第二个春天。人工智能将以更快的速度进入我们的生产和生活中来,成为我们的眼睛,我们的耳朵,帮助我们更快捷地获取信息,辅助我们做出决策。机器学习平台产品也因此而产生,加速迭代过程,助力技术的发展。


机器学习平台:PAI 平台

了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

主流机器学习平台

阿里云机器学习平台是构建在阿里云 MaxCompute(原 ODPS)计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。阿里云机器学习封装了阿里巴巴集团内成熟的算法,向机器学习用户提供了更简易的操作体验。

PAI 3.0 推出了全新的算法模型市场,涵盖电商、社交、广告、金融等多个行业,数十种场景的算法模型。同时还新增了流式算法组件、图神经网络、增强学习组件等平台工具。

作为机器学习平台的内核,PAI 的智能计算引擎进行了全面升级,通过编译技术优化通用计算引擎,训练性能提升 400%——PAI 团队研发了深度学习编译器 TAO(Tensor Accelerator and Optimizer),以通用化、平台化的方式有效解决上层 Workload 与底层硬件计算单元之间高效映射的问题。

此外,在深度学习优化分布式引擎方面,PAI 3.0 可以实现单任务支持上千 worker 并发训练,并支持 5k+ 超大规模异构计算集群。

PAI 希望实现「用更少的硬件,支持更多业务更快完成业务迭代」。为了完成这个目标,团队有针对性地研发了 GPU 分时复用技术。整套技术实现遵循了数据驱动的思想,包括实时在线性能数据反馈通路、细粒度 GPU 资源复用、虚拟显存以及基于历史数据的资源预估策略这几个关键模块。

此外,PAI 3.0 还发布了大规模图神经网络,缓存机制效率提升 40%,算子速度提升 12 倍,系统端建图时间从数小时降至 5 分钟。


人工智能学习平台已然成为巨头公司的必争之地,感兴趣的朋友可以深入研究下,还是有很多东西的,后面会分享更多Linux方面内容,感兴趣的朋友可以关注下!

了解机器学习,先看看阿里云机器学习平台---PAI v3.0?

相关推荐