初探百度大数据分析挖掘平台Jarvis

在人工功能时代,企业既想通过大数据分析、挖掘技术提升效率,又被大数据量分析、机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟。Jarvis在这个背景下应运而生。Jarvis是支撑大数据分析挖掘应用开发的工具和平台,定位在企业开发者和大数据分析挖掘技术之间,提供可视化交互方面的支持,使得大数据分析、挖掘技术能快速转化为满足企业应用场景的具体产品。

据了解,Jarvis技术实施栈纵向分层、横向分级确保可全流程解决数据分析挖掘过程中的数据处理、计算资源、算子算法支持、环境部署等各环节问题,同时针对用户进行功能分级、并最大限度保持可扩展,为真正成为一款造福数据科学家、业务开发者、数据分析师、产品经理、决策分析者等各类开发用户的产品而努力。

初探百度大数据分析挖掘平台Jarvis

可视化管理数据科学全流程
一个经典的数据挖掘分析应用过程包括,数据获取、数据预期处理、特征提取、建模开发、预测部署、投入应用。Jarvis充分调研分析开发实施人员在各环节面临的处理场景、可能的高效、方便的工作方式,进行了抽象设计实现:
数据连接,支持结构化、非结构化多类型数据接入,支持私有数据接入、支持云Bos、分布式HDFS、关系型数据库等等多类型数据源读取及灵活挂载。
数据准备,提供支持文本、图像类型的交互式的数据清洗、预处理工具,方便进行数据高效准备。
数据分析,支持PB级别的SQL交互式查询分析、Spark处理;同时提供丰富的可视化数据探查工具,方便开发者获取高价值有效样本。
挖掘建模,内置了丰富的基础算子算法供开发者高效进行建模开发;同时预置了经典的垂类行业解决方案,可以低成本在匹配场景进行高效实施。
模型部署,生成模型可直接发布、部署,并支持动态热加载。提供了常用模型评价指标的效果监控功能供一键选择监控、支持自由扩展。
流程监控,开发者进行的全工作流实现自动Track,新数据可自动触发重跑全流程。
初探百度大数据分析挖掘平台Jarvis

初探百度大数据分析挖掘平台Jarvis

云原生服务
在数据分析挖掘全流程及服务过程中,不同的场景、不同的数据、不同的处理阶段、不同的开发者对于环境的需求、对于资源的需求多种多样,这就需要数据分析挖掘平台的资源(包含开发环境资源)管理要能灵活接入、弹性拉伸、扩展方便,确保稳定及资源利用高效。Jarvis采用了云原生服务架构的方式实现。
初探百度大数据分析挖掘平台Jarvis

自动机器学习AutoML
策略模型研发人员大量的时间花费在选取不同的特征数据、进行不同的算法选择尝试、参数调优中,最终获得一个高效的模型。AutoML理论上可通过设置自动尝试多数据特征、多算法、测试完全不同的模型架构,然后与目标相匹配,给出最终解决问题的方案。
初探百度大数据分析挖掘平台Jarvis

初探百度大数据分析挖掘平台Jarvis

初探百度大数据分析挖掘平台Jarvis

行业解决方案
同行业的不同企业往往存在共性的数据分析挖掘场景,例如:电力行业,用电量预测;工业物理网类,设备故障检测、故障预测等。这些同类场景要解决的问题类似、要分析的数据类似,因此可以抽象通用的行业解决方案在同类场景下复用、快速投入应用。对于深层次的数据挖掘开发者,同样有大量通用的算法、算子库可以相互复用,提升开发效率。Jarvis从基础算法、通用模型、垂类解决方案分层内置能力并不断扩展集成,为不同场景需求的开发者用户提供了高效复用能力。
初探百度大数据分析挖掘平台Jarvis

初探百度大数据分析挖掘平台Jarvis

百度开发者大会期间,jarvis通过点石-大数据众智平台(dianshi.baidu.com, DataLab板块)邀测了第一批用户进行增强版基础开发环境的使用(内置了丰富的算子算法库及百度AI开放接口),受到用户的一致好评。
初探百度大数据分析挖掘平台Jarvis

敬请期待jarvis后续的全面正式发布、邀测!

相关推荐