大数据(BigData)环境下的商业智能平台技术解析

大数据(BigData)环境下的商业智能平台技术解析

Informatica企业数据集成产品管理总监郑玮

大数据的技术解构

从这两大特征可以看出,大数据是包括了交易和交互数据集在内的所有数据,无论从规模还是复杂程度上,远超出常用数据库或者商业智能技术的捕捉、管理和处理能力。一些企业已经感受到失控的数据增长对业务造成的影响,郑玮认为大数据是由三项主要技术趋势汇聚组成的:
1、大交易数据:在从 ERP 应用程序到数据仓库应用程序的在线交易处理(OLTP)与分析系统中,传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云,这一局面变得更加复杂。
2、大交互数据:这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录(CDR)、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输(Manage File Transfer)协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。
3、大数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

不久前在美国举行的2011 Hadoop论坛,5500名参会者,入场券据说在开放后8小时全部售罄。Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理(MPP)数据库技术最先是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术,现在吸引了很多企业级用户开始尝试。相对于之前昂贵的大规模并行处理和海量数据分析技术,Hadoop确实能够用比较经济的、有更高性价比的方式进行大数据的部署应用。“将传统的交易数据与全新的交互数据组合起来,获得企业的洞察力和商业价值”,郑玮举例谈到:“企业可以通过社交媒体来了解客户的喜好,完善客户资料来提高目标营销的效率。”

大数据的应用平台

从业务角度来看,大数据环境中企业仍然需要数据集成、商业智能,只是它们的规模进入海量级别,同时对数据集成的基础架构要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data,郑玮认为这是全球第一个专门为大数据而构建的统一数据集成平台。“这个平台的开发目标非常明确,就是以Informatica的数据集成技术为基础,帮助企业用户充分发挥大数据的业务潜力”,郑玮说:“数据集成平台上在IT 部门保持操控权的基础上,通过自助服务增强所有用户获取相关信息的能力,并且能够自适应数据服务,提供按业务需求进行调整的相关数据和可信数据,获得业务洞察力和一致性。”

应对大数据的特征,Informatica 9.1在数据集成的三个方面分别提供了创新的解决方案。首先是全新的数据仓库设备包能够与大交易数据相互连接,并且通过OLTP在线分析处理存储数据,提供对高流量的交易数据的访问速度。其次,借助与新型社交媒体的连接器与大交互数据的连接。访问如 Facebook、Twitter、LinkedIn 和其它媒体的数据源。将数据收集的范围扩大到企业所在行业的新兴价值数据集,还包括了设备和传感器、CDR、海量图像文件。

相关推荐