数据蒋堂 | 大数据技术的4个E

数据蒋堂 | 大数据技术的4个E

作者:蒋步星

来源:数据蒋堂

本文共1100字,建议阅读8分钟。
本文将大数据特点总结成4个E,可作为选择大数据技术解决方案的参考。

数据蒋堂 | 大数据技术的4个E

大数据的4个V说法在业界已经尽人皆知,这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆,类似4个V,我们把这些特性总结成4个E,用户在选择大数据技术解决方案时可作为参考。

Easy

大数据技术要足够简单易用

这个E很容易理解。

要进行大数据处理的场景很多,涉及工作人员也是各种各样的。如果技术的难度太大,那会导致只有少数人能应用,而且实施复杂度较高,这样大数据的应用就会大打折扣了。

大数据领域这种例子并不少,Hadoop刚出来时只有MapReduce,相对于完全用Java硬写,MapReduce已经简单了很多,所以会积累出一批拥趸。但MapReduce的难度仍然不小,所以逐步被后来封装出来的HIVE SQL替代。Spark上的Scala也风靡过一阵,但难度仍然不少,目前也逐步归于平静,更多的人还是愿意使用更简单的Spark SQL。

Elastic

大数据技术要具有弹性扩展能力

这个E也容易理解。

很多情况下,大数据并不是一下子就很大,而是逐步变大的。即使已经较大的数据,也还会进一步变得更大。因此要求大数据处理技术有一定的弹性扩展能力就是很自然的事情,这一点一般都不会被大数据技术提供商忽略掉。

当然,任何技术都有局限性,面向一般规模和面向超大规模的技术相差是很大的,不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能,而不只是可以处理),用户在选择技术时还要对自己的数据规模变化范围有一个预估。

Embeddable

大数据技术应可以被嵌入集成

这个E需要特别指出,常常不被重视。

大数据处理经常并不是一件独立的事情,它需要和具体的应用配合工作才能发挥其业务价值,这些处理常常在应用执行到某个环节时就需要进行,这样就要求相应的技术能够被方便地嵌入集成到应用程序中,随时随地被主程序调用。

特别地,大部分应用程序建立在J2EE架构上,因而对Java应用的可集成性就是个特别重要的指标。一般基于Java或SQL体系的大数据技术在集成方面都没太大问题,而其它技术体系的就难说了。而且,大多数大数据技术常常需要独立部署,即使其计算能力可以被集成,但必须依赖于外部的独立进程,不能被应用完全控制,有时会显得非常累赘。

Environment-friendly

大数据技术对数据环境要求尽量低

这个E是很多大数据技术不具有但却很重要的。

目前的大数据技术,如Hadoop和MPP等,都要求先把数据放进该技术规定的某种存储体系中。这样当然有意义,数据事先组织之后会获得更高的性能。但是,经常的情况是,我们需要处理的大数据事先并不在这些存储体系中,而且把外部数据搬进这些存储体系本身也是一种大数据处理,这些场景下都无法利用这些大数据技术了。

更好的大数据技术应当能不挑数据源,随便什么来源的数据都可以处理,只是有可能因为数据源的限制而一定程度地降低性能,但并不要求必须先做好ETL才能处理。

其实最后那个特性用E并不是很贴切,但为了凑4个E就对付了。这个词本来是环保的意思,开放的大数据技术可以少复制一些数据,少部署一些硬件,省点电,也算环保吧。

专栏作者简介

数据蒋堂 | 大数据技术的4个E

润乾软件创始人、首席科学家

清华大学计算机硕士,中国大数据产业生态联盟专家委员,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016、2017年,荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”;2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。

— 完 —

关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。

相关推荐