Python与C语言、Java、Nodejs、Golang进行性能测试比较

 Python与C语言、Java、Nodejs、Golang进行性能测试比较

背景说明

在最近的项目开发中,遇到一个Python处理性能问题

由于实时数据量较大(每秒有2100条日志,且每条日志平均大小在1kB左右),且受制于硬件资源限制,使用Python做实时数据处理,无法完成当前规模的数据集处理能力,数据越积越多,数据入库延时越来越长!

  • 第一版Python实现,其处理性能:840/s
  • 优化版Python实现,其处理性能:1100/s

离2100/s,才刚满足其一半的性能,这是不能接受的!

结论:在不使用Python多并发处理或增加硬件资源条件下,Python是不能完成当前系统性能要求的!

补充说明:

开3~4个Python数据处理进程能够刚刚满足系统性能要求,但是数据处理仅是系统一个模块,系统还有其他功能模块,对数据处理硬件资源要求,CPU不超过2个逻辑核心,内存最大不超过4GB;

关于硬件资源,由于项目规模原因,设备资源是有限的。

解决方案

本身知道Python运行速度并不快,跟其他编程语言(Java、Golang、C++等)性能差距较大。平时项目开发,使用Python都没有任何问题。确实没有重视Python性能方面的问题。

综合考虑,就眼下项目实际情况,为解决数据处理性能问题,采用Golang方案,使用Go语言重写数据处理模块代码逻辑,并最终解决了数据处理的性能问题

最后说一下Go版数据处理性能:Go版数据处理性能是Python版的4到5倍,2100条日志处理只用了0.3s,仅使用单核CPU未并非处理,而且也只使用了单核 CPU 60%的处理性能!

Python性能测试

接下来进入主题,Python运行效率慢于其他编程语言,到底有多慢呢?那我们做一个Python的性能测试。

1.测试内容:

求0~N之间质数个数,具体求以下整数区间质数个数:

  • 0~1w
  • 0~4w
  • 0~10w
  • 0~20w
  • 0~50w
  • 0~100w

强调说明:本测试只是用来说明Python运行效率,语言其他方面的对比不属于该测试范畴!

2.测试编程语言包括:

测试编程语言有:C语言、Java、node.js、Golang、Python等,通过不同语言测试结果,对比得出Python的运行效率结论。

语言版本说明:

  • C语言:gcc version 8.1.0
  • Java:1.8.0_121
  • Nodejs:v10.15.3
  • Golang:v1.12.7
  • Python:v3.7.3

除了Python,选择了C语言、Java、Nodejs、Golang作为性能对比测试语言,代表了当前主流的、使用广泛的编程语言

3.测试环境说明:

  • 在windows10最新版本;
  • java代码打包成可执行jar包,python代码生产pyc文件,C代码和Go代码生产各自的可执行代码;

Python与C语言、Java、Nodejs、Golang进行性能测试比较

  • 求素数过程采用相同的方法(两层for循环)

4.测试结果:

Python与C语言、Java、Nodejs、Golang进行性能测试比较

5.测试结论:

这5种编程语言,C语言运行效率最高,Python的运行效率最差。

C语言、Java、Node.js、Golang的运行效率比Python成几何倍数高。

举一个比较明显测试结果,求0~20w之整数区间的质数个数,这个过程:

  • C语言用时6s
  • Java用时7s
  • Nodejs用时8s
  • Golang用时17s
  • Python用时121s,是C语言的20倍,是Java的17倍,是Nodejs的15倍,是Go的7倍

开发效率和运行效率

对编程而言,开发效率和运行效率是始终是对立的:

  • 追求开发效率高,其运行效率不快;
  • 追求运行效率高,其开发效率不快;

既能保证开发效率,又能兼顾运行效率,那只能等到量子计算机普及了,扯远了....

Python的开发效率

Python运行效率不高,但是其开发效率很高,这就是Python的优势,简单易学习,快速入门、实现短周期迭代开发,加之拥有丰富的、功能强大第三方库,一旦你使用Python一段时间,你就会对它上瘾,产生依赖,离不开它,再使用其他编程语言,各种不适应,因为Python给我们开发带来了太多方便,这就是Python开发效率!

再举个例子

相关推荐