Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4435288
  • 博文数量: 1214
  • 博客积分: 13195
  • 博客等级: 上将
  • 技术积分: 9105
  • 用 户 组: 普通用户
  • 注册时间: 2007-01-19 14:41
个人简介

C++,python,热爱算法和机器学习

文章分类

全部博文(1214)

文章存档

2021年(13)

2020年(49)

2019年(14)

2018年(27)

2017年(69)

2016年(100)

2015年(106)

2014年(240)

2013年(5)

2012年(193)

2011年(155)

2010年(93)

2009年(62)

2008年(51)

2007年(37)

分类: Python/Ruby

2020-09-11 17:23:16

https://blog.csdn.net/xiaozisheng2008_/article/details/85266511

python 程序性能优化的套路一般有两种:1)jit, 即just in time compiler, 即时编译器,在运行时将某些函数编译成二进程代码,使用这种方式的有:numba 和pypy;2)将python代码转换成c++/c代码,然后编译执行,这种方式有:cython和nuitka。总而言之,转换成c++/c代码以后编译成二进制文件执行的效率比用numba和pypy即时编译执行的效率要高。

1. 首先看一下python写的求质数的函数 以及 用 numba的jit优化的函数

  1. # main.py
  2. # 纯python语言写的求质数的代码
  3. def primes_python(nb_primes):
  4. p = []
  5. n = 2
  6. while len(p) < nb_primes:
  7. # Is n prime?
  8. for i in p:
  9. if n % i == 0:
  10. break
  11. # If no break occurred in the loop
  12. else:
  13. p.append(n)
  14. n += 1
  15. return p
  16. # 使用numba的jit优化的代码,只需要在上面的函数加一行代码
  17. from numba import jit
  18. @jit
  19. def primes_jit(nb_primes):
  20. p = []
  21. n = 2
  22. while len(p) < nb_primes:
  23. # Is n prime?
  24. for i in p:
  25. if n % i == 0:
  26. break
  27. # If no break occurred in the loop
  28. else:
  29. p.append(n)
  30. n += 1
  31. return p

 

2. 新建一个primes.pyx文件,写一个cython函数,其中声明了变量的类型

  1. # primes.pyx
  2. def primes(int nb_primes):
  3. cdef int n, i, len_p
  4. cdef int p[1000]
  5. if nb_primes > 1000:
  6. nb_primes = 1000
  7. len_p = 0 # The current number of elements in p.
  8. n = 2
  9. while len_p < nb_primes:
  10. # Is n prime?
  11. for i in p[:len_p]:
  12. if n % i == 0:
  13. break
  14. # If no break occurred in the loop, we have a prime.
  15. else:
  16. p[len_p] = n
  17. len_p += 1
  18. n += 1
  19. # Let's return the result in a python list:
  20. result_as_list = [prime for prime in p[:len_p]]
  21. return result_as_list

再建立一个primes_python.pyx文件,新建一个和之前python里面写的一样的函数,作为对比。

  1. # primes_python.pyx
  2. def primes_python(nb_primes):
  3. p = []
  4. n = 2
  5. while len(p) < nb_primes:
  6. # Is n prime?
  7. for i in p:
  8. if n % i == 0:
  9. break
  10. # If no break occurred in the loop
  11. else:
  12. p.append(n)
  13. n += 1
  14. return p

新建setup.py文件,用来编译.pyx函数

  1. from distutils.core import setup
  2. from Cython.Build import cythonize
  3. setup(
  4. ext_modules=cythonize(["primes.pyx", "primes_python.pyx"],
  5. annotate=True)
  6. )
  7. # 编译命令用这个
  8. # python setup.py build_ext --inplace

使用python setup.py build_ext --inplace编译后可以得到.pyd文件,就是可以导入的python库了。

3. 修改一下main.py, 加入函数调用和度量

  1. # main.py 的完整内容
  2. import primes
  3. import primes_python
  4. import timeit
  5. from numba import jit
  6. def primes_python(nb_primes):
  7. p = []
  8. n = 2
  9. while len(p) < nb_primes:
  10. # Is n prime?
  11. for i in p:
  12. if n % i == 0:
  13. break
  14. # If no break occurred in the loop
  15. else:
  16. p.append(n)
  17. n += 1
  18. return p
  19. @jit
  20. def primes_jit(nb_primes):
  21. p = []
  22. n = 2
  23. while len(p) < nb_primes:
  24. # Is n prime?
  25. for i in p:
  26. if n % i == 0:
  27. break
  28. # If no break occurred in the loop
  29. else:
  30. p.append(n)
  31. n += 1
  32. return p
  33. if __name__ == "__main__":
  34. repeat_times = 1000
  35. t1 = timeit.timeit(stmt="primes_python(1000)",
  36. setup="from __main__ import primes_python", number=repeat_times)
  37. print(f"run in python: {t1}s")
  38. t2 = timeit.timeit(stmt="primes.primes(1000)",
  39. setup="import primes", number=repeat_times)
  40. print(f"run cython with cdef: {t2}s")
  41. t3 = timeit.timeit(stmt="primes_jit(1000)",
  42. setup="from __main__ import primes_jit", number=repeat_times)
  43. print(f"run in python with numba jit: {t3}s")
  44. t4 = timeit.timeit(stmt="primes_python.primes_python(1000)",
  45. setup="import primes_python", number=repeat_times)
  46. print(f"run cython without cdef: {t4}s")

运行一下,得到的结果如下:

  1. run in python: 28.519053545829927s
  2. run cython with cdef: 1.6289360376895452s
  3. run in python with numba jit: 2.0565857326599577s
  4. run cython without cdef: 13.221758278866588s

4. 测试一下pypy的结果,建立primes_pypy.py文件:

  1. # primes_pypy.py
  2. import timeit
  3. def primes_python(nb_primes):
  4. p = []
  5. n = 2
  6. while len(p) < nb_primes:
  7. # Is n prime?
  8. for i in p:
  9. if n % i == 0:
  10. break
  11. # If no break occurred in the loop
  12. else:
  13. p.append(n)
  14. n += 1
  15. return p
  16. if __name__ == "__main__":
  17. repeat_times = 1000
  18. t1 = timeit.timeit(stmt="primes_python(1000)",
  19. setup="from __main__ import primes_python", number=repeat_times)
  20. print(f"run in pypy: {t1}s")

使用pypy3 primes_pypy.py 运行文件, 得到结果如下:

run in pypy: 3.0445395345987682s

5.  nuitka的暂时没弄出来, 总体的运行结果如下:

  1. run in python: 28.519053545829927s
  2. run cython with cdef: 1.6289360376895452s
  3. run in python with numba jit: 2.0565857326599577s
  4. run cython without cdef: 13.221758278866588s
  5. run in pypy: 3.0445395345987682s

基本上jit的效果很明显,也不用改动python代码。

阅读(923) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~