Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4446943
  • 博文数量: 1214
  • 博客积分: 13195
  • 博客等级: 上将
  • 技术积分: 9105
  • 用 户 组: 普通用户
  • 注册时间: 2007-01-19 14:41
个人简介

C++,python,热爱算法和机器学习

文章分类

全部博文(1214)

文章存档

2021年(13)

2020年(49)

2019年(14)

2018年(27)

2017年(69)

2016年(100)

2015年(106)

2014年(240)

2013年(5)

2012年(193)

2011年(155)

2010年(93)

2009年(62)

2008年(51)

2007年(37)

分类: Python/Ruby

2020-10-30 11:03:05

https://blog.csdn.net/xiemanr/article/details/72763234

1.timeit:



>>> import timeit
>>> def fun(): for i in range(100000): a = i * i

>>> timeit.timeit('fun()', 'from __main__ import fun', number=1) 0.02922706632834235 >>>  


timeit只输出被测试代码的总运行时间,单位为秒,没有详细的统计。


2.profile

profile:纯Python实现的性能测试模块,接口和cProfile一样。


>>> import profile
>>> def fun():
   for i in range(100000):
      a = i * i

      

>>> profile.run('fun()')
         5 function calls in 0.031 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.016    0.016 :0(exec)
        1    0.016    0.016    0.016    0.016 :0(setprofile)
        1    0.016    0.016    0.016    0.016 :1(fun)
        1    0.000    0.000    0.016    0.016 :1()
        1    0.000    0.000    0.031    0.031 profile:0(fun())
        0    0.000             0.000          profile:0(profiler)


>>> 



ncall:函数运行次数

tottime: 函数的总的运行时间,减去函数中调用子函数的运行时间

第一个percall:percall = tottime / nclall 

cumtime:函数及其所有子函数调整的运行时间,也就是函数开始调用到结束的时间。

第二个percall:percall = cumtime / nclall 


3.cProfile

profile:c语言实现的性能测试模块,接口和profile一样。


>>> import cProfile
>>> def fun():
   for i in range(100000):
      a = i * i

      
>>> cProfile.run('fun()')
         4 function calls in 0.024 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.024    0.024    0.024    0.024 :1(fun)
        1    0.000    0.000    0.024    0.024 :1()
        1    0.000    0.000    0.024    0.024 {built-in method exec}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}


>>> 
ncalls、tottime、percall、cumtime含义同profile。



4.line_profiler

安装:

pip install line_profiler

安装之后kernprof.py会加到环境变量中。

line_profiler可以统计每行代码的执行次数和执行时间等,时间单位为微妙。

测试代码:

C:\Python34\test.py

import time


@profile def fun():
    a = 0  b = 0  for i in range(100000):
        a = a + i * i for i in range(3):
        b += 1  time.sleep(0.1) return a + b


fun()

使用:

1.在需要测试的函数加上@profile装饰,这里我们把测试代码写在C:\Python34\test.py文件上.

2.运行命令行:kernprof -l -v C:\Python34\test.py

输出结果如下:


Total Time:测试代码的总运行时间 
Hits:表示每行代码运行的次数  
Time:每行代码运行的总时间  
Per Hits:每行代码运行一次的时间  
% Time:每行代码运行时间的百分比


5.memory_profiler:

memory_profiler工具可以统计每行代码占用的内存大小。  

安装:

pip install memory_profiler  

pip install psutil  

测试代码:  

同line_profiler。 

使用: 

1.在需要测试的函数加上@profile装饰
  
2.执行命令: python -m memory_profiler C:\Python34\test.py 
  
输出如下:


6.PyCharm图形化性能测试工具:

PyCharm提供了图像化的性能分析工具,使用方法见利用PyCharm的Profile工具进行Python性能分析


7.objgraph:

objgraph是一个实用模块,可以列出当前内存中存在的对象,可用于定位内存泄露。

objgraph需要安装:


pip install objgraph


使用方法这里不做描述,自行百度。

图形化分析原始文件:目前推荐 snakeviz

pip 安装 snakeviz 后,在 Anaconda prompt 里运行如下命令:

snakeviz result.out

然后就会在弹出一个 snakeviz 的本地网页,可以在网页上自由点击查看哪个代码最耗时,非常直观方便:

图片摘自 snakeviz 官网


其他图形化工具:我试过 gprof2dot,感觉总体上不如 snakeviz 简单、直接、美观。简单方面,用 gprof2dot 前需要安装 graphviz,安装完成后还需要把 graphviz 安装目录下的 bin 文件夹添加到环境路径 Path,而 snakeviz 只需 pip 安装即可。直接、美观方面,gprof2dot 会把结果生成为图片,图片效果不如 snakeviz 的网页美观,如果 profile 的脚本较为复杂的话,图片过大内容过于密集,很不方便查看。

阅读(1214) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~