Python Language
プロファイリング

IPythonの%% timeitと％timeit

ストリングconcatanationのプロファイリング：

In [1]: import string

In [2]: %%timeit s=""; long_list=list(string.ascii_letters)*50
  ....: for substring in long_list:
  ....:   s+=substring
  ....:
1000 loops, best of 3: 570 us per loop

In [3]: %%timeit long_list=list(string.ascii_letters)*50
  ....: s="".join(long_list)
  ....:
100000 loops, best of 3: 16.1 us per loop

イテラブルとリストのループをプロファイリングする：

In [4]: %timeit for i in range(100000):pass
100 loops, best of 3: 2.82 ms per loop

In [5]: %timeit for i in list(range(100000)):pass
100 loops, best of 3: 3.95 ms per loop

timeit（）関数

配列内の要素の繰り返しのプロファイリング

>>> import timeit
>>> timeit.timeit('list(itertools.repeat("a", 100))', 'import itertools', number = 10000000)
10.997665435877963
>>> timeit.timeit('["a"]*100', number = 10000000)
7.118789926862576

タイムアウトコマンドライン

数字の連結をプロファイリングする

python -m timeit "'-'.join(str(n) for n in range(100))"
10000 loops, best of 3: 29.2 usec per loop

python -m timeit "'-'.join(map(str,range(100)))"
100000 loops, best of 3: 19.4 usec per loop

コマンドラインのline_profiler

プロファイリングする関数の前に@profileディレクティブを持つソースコード：

import requests

@profile
def slow_func():
    s = requests.session()
    html=s.get("https://en.wikipedia.org/").text
    sum([pow(ord(x),3.1) for x in list(html)])
        
for i in range(50):
    slow_func()

kernprofコマンドを使用して行ごとにプロファイリングを計算する

$ kernprof -lv so6.py

Wrote profile results to so6.py.lprof
Timer unit: 4.27654e-07 s

Total time: 22.6427 s
File: so6.py
Function: slow_func at line 4

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     4                                           @profile
     5                                           def slow_func():
     6        50        20729    414.6      0.0      s = requests.session()
     7        50     47618627 952372.5     89.9      html=s.get("https://en.wikipedia.org/").text
     8        50      5306958 106139.2     10.0      sum([pow(ord(x),3.1) for x in list(html)])

ページ要求は、ページ上の情報に基づく計算よりもほとんど常に遅くなります。

cProfile（優先プロファイラ）を使用する

PythonにはcProfileというプロファイラがあります。一般的にtimeitを使用するよりも優先されます。

それはあなたの全体のスクリプトを分解し、あなたのスクリプトの各メソッドについてそれはあなたに伝えます：

• ncalls ：メソッドが呼び出された回数
• tottime ：指定された関数で費やされた合計時間（サブ関数の呼び出し時間を除く）
• percall ：呼び出しごとに費やされた時間。または、tottimeをncallsで割った商
• cumtime ：このサブ関数およびすべてのサブ関数（呼び出しから終了まで）に費やされた累積時間。この数字は、再帰関数であっても正確です。
• percall ：cumtimeをプリミティブ呼び出しで割った商
• filename:lineno(function) ：各関数のそれぞれのデータを提供する

cProfilerは、次のコマンドラインを使用して簡単に呼び出すことができます。

$ python -m cProfile main.py 

返されたプロファイリングされたメソッドのリストをメソッドで取った時間でソートするには：

$ python -m cProfile -s time main.py