高速化のためのPython Tips
皆さんこんにちは
お元気ですか？私は元気です。
Pythonにおける高速化手法を掲載してみます。
簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。
本日の目次です。
Pythonにおける高速化の必要性
PythonはC++やJavaと比較すると非常に遅い言語です。
しかし、最近はPythonで書く用途も増えてきており、個人的にも
世間的にも（多分）需要が増えつつあります。
が、計算機に負荷をかける処理を書くことが多いので、（私だけ？）いつも速度に悩まされます。
そんなわけで、今回の記事です。
Pythonの高速化
高速化の手順
基本的にPythonの高速化は次の手順で行われます。
（参考：PythonSpeed/PerformanceTips - Python Wiki）
- テスト（実行）
- 遅ければプロファイル取る
- 最適化する
- 繰り返す
基本的には遅い部分や期待通りに動いていない箇所を割り出し、その箇所に対して
対策を打つのが基本です。で、その動いていない箇所を割り出すために、Profilingをする作業があります。
Profiling
Pythonのコードにかぎらず、
基本的にはProfilingを取得することから始めます。
つまり、どこが遅いのかを特定するためです。
実行手順は簡単で、オプションを追加して実行すれば、勝手に取得できます。
以下は今回実行した例です。着目ポイントはcumtimeやncallsです。
cumtimeが高ければ実行時間が長いので、その部分に遅い処理を入れている可能性が高いです。
ncallsが高い場合は無駄に関数を呼んでいる可能性があります。
それらの可能性を踏まえながらProfileを見ると高速化の手立てを発見できるかもしれません。
※-s は時間でソートするといった意味です。
python -m cProfile -s time import_cost.py 10012657 function calls (10012536 primitive calls) in 9.465 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 1 7.273 7.273 7.777 7.777 import_cost.py:14(list_append_import) 1 1.298 1.298 1.612 1.612 import_cost.py:6(list_append) 10001436 0.642 0.000 0.642 0.000 {method 'append' of 'list' objects} 1 0.076 0.076 9.465 9.465 import_cost.py:1(<module>) 3 0.053 0.018 0.225 0.075 __init__.py:1(<module>) 1 0.010 0.010 0.011 0.011 __init__.py:88(<module>) 1 0.009 0.009 0.013 0.013 __init__.py:15(<module>) 1 0.009 0.009 0.176 0.176 __init__.py:106(<module>) 2 0.008 0.004 0.020 0.010 __init__.py:45(<module>) 1 0.006 0.006 0.016 0.016 utils.py:4(<module>) 1 0.005 0.005 0.009 0.009 __init__.py:41(<module>) 1 0.005 0.005 0.005 0.005 npyio.py:1(<module>) 1 0.004 0.004 0.009 0.009 numeric.py:1(<module>) 1 0.004 0.004 0.007 0.007 index_tricks.py:1(<module>) 1 0.003 0.003 0.012 0.012 _internal.py:6(<module>) 1 0.003 0.003 0.004 0.004 case.py:1(<module>) 1 0.003 0.003 0.008 0.008 tempfile.py:18(<module>) 1 0.003 0.003 0.019 0.019 decorators.py:15(<module>)
基本的な条件
計測コード
計測時間が書いてある者については次のような方式で行いました。
非常によくあるコードかと思われます。
start = time.time() #処理 Ex.list_append_local_val() print time.time() - start
Pythonの基本的な書き方部分
rangeよりxrangeを（Python2.7）
Pythonはループを2通りの記載の仕方をすることができます。
xrangeはメモリに持たないので、rangeよりも高速にループを回すことができます。
# 遅い def sum_range(): result = 0 for i in range(100): result += i # 早い def sum_xrange(): result = 0 for i in xrange(100): result += i
詳しい速度比較はこちらに記載しています。
リストの生成
リストは内包表記で生成するのが高速です。
内包表記をするとメモリに保存する必要がないからです。
実際には次のように記載します。
# 通常の書き方 list = [] for i in xrange(1000000): list.append(i) # リスト内包表記 list = [i for i in xrange(1000000)]
文字列結合
joinを使えば簡単に結合することができ、なおかつ高速なコードを記述することができます。
def string_operator_join(join_words): denominator = "" words = "" for word in join_words: words = denominator + word denominator = "," return words def string_join(join_words): return ",".join(join_words)
Import文のコスト
Pythonはimport文を関数の中に書くことができます。
しかし、importをするコストが必要となるので、importを関数内で記載する時には注意が必要です。
例えば、以下のような関数を２つ用意しました。違いは関数の途中にimport numpy as npを追加しているかどうかです。
N = 10000000 def list_append(): result = [] for i in xrange(N): if i % 2 == 0: result.append(i) return result def list_append_import(): result = [] for i in xrange(N): import numpy as np #numpyを何度もimportする。 if i % 2 == 0: result.append(i) return result
上記を比較すると次のようになります。
| 関数名 | かかった時間(s) |
| list_append | 1.25 |
| list_append_import | 7.43 |
関数呼び出しのコスト
関数を呼び出すのにもコストがかかります。そのため、あまりにコストが高い呼び出しは避けましょう。
追加しながらリストを生成するlist_append関数を変更してみました。
def append_number(i, number_list): if i % 2 == 0: number_list.append(i) def list_append_local_val(): result = [] for i in xrange(N): append_number(i, result)
| 関数名 | かかった時間（s） |
| list_append | 1.48743391037 |
| list_append_local_val | 2.39971590042 |
ドットを避ける
ドットを避けることで、若干のスピード向上をすることができます。
具体的なこんなコードになります。
N = 10000000 def list_append_local_val(): result = [] append = result.append for i in xrange(N): if i % 2 == 0: append(i) return result
yieldを使う
最後にyieldを使います。
元々C++を使った実装をメインとしていたので
使う機会というより馴染みがなかったのですが、使ってみるととても使いやすい。
昔はあまりに馴染みがないので利用していませんでしたが、
Deep LearningのアルゴリズムのReal Time Data Augmentationや一定の処理を実施する時に特に使います。
①メモリを消耗しない
yieldのメリットは、処理を一定の間隔（yield）で元の関数で返すので、メモリを消費しにくい
②直感的にループを書ける。
Pythonだと、ループの中でyieldを呼び出す処理を書くだけなので非常にわかりやすく、使いやすい。
（これぐらいならばもっと別の書き方しそうですが・・・）
#yield なし list = [i * 2 for i in xrange(100)] for i in xrange(list): print i + 10 #yield あり def iterate(number): for i in xrange(number): yield i * 2 for j in iterate(100): print j + 10
Numpyに関するTips
Numpyはいくつか高速化並びに注意する点があります。
Numpyを使用して基本演算を高速化する
Numpyは基本的にCで記述され、実行速度も非常に高速です。
そのため、Numpyで書けるところはNumpyで書くと、高速になる計算となります。
例えば、合計値を求める演算は次のようになります。
# 通常のリストでの書き方 def number_element_sum(number_list): result = 0.0 for i in xrange(len(number_list)): result += number_list[i] return result # Numpyを使うので、高速に書ける。 def numpy_sum(numpy_list): return np.sum(numpy_list)
Numpyの要素にアクセスする演算をしない
Numpyは通常のリスト構造と同じく、アクセスはできます。
しかし、アクセスする速度が異様に遅いため、極力アクセスは阻止し、numpyを使って演算するようにします。
import numpy as np # アクセスを繰り返すので非常に低速 def numpy_element_sum(numpy_list): result = 0.0 for i in xrange(len(numpy_list)): result += numpy_list[i] return result #こちらが高速 def numpy_sum(numpy_list): return np.sum(numpy_list)
詳しくは過去の記事を参考にしてください。
Numbaで手早く高速化
Numbaを使うとアノテーションを使うのみでコードを高速化できます。
以下のコードを用いて、私の実行環境で検証してみました。
yutori-datascience.hatenablog.com
numbaを適用したいメソッドに@jit（パッケージはnumba）を付与することで
勝手に適用するすぐれものです。詳しい使い方は別途、試していたいと思います。
python: 3.78625607491 numba: 0.206073999405
その他高速化ツール
Dask
Daskは柔軟な並列分散ライブラリです。
シンプルに記述できて、非常に良い感じです。
しかし、ある程度大規模にならないと、高速化しないように感じられるので
ある程度対応する規模を見積もる必要があると思います。
PyPy
Pythonを高速に実装したのがPyPyです。但し、簡単に実行ができる代わりに
numpy, scipy周りが動かないようなものも出ます。（そのため使っておりません・・）
詳しくは以下をご覧ください。
nonbiri-tereka.hatenablog.com
公式ページ
pypy.org
感想並びに展望
今回はPythonにおける高速化といった観点で記事を書きました。
もっとこんな便利なのがありますといった話があれば、ぜひ。
Jupyter Notebookの次世代版、JupyterLabのこれが凄いポイントの紹介
みなさんこんにちは
お元気ですか。私は元気です。
Jupyter Notebookの次世代版、JupyterLabを紹介したいと思います。
※7/17 誤字脱字、一部画像を修正
JupyterLab
JupyterLabとは
JupyterLabはJupyter Notebookをベースに拡張したものである。
所謂IDEと呼ばれるツールと同様である。
現在はAlpha版がリリースされています。
※Scipy2016のカンファレンスビデオはこちらにあります。
JupyterLab: Building Blocks for Interactive Computing | SciPy 2016 | Brian Granger
JupyterLabのインストール
公式ホームページと同じでできます。
pip install jupyterlab jupyter serverextension enable --py jupyterlab jupyter lab
jupyter notebookが4.2.0未満の場合はupgradeが必要です。
この画面が立ち上がれば、Jupyter Labの立ち上がりを確認することができます。
今日はこれ凄いと思ったポイントを紹介したいと思います。
Jupyter Labの凄い点
１．画面分割が可能
以前までのJupyter Notebookでは、1画面での操作が基本で、
2画面の同時表示ができません。
しかし、JupyterLabからはそれが可能となっています。
ファイルをドラッグアンドドロップをすることで、画面を2画面に分割することが可能です。
また、更に追加でこんな感じの画面を展開することができます。
２．タブによる画面切り替え
なんと、タブがあります
タブの切り替えで、 様々なことができます。
タブがないと様々な画面をいちいち、開いて閉じてといった
動作をしなければならないので効率が悪かったのですが、
それがサポートされるというのは非常に大きいことです。
※１にも記載されているので画像は省略
３．ファイルの操作機能
ファイルが右クリック、ドラッグアンドドロップなど
様々な方法で操作することができます。
これまでドラッグアンドドロップなど使えず、結構手間だったことを考えると
かなり助かります。
４．コマンドの検索機能
Jupyter Labには様々なコマンドがついています。
vimモードの実行や一部ライブラリのヘルプページの閲覧をするなど
色々とできるのですが、複数の機能があり探すのも面倒くさい時に使える機能です。
Commandタブの一番上の空白に検索するテキストを入れることができます。
そのテキストをベースにCommand一覧から探してくれます。
感想
まだまだAlpha版ですが、以前までのJupyter Notebookよりも
かなり進化しているような様子が見られます。
今後の動向にも期待ですね！
dlibで画像を認識させて、遊んでみた。
皆さんこんにちは
お元気ですか。私は元気です。
ついに、今回はdlibで遊んでみました。
※dlibとは何だ？と思う方は以下のページへ
基本的な構成
基本的の構成は以下のようになっており、よく使いそうな項目と
あるけどExamplesが存在しない項目の紹介となっています。
画像の読み込みと表示
画像を読み込んで窓に開いてみます。
C++の以下のコードで動作します。案外短かった。
しかし、コンパイルに結構手こずりました。
ライブラリを見ながら、リンクに何が不足しているのかを考えつつ、リンクしていきました。
（むしろCMakeを書くべきか・・・）
g++ -I/Users/Tereka/Programing/dlib/ -lpthread -ldlib -lblas augmentation.cpp
ソースコードは基本的にこれに追加する形式となります。
#include <dlib/gui_widgets.h> #include <dlib/image_io.h> #include <dlib/image_transforms.h> using namespace std; using namespace dlib; int main(int argc, char const *argv[]) { array2d<rgb_pixel> img; //画像をファイルから読み込む。 load_image(img, argv[1]); //窓を定義する。 image_window window(img, "Original Image"); //クローズするまで開く。 window.wait_until_closed(); return 0; }
画像の処理をかけてみる。
画像処理を実施してみました。
コンパイルコマンドは前項のをお使いください。
今回使ったのは、flipとgaussian blurと呼ばれる画像の処理をかけてみました。
#include <dlib/gui_widgets.h> #include <dlib/image_io.h> #include <dlib/image_transforms.h> using namespace std; using namespace dlib; int main(int argc, char const *argv[]) { array2d<rgb_pixel> img; //画像をファイルから読み込む。 load_image(img, argv[1]); //窓を定義する。 image_window window(img, "Original Image"); //クローズするまで開く。 window.wait_until_closed(); array2d<rgb_pixel> fliped_image; flip_image_up_down(img,fliped_image); image_window window2(fliped_image, "Fliped Image"); window2.wait_until_closed(); array2d<rgb_pixel> gaussian_blur_img; gaussian_blur(img,gaussian_blur_img); image_window gaussian_window(gaussian_blur_img, "Gaussian Image"); gaussian_window.wait_until_closed(); return 0; }
画像特徴に使われる処理を実施してみる。
Local Binary Pattern（LBP）とHog処理を実施してみます。
Selective Search
Selective Searchを実施してみました。
実はこれ、PythonにはExampleがありますが、なんと、C++にはExampleを用意してくれません。
ということで、ドキュメントを読みつつ、自分でコードを書いてみました。
#include <dlib/gui_widgets.h> #include <dlib/image_io.h> #include <dlib/image_transforms.h> #include <vector> #include <iostream> using namespace std; using namespace dlib; int main(int argc, char const *argv[]) { array2d<rgb_pixel> img; //画像をファイルから読み込む。 load_image(img, argv[1]); //窓を定義する。 image_window window(img, "Original Image"); //クローズするまで開く。 window.wait_until_closed(); std::vector<rectangle> rects; //Selective Search find_candidate_object_locations(img,rects); //四角形の描画 for (int i = 0; i < rects.size(); i++) { cout << rects[i].top() << endl; rgb_pixel pixel(255,0,0); draw_rectangle(img,rects[i],pixel); } //表示 image_window selective_window(img, "Selective Search Image"); selective_window.wait_until_closed(); return 0; }
find_candidate_object_locationsがSelective Searchの実行関数となります。
その結果は与えたrectsの中に格納されるので、その結果を描画しています。
OpenCV連携
OpenCV連携についてです。dlibライブラリ自身でサポートしており、
OpenCVで使いたい場合はOpenCVのMat型、dlibの関数しかない場合はdlibの関数を使うなど
簡単にこの連携を実現できます。
g++ -O2 -I/Users/Tereka/Programing/dlib/ -lpthread -ldlib -lblas `pkg-config --cflags opencv` `pkg-config --libs opencv` opencv_test.cpp
基本的にはtoMatとcv_imageを使えばよいです。実装コードは以下となっています。
#include <opencv2/highgui/highgui.hpp> #include <dlib/gui_widgets.h> #include <dlib/image_io.h> #include <dlib/image_transforms.h> #include <dlib/opencv.h> using namespace dlib; using namespace cv; int main(int argc, char const *argv[]) { Mat temp = imread(argv[1]); //OpenCV→dlib変換 cv_image<bgr_pixel> cimg(temp); //dlib→OpenCV変換 Mat convertedMat = toMat(cimg); return 0; }
dlibと呼ばれる画像処理ライブラリを使ってみた
皆さんこんにちは
お元気ですか。私は元気です。
日本ではあまり見られないdlibと呼ばれるライブラリの画像処理ライブラリを
使ってみたいと思います。
dlibについて
dlibとは
公式サイト：dlib C++ Library
Dlib is a modern C++ toolkit containing machine learning algorithms and tools for creating complex software in C++ to solve real world problems. It is used in both industry and academia in a wide range of domains including robotics, embedded devices, mobile phones, and large high performance computing environments. Dlib's open source licensing allows you to use it in any application, free of charge.
Dlibは現実世界の問題を解決するための複雑なソフトウェアを作るためのC++の機械学習アルゴリズムやツールであり、
産業や学術の広いドメインに適用でき、オープンソースで、無料である。
実はコンピュータビジョン勉強会に参加するまではこのライブラリの存在を知らず、
そういえばあったなぁと今から使ってみる次第です。
因みにPythonのパッケージもありますが、Macでは動かなかったので諦めてC++にします。
Ubuntuだと動くらしいです。
Install方法
boostなどのその他ライブラリは入っている前提です。
git clone https://github.com/davisking/dlib cd dlib cd examples mkdir build cd build cmake .. cmake --build . --config Release
因みにXQuartzがないと、動作しません。そのため、ない人は以下のページからXQuartzを入れましょう。
https://www.xquartz.org/
インストール後に、シンボリックリンクを貼りましょう。
ln -s /opt/X11/include/X11 /usr/local/include/X11
そして最初のコマンドを実行するとpipを使ったインストールができます。
因みにこのライブラリ何ができるのか？
公式ホームページから引っ張ってきました。
Algorithms
API Wrappers
Bayesian Nets
Compression
Containers
Graph Tools
Image Processing
Linear Algebra
Machine Learning
Metaprogramming
Miscellaneous
Networking
Optimization
Parsing
実際にニューラルネットワーク、SVRなどの機械学習、画像処理、ベイジアンネットワークなど
計算、機械学習系のサポートが強力です。
SVMのCross Validationの例、ResNetの実行例などもあり、サンプルを見ると使い方はかなり見えるのではないでしょうか。
dlibの画像処理ライブラリ紹介
では、何ができるかを見てみましょう。
ソースコードの解説とかは次回以降にします。
顔の輪郭検出
顔の輪郭検出用のコードは、face_landmark_detection_exを使います。
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
/face_landmark_detection_ex ./shape_predictor_68_face_landmarks.dat ../faces/2008_004176.jpg
顔検出
./face_detection_ex ../faces/2008_002470.jpg
Hog特徴量の計算
./fhog_ex ../faces/2008_002079.jpg
画像の表示
./image_ex ../faces/2008_002506.jpg
Bandit Problemと強化学習ーこれであなたも大金持ち？ー
皆さんこんにちは
お元気ですか。私は元気です。
本日はBandit Problemと呼ばれる問題を強化学習で解いてみます。
- Bandit Problemについて
- 解き方
- 今回解いた問題
- epsilon greedy algorithm
- Softmax Tempature
- UCB
- 感想
- 参考文献
- ソースコード
Bandit Problemについて
Bandit Problem（和名：バンディット問題）は
当たる確率の異なるスロットマシンから最も大きい報酬を得るには
どうすればよいか？といった問題です。
以下のようなスロットがあったとします。
しかし、実はスロット達、あたる当たる確率が異なるスロットなのです。
そのようなスロットの中で最も報酬を高くするようスロットを選んでいくにはどうすればよいかといった問題を
解くことができます。
つまり、どうすれば大金持ちになれるかわかるということです、もちろん儲かる保証はしません。
因みに一般的な問題としては、A/Bテストに使われているとかいないとか。
解き方
いくつか解法がありますが、今回は3点紹介します。
- epsilon greedy algorithm
- Softmax
- UCB
今回解いた問題
今回は強引に以下の割合で当たる問題を解いてみました。
0.5, 0.3, 0.7, 0.2, 0.9, 0.2, 0.3, 0.2, 0.3, 0.2, 0.4
つまり、最も良いのは0.9でこれを引き続けることが理論上、最も良い作業となります。
epsilon greedy algorithm
epsilon greedy algorithmは一定の確率で、適当に選ぶ振る舞いをし、
基本的に最も期待が高い報酬を選択します。
ある意味直感的にわかりやすい
一定回数実施すると、最も高い報酬のところを選択するよう収束するように動作します。
因みにグラフも書いてみた。
以下のグラフは縦軸が報酬の平均、横軸がトライ回数です。
基本的に報酬は最大に収束するように動作しますが、最悪の行動を選択した場合において
残り続けてしまうため収束が遅くなる可能性があります。
Softmax Tempature
温度と呼ばれる概念を与えたBandit Problemの解き方。
epsilon greedy algorithmでは、ランダムな選択時に全ての行動の選択が等しくなる欠点があり、
その欠点を解消するように挙動する。
基本的にはSoftmax関数であるが、温度（T）と呼ばれる概念が投入されており、
この温度関数が高いと、ランダムに振る舞おうとする傾向が強くなるそうです。
（※ = i番目の期待値、
= i番目を選択する確率）
しかし、この温度と呼ばれる概念
グラフ
UCB
UCBと呼ばれる値を導入した
UCB関数は、選択の頻度が低い値を選ぶよう挙動し、
選択の頻度の低い値を選択し、推定する。式は以下の式であり、Cは定数
nは総プレイ回数で、はindexのiを選択した回数
実際にUCB関数を使ってBandit Problemを解いたグラフが以下
感想
実は何回かepsilon greedyを実行していますが、結構ブレブレな挙動を示す傾向ですね。
かなり乱数に左右されるアルゴリズムであることがわかる。。。
Bandit Problemで実際のスロットやるとどうなるのか気になるけど怖くてできない。
