読者です 読者をやめる 読者になる 読者になる

のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

CUDAを使ってGPUプログラミングに挑戦してみた。

皆さんこんにちは お元気ですか。私は家の近くに一風堂ができて感動しています。 本日はCUDAを使ったGPUプログラミングに挑戦します。最近、ふと思うことがあります。 GPUをよく使いますが、GPUの心みたいなものがわからない状態です。 そこで、GPUプログラ…

Anacondaを使ったPythonの環境構築

皆さんこんにちは お元気ですか。私は暇です(だと信じています)。 最近ブログタイトルと本人の忙しさが一致していないと言われるので とりあえず暇ですといってみます。本日は、Anacondaについて書きます。 Anacondaについて Anacondaとは インストール方…

Cookiecutterを使ってテンプレートからプロジェクトを作成する

皆さんこんにちは お元気ですか。ユニクロの極暖Tシャツ着ているとかなり暑い。。。冬なのに今日は、Cookiecutterを使ったテンプレートからの複製生成を試みます。 テンプレートからちょっと変えたい部分を用意することで、簡単に 似たプロジェクトを作成で…

Visual Studio CodeでC++の環境構築をやってみる

皆さんこんにちは お元気ですか。私は元気です。VIsual Studio CodeでC++の環境を構築します。 C++のコードを書く時に案外いいエディタがなくて結構困ります。 今まではsublime text+ pluginを使っていましたが、デバッガ厳しい、 補完難しいなど色々困って…

Dockerを使ってGPUも使える分析環境を構築してみた

皆さんこんにちは お元気ですか。Kaggle Meetup面白かったです!またあいましょう。今日はDockerを使った分析環境構築の話をしようと思います。 Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・ cudnn等の更新が面倒であることが思い…

2017年の挨拶とやりたいこと

あけましておめでとうございます。 今年もよろしくお願いします。ふりかえりはしませんが、昨年はエキサイティングな1年間で色々なことに 挑戦していった年でした。 色々と課題も見えてきましたが・・・今年はKaggleもしかりお仕事もしかり色々やっていった…

クリスマスにもなってカノジョがいないからカノジョを作ってみた。

皆さんこんにちは お元気ですか?私はぼっちです。本記事は「カノジョできない機械学習エンジニア」の最終日です。 qiita.com本日の話の流れは次のとおりです。 はじめに カノジョがいないことに対する解決法 カノジョについての考察 カノジョとは 理想のカ…

Chainerの抽象化に挑戦してみた

皆さんこんにちは お元気ですか?年末ってこんなに忙しくなるものですね。本記事はChainer Advent Calendar 16日目の記事です。qiita.com本日はScikit-learn likeなChainerを作った記事です。なぜ、作ったのかは後述します。 はじめに なぜ、抽象化コードを…

Pythonを使った音楽解析をやってみる

皆さんこんにちは お元気ですか。私は元気です。本記事はPythonのアドベントカレンダー第6日です。 qiita.com本日はPythonを使った音楽解析に挑戦します。 偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います! 音楽解析 librosa li…

グレーの画像に色をつけるネットワークについて発表しました。

皆さんこんにちは お元気ですか。どきどき。本記事はDeepLearning Advent Calendar 3日目の記事です。qiita.com今日は画像に色を付与するネットワークについて発表します。 せっかくなので、そのタイミングを見計らって公開しています。 発表スライド 慌てて…

ChainerのTrainerを使ってみた

皆さんこんにちは お元気ですか。最近、Chainer便利でびっくりしたような頃合いです。頻繁に更新することで有名なChainerですが、久々にupgradeすると以前よりも シンプルなタスクについて、簡単に学習ができます。 Trainer Chainer version 1.11.0よりTrain…

Keras.jsを使って、JavascriptでDeepLearningを動かしてみる

皆さんこんにちは お元気ですか?一人で箱根温泉りらっくすできました。Keras.jsが出て、遂にKerasをjavascriptを扱えるようになりました。 (これ公式なのかどうかが非常に不安で、きっと違う) ということで実際に動かしてみようと思います。 Kerasについ…

PyConJPで触発されてPythonのType Hints(型ヒント)について書いてみた

皆さんこんにちは お元気ですか。ラーメン食べたくなってきた。私自身は自他共に認めそうなPython2.7.x userのつもりなのですが、 PyConJP2016でAndrey Vlasovskikh氏の講演でType Hints(型ヒント)の話があって Python3.5すごいとか思いながら聞いてました…

高速化のためのPython Tips

皆さんこんにちは お元気ですか?私は元気です。Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profi…

Jupyter Notebookの次世代版、JupyterLabのこれが凄いポイントの紹介

みなさんこんにちは お元気ですか。私は元気です。Jupyter Notebookの次世代版、JupyterLabを紹介したいと思います。※7/17 誤字脱字、一部画像を修正 JupyterLab JupyterLabとは JupyterLabのインストール Jupyter Labの凄い点 1.画面分割が可能 2.タブ…

dlibで画像を認識させて、遊んでみた。

皆さんこんにちは お元気ですか。私は元気です。ついに、今回はdlibで遊んでみました。 ※dlibとは何だ?と思う方は以下のページへnonbiri-tereka.hatenablog.com 基本的な構成 画像の読み込みと表示 画像の処理をかけてみる。 画像特徴に使われる処理を実施…

dlibと呼ばれる画像処理ライブラリを使ってみた

皆さんこんにちは お元気ですか。私は元気です。日本ではあまり見られないdlibと呼ばれるライブラリの画像処理ライブラリを 使ってみたいと思います。 dlibについて dlibとは 公式サイト:dlib C++ Library Dlib is a modern C++ toolkit containing machine…

Bandit Problemと強化学習ーこれであなたも大金持ち?ー

皆さんこんにちは お元気ですか。私は元気です。 本日はBandit Problemと呼ばれる問題を強化学習で解いてみます。 Bandit Problemについて 解き方 今回解いた問題 epsilon greedy algorithm Softmax Tempature UCB 感想 参考文献 ソースコード Bandit Proble…

強化学習とは何か、調べてみた

皆さんこんにちは お元気ですか。私は元気です。今日は強化学習の勉強がてらメモを書いてみました。 個人的には最近、注目している分野で、ゴールがあるような(クラス分類やRegression) 機械学習と異なり、汎用的に色々問題が解けそうだからというのが理由…

Go言語を触ったことのない人間がSensorBeeを使ってみた Part2

皆さんこんにちは お元気ですか。前回からあいてしまいましたが、引き続き SensorBeeのturtorialをやってみます。こちらは準備段階に2段階あり、elasticsearch,kibanaのインストールとtutrialの実施です。 準備 Elastisearch並びにkibanaのインストール elas…

Go言語を触ったことのない人間がSensorBeeを使ってみた Part1

go

本日はさくっとSensorBeeを使ってみました。皆さんこんにちは お元気ですか。連休でほっとしています。 What is SensorBee Stateful Expressive LightWeight Install Go(Mac) SensorBeeのインストール Tutorial データの取得と初期化 サーバの起動 BQN はじ…

Kaggleのコンペティションで公開されている手法・ソースコードのリンクをまとめてみた Part2

皆さんこんにちは お元気ですか。私は元気です。今日は前回の以下のページからだいぶ更新が立ち、Kaggleのコンペ的にも多くの開催がありました。 そこで、新しいページでリンクを纏めてみました。 中にはインタビューやフォーラム、githubなど様々なものが混…

Neural Networkでの失敗経験やアンチパターンを語る

皆さんこんにちは お元気ですか。私は元気です。今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパタ…

Chainerにおけるグラフ構造をループで書いてみる。

皆さんこんにちは お元気ですか。私は元気です。実は私、Chainerでのfor文でLinkとして作成できることを知らず、 今の複雑なネットワークにChainer使いにくいと思っていましたが、以下にサンプルがあって こうすれば複雑なネットワークも組めるんだ。みたい…

Pythonで書ける便利な書き方を紹介します。

皆さんこんにちは お元気ですか。私は元気です。今日はPythonにおける便利記法を書いてみます。 他の言語しか使ったこと無い人もぜひ※1/25間違いかと思われる箇所の加筆修正を実施 リストに関するイテレーション enumerate(インデックスとオブジェクトのル…

Pythonで少なくメモリを使用する方法

皆さんこんにちは お元気ですか。私は元気です。今日はPythonにおけるメモリ少なく使う方法を紹介したいと思います。 なぜ、そんな方法を書くに至ったか。それは、こんなエラーをしょっちゅう見ているからですね。 Traceback (most recent call last): File …

2016年新年あけましておめでとうございます。

皆さんあけましておめでとうございます。 お元気ですか。私は元気です。新年ですので今年のやりたいことを書いてみようかなと思います。 Kaggle 勉強会での発表 読書 英語 論文 Kaggle 昨年度は挑むに挑み、なかなかBenchMarkにも勝てない状況が続いていたよ…

友利奈緒らしさとは何か。

友利奈緒の皆さんこんにちは。 お元気ですか?私は元気です。これは、友利奈緒アドベントカレンダー24日目の記事です。 www.adventar.org今日は友利奈緒らしさについて追求していきます。 世の中友利奈緒を降臨させようとする方々は沢山いらっしゃると思い…

DeepLearningを使った実装を纏めてみた

皆さんこんにちは お元気ですか。私は全然です。Deep Learning 一言で言うとただの深層学習ですが、 作り手や用途によって構造が全然違います。今回は逆引き辞典よろしく、Deep Learningの実装のリンク集を作ってみました。 今回はライブラリは問わず、掲載…

Pythonで書けるDeepLearningのライブラリを比較してみた

皆さんこんにちは お元気ですか。私は元気です。ChainerのAdvent Calendar第16日目です。 DeepLearningのライブラリの比較を行ってみました。Chainer Advent Calendar 2015 - Qiita ライブラリ紹介 Chainer chainer.org日本製PFIが開発したライブラリ。個人…

Chainer version 1.5への対応に苦労する方へ

皆さんこんにちは お元気ですか。私は元気です。最近、ChainerのVersionが1.5へUpgradeしましたが… 従来までと異なり、GPUへの対応が大変です。 なぜ、大変になったか? Cythonへの対応 調べた限りだとCythonです。従来まではctypesを使って 行っていたので…

TensorFlowの可視化機能を使ってみる

本日はTensorFlowの可視化機能を使ってみる。皆さんこんにちは お元気ですか。私は元気です。今日はTensorFlowの可視化機能を使ってみました。 TensorFlowって何ぞ?といった方はこちらの記事を御覧ください。nonbiri-tereka.hatenablog.comまずは、可視化用…

TensorFlowのTutrialの解説と機械学習の実験をした。

今日は様々な箇所で賑わっているTensorFlowを使ってみました。皆さんこんにちは。 お元気でしょうか。朝弱いと結構困りますよね。 TensorFlowが盛り上がってたのでつい書いてみました。 TensorFlowとは http://tensorflow.org/ http://download.tensorflow.o…

Autogradで微分して、モデルを構築するとこまでの解説

皆さんこんにちは お元気ですか。Twitter上で突然賑わった、Autogradについて 書いてみることにします。 Autogradとは Autogradについての説明 github.com Autogradはnumpyらしく書くことができ、その記載した式を微分してくれるライブラリです。(in Python…

Gradient Checkingを実装した

皆さんこんにちは お元気ですか?私は凍えています。今日はGradient Checkingを紹介します。 Gradient Checking 機械学習の実装を行っていると、 勾配の計算をする箇所が出ることが多いです。(Back Propagationなど)簡単な計算をするには適当に手で計算し…

Word Embedding using GloVe

GloVeについて調べてみた。 皆さんこんにちは。お元気ですか。先日、EMNLP勉強会@PFIに行ってきました。 専門とは異なるので、普段聞けない話が聞けてよかったですね。 個人的にはRNN,LSTMがどう使われているのか、 Word Embeddingが流行していたそうだとい…

UbuntuにおけるOpenCV3のインストール

実は一度も使ったことがないOpenCV3を使ってみたいと思います。皆さんこんにちは お元気ですか。睡魔に襲われながらこの記事を書いています。今回はPython3を想定しています。Python2で使いたい人は適宜読み替えてください。 OpenCV3の機能について OpenCV3…

Elasticsearchを使ってWikipediaで遊んでみました。

今日はElasticsearchを使ってWikipediaの類似記事や重要語の抽出に勤しんでみました。皆さんこんにちは お元気ですか。コーヒーうまい。 Elasticsearchについて www.elastic.coElasticsearchはluceneベースの全文検索エンジンです。特徴として、拡張性が容易…

Mac10.9 でApache-Sparkを動作させてみる(in Python)

分散処理で有名なApache-Sparkを初動作させてみる。皆さんこんにちは お元気ですか。腹減った。分散処理のプラットフォームSparkを扱ってみます。 Apache Sparkとは spark.apache.orgApache Sparkは大きいデータを高速に処理する為のプラットフォームで Hado…

Sphinxを使ったAPIドキュメンテーションの作成

皆さんこんにちは お元気ですか。私は元気です。今日はSphinxを使ったドキュメンテーションを紹介します。 Sphinxを使うとモジュールの表示とコメントを自動的に表示するところを見ていきたいと思います。 Sphinxとは Sphinxは知的で美しいドキュメントを簡…

最近噂のDeepLearningLibrary DeepLearning4jを使ってみた(後編)

DeepLearning 4jの解説の後編を進めていきたいと思います。皆さんこんにちは お元気でしょうか。私はSWをエンジョイしています。一番上には今日話すこと持ってこないと、twitterで拡散された時にタイトル以外 何がいいたいのかわからない内容になってしまい…

最近噂のDeepLearningLibrary DeepLearning4jを使ってみた(前編)

皆さんこんにちは お元気ですか。私は元気です。本日は最近噂のDeepLearningLibraryのDeepLearning4j(dl4j)を使ってみました。 (1)なのは、次回ソースコードの解説を行う予定だからです。思っていたよりインストール部分が長くなりました。 DeepLearning4j…

Lasagneを使ったNeural Networkの構築

皆さんこんにちは お元気ですか。私は元気です。本日は、Lasagneを紹介したいと思います。 What is Lasagne? Lasagneは簡単にニューラルネットワークを構築できるライブラリです。 Lasagne/Lasagne · GitHub CNNやRNN(LSTM含)をサポートしている 複数の入…

Gensimを使った自然言語処理

皆さんこんにちは お元気ですか。私は元気です。今日はGensimを使い、自然言語処理を行います。 Install sudo pip install gensim 基本的なプロセス まず、学習処理ですが 基本的にはCorpusを作成する⇒ベクトルに変換する⇒何らかの処理をする(LSI,LDAとか)…

Hyperoptを使った、関数の最適化

皆さんこんにちは お元気ですか。私は元気です。本日はhyperoptと呼ばれるライブラリを紹介したいと思います。 KaggleのForamで時々あがっていたので、気になっていました。 Hyperoptについて What is Hyperopt? hyperoptはTree-structured Parzen Estimator…

ChainerをUbuntu14.04を使ってGPUで動かしてみる

皆さんこんにちは お元気ですか。私は元気です。本日は、ChainerのGPU設定を行っています。 なぜか、GPUの設定をすると毎度、毎度苦労することになります。 pip install chainer-cuda-deps このコマンドで実行できるとありますが、たいていの人のところでは …

Recurrent Neural Networkについて調査してみた

皆さんこんにちは お元気ですか。私は自由に元気です。今日はRecurrent Neural Networkについて見て行きたいと思います。 Recurrent Neural Network Recurrent Neural Networkは通常のネットワークと異なり、時系列が考慮されているニューラルネットワークで…

DenoisingAutoEncoderでアニメ顔の特徴を抽出してみた

皆さんこんにちは お元気ですか。私は人生元気に仲良くフリーダムに生きています。本日はDenoisingAutoEncoder(DAE)を使って実験してみたいと思います。DeepLearningの重みは可視化できます。他のブログで掲載されている 可視化について殆ど、MNISTだった…

マルコフ連鎖で自動的に文章を生成してみた

皆さんこんにちは お元気ですか。私は二郎食べたいと思ったり、思わなかったりです。今日はマルコフ連鎖を使って、文章の自動生成を行いたいと思います。 マルコフ連鎖とは? マルコフ連鎖は、一連の確率変数 X1, X2, X3, ... で、現在の状態が決まっていれ…

ChainerでCIFAR-10の分類を行ってみる

皆さんこんにちは お元気ですか。私は元気です。前回はChainerの紹介をしました。機械学習ライブラリ Chainerの紹介 - のんびりしているエンジニアの日記nonbiri-tereka.hatenablog.com 本日はこのChainerを使って、CIFAR-10の分類を行ってみようと思います…