のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

日本語自然言語処理のData Augmentation

皆さんこんにちは お元気ですか。週末の発表資料も作っています。本記事は自然言語処理アドベントカレンダー第13日です。qiita.com画像処理ではデータをアフィン変換などで変形して、 画像を拡張する処理(=Data Augmentation)が知られています。 変換など…

WebDNNのサンプルとコードの解説に挑戦

皆さんこんにちは。 お元気ですか。師走の12月らしく締め切りに追われています。この記事は「Deep Learning フレームワークざっくり紹介 Advent Calendar 2017」第7日目です。qiita.comDeepLearningフレームワークの1つ、WebDNNのご紹介をします。 このフレ…

Pythonで自然言語処理のタスクをやってみる。

皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。qiita.com自然言語処理には様々なライブラリ(NLTKやCoreNLP)があります。 せっかくの機会として、本記事で…

TensorFlowにdefine by run(TensorFlow Eager)がやってきた

皆さんこんにちは お元気ですか。今回の三連休は二郎食べて満足しました。Chainerにはじまり、PyTorchなどdefine by runで ニューラルネットワークを計算するフレームワークがあります。 このdefine by runは非常にRNN系のニューラルネットワークを書く際に…

ZabbixでGPUを監視する

皆さんこんにちは お元気ですか。私はISUCONで負けました。前回はCPUの温度監視をしました。だが、まだ情報が足りません。そう、GPUの監視情報です。一般的にはnvidia-smiから情報を取得できますが これをZabbixで見たいと思います。同じようなことを考える…

ZabbixでサーバマシンのCPU温度を監視する

皆さんこんにちは。 お元気ですか。旧友に最近太ったといわれて少々、落ち込んでます。 ちょっと食べる量減ったんですよね。ここ数年。負荷がかかるとリモートPCの調子が時々悪くなると言った事象が発生し、 勝手に落ちるするといった状況なのでちょっと対策…

CatBoostを5分程度で動かしてみた

皆さんこんにちは お元気ですか?私は年末の師走フラグが立っています。少し前(この界隈ではだいぶ前っぽい)にYandex社からCatBoostが発表されました。 これが発表されたことは知っていたのですが、時間が取れなくて利用してなかったソフトウェアの1つで…

Pandasで特徴量取得する場合に使う操作をまとめてみた

皆さんこんにちは お元気ですか。私は元気です。分析は基本的にPythonを使って行います。(大体Pandasですが・・・) Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。自分のメモがてらカテゴリを分けて記録に残したいと…

PyTorchでCIFAR10を既存のCIFAR10のDataset Classを使わずに分類する

皆さんこんにちは。 お元気ですか。雨天が増えてきて、出かけるのが億劫になっています。PyTorchを使って画像認識データセットCIFAR10を分類しました。 KaggleでPyTorchユーザが増えてきたこともあり、勉強しました。最近、この手のチュートリアルやExamples…

Rundeckを使ってリッチに定期ジョブを作った

皆さんこんにちは お元気ですか。昨日食べた中華そばおいしかったです。定期的に実行するJobを作成・実行する場合何を使っているでしょうか? メジャーなツールであれば、cronがあります。しかし、このツールはCUI、かつ、 他に色々追加したいこと(リトライ…

Chainerの学習の様子をリモートで確認するExtensionを作った

皆さんこんにちは お元気ですか。私はGWでリフレッシュして、生き返りました。Kaggleをやっているとき(特に画像などの長い場合)にリモートで 今学習されているかどうか、誤差はどうかなどのモデルの 様子が気になることはありませんか?私は画像認識系のコ…

CUDAを使ってGPUプログラミングに挑戦してみた。

皆さんこんにちは お元気ですか。私は家の近くに一風堂ができて感動しています。 本日はCUDAを使ったGPUプログラミングに挑戦します。最近、ふと思うことがあります。 GPUをよく使いますが、GPUの心みたいなものがわからない状態です。 そこで、GPUプログラ…

Anacondaを使ったPythonの環境構築

皆さんこんにちは お元気ですか。私は暇です(だと信じています)。 最近ブログタイトルと本人の忙しさが一致していないと言われるので とりあえず暇ですといってみます。本日は、Anacondaについて書きます。 Anacondaについて Anacondaとは インストール方…

Cookiecutterを使ってテンプレートからプロジェクトを作成する

皆さんこんにちは お元気ですか。ユニクロの極暖Tシャツ着ているとかなり暑い。。。冬なのに今日は、Cookiecutterを使ったテンプレートからの複製生成を試みます。 テンプレートからちょっと変えたい部分を用意することで、簡単に 似たプロジェクトを作成で…

Visual Studio CodeでC++の環境構築をやってみる

皆さんこんにちは お元気ですか。私は元気です。VIsual Studio CodeでC++の環境を構築します。 C++のコードを書く時に案外いいエディタがなくて結構困ります。 今まではsublime text+ pluginを使っていましたが、デバッガ厳しい、 補完難しいなど色々困って…

Dockerを使ってGPUも使える分析環境を構築してみた

皆さんこんにちは お元気ですか。Kaggle Meetup面白かったです!またあいましょう。今日はDockerを使った分析環境構築の話をしようと思います。 Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・ cudnn等の更新が面倒であることが思い…

2017年の挨拶とやりたいこと

あけましておめでとうございます。 今年もよろしくお願いします。ふりかえりはしませんが、昨年はエキサイティングな1年間で色々なことに 挑戦していった年でした。 色々と課題も見えてきましたが・・・今年はKaggleもしかりお仕事もしかり色々やっていった…

クリスマスにもなってカノジョがいないからカノジョを作ってみた。

皆さんこんにちは お元気ですか?私はぼっちです。本記事は「カノジョできない機械学習エンジニア」の最終日です。 qiita.com本日の話の流れは次のとおりです。 はじめに カノジョがいないことに対する解決法 カノジョについての考察 カノジョとは 理想のカ…

Chainerの抽象化に挑戦してみた

皆さんこんにちは お元気ですか?年末ってこんなに忙しくなるものですね。本記事はChainer Advent Calendar 16日目の記事です。qiita.com本日はScikit-learn likeなChainerを作った記事です。なぜ、作ったのかは後述します。 はじめに なぜ、抽象化コードを…

Pythonを使った音楽解析をやってみる

皆さんこんにちは お元気ですか。私は元気です。本記事はPythonのアドベントカレンダー第6日です。 qiita.com本日はPythonを使った音楽解析に挑戦します。 偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います! 音楽解析 librosa li…

グレーの画像に色をつけるネットワークについて発表しました。

皆さんこんにちは お元気ですか。どきどき。本記事はDeepLearning Advent Calendar 3日目の記事です。qiita.com今日は画像に色を付与するネットワークについて発表します。 せっかくなので、そのタイミングを見計らって公開しています。 発表スライド 慌てて…

ChainerのTrainerを使ってみた

皆さんこんにちは お元気ですか。最近、Chainer便利でびっくりしたような頃合いです。頻繁に更新することで有名なChainerですが、久々にupgradeすると以前よりも シンプルなタスクについて、簡単に学習ができます。 Trainer Chainer version 1.11.0よりTrain…

Keras.jsを使って、JavascriptでDeepLearningを動かしてみる

皆さんこんにちは お元気ですか?一人で箱根温泉りらっくすできました。Keras.jsが出て、遂にKerasをjavascriptを扱えるようになりました。 (これ公式なのかどうかが非常に不安で、きっと違う) ということで実際に動かしてみようと思います。 Kerasについ…

PyConJPで触発されてPythonのType Hints(型ヒント)について書いてみた

皆さんこんにちは お元気ですか。ラーメン食べたくなってきた。私自身は自他共に認めそうなPython2.7.x userのつもりなのですが、 PyConJP2016でAndrey Vlasovskikh氏の講演でType Hints(型ヒント)の話があって Python3.5すごいとか思いながら聞いてました…

高速化のためのPython Tips

皆さんこんにちは お元気ですか?私は元気です。Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profi…

Jupyter Notebookの次世代版、JupyterLabのこれが凄いポイントの紹介

みなさんこんにちは お元気ですか。私は元気です。Jupyter Notebookの次世代版、JupyterLabを紹介したいと思います。※7/17 誤字脱字、一部画像を修正 JupyterLab JupyterLabとは JupyterLabのインストール Jupyter Labの凄い点 1.画面分割が可能 2.タブ…

dlibで画像を認識させて、遊んでみた。

皆さんこんにちは お元気ですか。私は元気です。ついに、今回はdlibで遊んでみました。 ※dlibとは何だ?と思う方は以下のページへnonbiri-tereka.hatenablog.com 基本的な構成 画像の読み込みと表示 画像の処理をかけてみる。 画像特徴に使われる処理を実施…

dlibと呼ばれる画像処理ライブラリを使ってみた

皆さんこんにちは お元気ですか。私は元気です。日本ではあまり見られないdlibと呼ばれるライブラリの画像処理ライブラリを 使ってみたいと思います。 dlibについて dlibとは 公式サイト:dlib C++ Library Dlib is a modern C++ toolkit containing machine…

Bandit Problemと強化学習ーこれであなたも大金持ち?ー

皆さんこんにちは お元気ですか。私は元気です。 本日はBandit Problemと呼ばれる問題を強化学習で解いてみます。 Bandit Problemについて 解き方 今回解いた問題 epsilon greedy algorithm Softmax Tempature UCB 感想 参考文献 ソースコード Bandit Proble…

強化学習とは何か、調べてみた

皆さんこんにちは お元気ですか。私は元気です。今日は強化学習の勉強がてらメモを書いてみました。 個人的には最近、注目している分野で、ゴールがあるような(クラス分類やRegression) 機械学習と異なり、汎用的に色々問題が解けそうだからというのが理由…