のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

2017-01-01から1年間の記事一覧

クリスマスにChainerを使って妄想力を可視化した。

皆さんこんにちは お元気ですか。やっと書き切りました。実は今年ももう少しです。 昨年度はカノジョを作成し、その前は友利奈緒を真面目に解析しています。いやぁ時の流れは早いものです。 これを踏まえ、今年は何をしようか考えました。Chainer Advent Cal…

画像のDataAugmentationで最速のライブラリを探してみた

皆さんこんにちは お元気ですか。年末に向けて燃え尽きようとしています。OpenCVアドベントカレンダー第22日です。qiita.com今回、PythonのDataAugmentationで最速の方法を探してみます。 画像処理のDeepLearningでは、頻繁にDataAugmentationが使われていま…

日本語自然言語処理のData Augmentation

皆さんこんにちは お元気ですか。週末の発表資料も作っています。本記事は自然言語処理アドベントカレンダー第13日です。qiita.com画像処理ではデータをアフィン変換などで変形して、 画像を拡張する処理(=Data Augmentation)が知られています。 変換など…

WebDNNのサンプルとコードの解説に挑戦

皆さんこんにちは。 お元気ですか。師走の12月らしく締め切りに追われています。この記事は「Deep Learning フレームワークざっくり紹介 Advent Calendar 2017」第7日目です。qiita.comDeepLearningフレームワークの1つ、WebDNNのご紹介をします。 このフレ…

Pythonで自然言語処理のタスクをやってみる。

皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。qiita.com自然言語処理には様々なライブラリ(NLTKやCoreNLP)があります。 せっかくの機会として、本記事で…

TensorFlowにdefine by run(TensorFlow Eager)がやってきた

皆さんこんにちは お元気ですか。今回の三連休は二郎食べて満足しました。Chainerにはじまり、PyTorchなどdefine by runで ニューラルネットワークを計算するフレームワークがあります。 このdefine by runは非常にRNN系のニューラルネットワークを書く際に…

ZabbixでGPUを監視する

皆さんこんにちは お元気ですか。私はISUCONで負けました。前回はCPUの温度監視をしました。だが、まだ情報が足りません。そう、GPUの監視情報です。一般的にはnvidia-smiから情報を取得できますが これをZabbixで見たいと思います。同じようなことを考える…

ZabbixでサーバマシンのCPU温度を監視する

皆さんこんにちは。 お元気ですか。旧友に最近太ったといわれて少々、落ち込んでます。 ちょっと食べる量減ったんですよね。ここ数年。負荷がかかるとリモートPCの調子が時々悪くなると言った事象が発生し、 勝手に落ちるするといった状況なのでちょっと対策…

CatBoostを5分程度で動かしてみた

皆さんこんにちは お元気ですか?私は年末の師走フラグが立っています。少し前(この界隈ではだいぶ前っぽい)にYandex社からCatBoostが発表されました。 これが発表されたことは知っていたのですが、時間が取れなくて利用してなかったソフトウェアの1つで…

Pandasで特徴量取得する場合に使う操作をまとめてみた

皆さんこんにちは お元気ですか。私は元気です。分析は基本的にPythonを使って行います。(大体Pandasですが・・・) Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。自分のメモがてらカテゴリを分けて記録に残したいと…

PyTorchでCIFAR10を既存のCIFAR10のDataset Classを使わずに分類する

皆さんこんにちは。 お元気ですか。雨天が増えてきて、出かけるのが億劫になっています。PyTorchを使って画像認識データセットCIFAR10を分類しました。 KaggleでPyTorchユーザが増えてきたこともあり、勉強しました。最近、この手のチュートリアルやExamples…

Rundeckを使ってリッチに定期ジョブを作った

皆さんこんにちは お元気ですか。昨日食べた中華そばおいしかったです。定期的に実行するJobを作成・実行する場合何を使っているでしょうか? メジャーなツールであれば、cronがあります。しかし、このツールはCUI、かつ、 他に色々追加したいこと(リトライ…

Chainerの学習の様子をリモートで確認するExtensionを作った

皆さんこんにちは お元気ですか。私はGWでリフレッシュして、生き返りました。Kaggleをやっているとき(特に画像などの長い場合)にリモートで 今学習されているかどうか、誤差はどうかなどのモデルの 様子が気になることはありませんか?私は画像認識系のコ…

CUDAを使ってGPUプログラミングに挑戦してみた。

皆さんこんにちは お元気ですか。私は家の近くに一風堂ができて感動しています。 本日はCUDAを使ったGPUプログラミングに挑戦します。最近、ふと思うことがあります。 GPUをよく使いますが、GPUの心みたいなものがわからない状態です。 そこで、GPUプログラ…

Anacondaを使ったPythonの環境構築

皆さんこんにちは お元気ですか。私は暇です(だと信じています)。 最近ブログタイトルと本人の忙しさが一致していないと言われるので とりあえず暇ですといってみます。本日は、Anacondaについて書きます。 Anacondaについて Anacondaとは インストール方…

Cookiecutterを使ってテンプレートからプロジェクトを作成する

皆さんこんにちは お元気ですか。ユニクロの極暖Tシャツ着ているとかなり暑い。。。冬なのに今日は、Cookiecutterを使ったテンプレートからの複製生成を試みます。 テンプレートからちょっと変えたい部分を用意することで、簡単に 似たプロジェクトを作成で…

Visual Studio CodeでC++の環境構築をやってみる

皆さんこんにちは お元気ですか。私は元気です。VIsual Studio CodeでC++の環境を構築します。 C++のコードを書く時に案外いいエディタがなくて結構困ります。 今まではsublime text+ pluginを使っていましたが、デバッガ厳しい、 補完難しいなど色々困って…

Dockerを使ってGPUも使える分析環境を構築してみた

皆さんこんにちは お元気ですか。Kaggle Meetup面白かったです!またあいましょう。今日はDockerを使った分析環境構築の話をしようと思います。 Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・ cudnn等の更新が面倒であることが思い…

2017年の挨拶とやりたいこと

あけましておめでとうございます。 今年もよろしくお願いします。ふりかえりはしませんが、昨年はエキサイティングな1年間で色々なことに 挑戦していった年でした。 色々と課題も見えてきましたが・・・今年はKaggleもしかりお仕事もしかり色々やっていった…