のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

Kaggle Notebookで使えるトリックを紹介します

皆さんこんにちは。 お元気ですか。私はもう小麦そのものは食べる専門です。 本日はKaggle Notebookに関するトリックを紹介しようと思います。 Kaggle Notebook 黒魔術紹介 コードを呼び出すほうがリソース管理が楽 外部パッケージインストール 例外 小数点…

種類が豊富な画像モデルライブラリpytorch-image-models(timm)の紹介

皆さんこんにちは お元気ですか。私は小麦を暫く食べるだけにしたいです。(畑で見たくない‥)さて、本日は最近勢いのあるモデルのライブラリ(pytorch-image-models)を紹介します。 pytorch-image-modelsとは 通称timmと呼ばれるパッケージです。 PyTorch…

atmaCup#5へ参加しました!

皆さんこんにちは。 お元気ですか?私は元気です。本日までatmaCup#5に参加し、Public12th, Private18thでした。 問題設定 装置に関連する問題で、テーブルと信号が提供されました。 評価はPR-AUCで、Positive sampleが少ないこともあり、スコアが安定しない…

PyTorch XLAでTPUを操作する

皆さんこんにちは お元気でしょうか。最近は宅配スーパーによりますます外出しなくなっています。本日はTPUをPyTorchで使ってみます。 GPUと比較して、TPUは汎用性をなくした代わりによりDeepLearningに必要な演算を高速にできるようにしたものです。 Why TP…

Albumentationの拡張方法

皆さんこんにちは お元気ですか。週末はALASKA2の準備をはじめてみました。さて、今回のAlbumentationの拡張方法を書いておきます。 AlbumentationはKaggleなどの画像コンペでよく利用されるData Augmentation(データ拡張)のライブラリです。 Albumentatio…

PyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します

皆さんこんにちは お元気ですか。ついにクーラーが必要になってきました。 電気代が心配ですがなんとかなるでしょう。本日はPyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します。 pytorch-pfn-extras pytorch-pfn-extrasとは PyTorchを使った研…

Bengali.AIの解説をYoutubeでやってみました

皆さんこんにちは お元気ですか。動画編集処理スキルがなさすぎて非常に困惑しております。さて少し前のコンペティションになりますが、Bengali.AIのコンペティションの解説をYoutubeでやってみました。 ※Bengali.AIのコンペのページはこちらです。www.kaggl…

CMakeを使ってビルドのみしている人のためのCMake入門

C++

皆さんこんにちは お元気ですか。ついに自宅のパスタがなくなりそうです。さて、本日のテーマはcmakeです。 大半の人のcmake、実はこんな感じなのではないでしょうか。 インストール時にお世話になる(おまじない)けど、何もわからない(文字通り) 仮に見…

NGBoostを使ってみた

皆さんこんにちは。 お元気ですか。自粛ムードはまだまだ続きそうですね。本日は少し前の発表された勾配ブースティングの手法NGBoostを紹介しようと思います。 NGBoostについて NGBoostとは? NGBoostは予測の不確実性をも推定する勾配ブースティングのアル…

Pythonの環境を管理・再現する

皆さんこんにちは お元気ですか。3月末というのに、雪積もっていてすごかったです。さて、本日はPythonでの環境の管理方法を紹介します。 今まではAnacondaを利用しており、それを利用してimport/exportする方法もあります。 これに加えて最近はPipenvも増え…

PyTorchで高精度・高性能のEfficientNetを利用する

皆さんこんにちは お元気でしょうか。本日はEfficientNetをPyTorchで利用します。 私も頻繁に利用しますが、時々忘れてしまうのでメモ EfficnetNetについて EfficientNetとは? 幅、深さや解像度に関係性を導き出されたニューラルネットワークのアーキテクチ…

MLFlow Trackingを使って、実験管理を効率化する

皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに…

データ分析に役立つメモリ管理・削減方法

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する…

atmaCup#4に参加して5位でした

皆さんこんにちは お元気ですか。私は元気です。atmaCup#4に参加して5位だったのでその報告を書きます! 前回より良く少しほっとしていますが、賞金圏内には届きませんでした。 概要 atmaさんと一般社団法人リテールAI研究会さんとの合同開催で開かれました…

機械学習研究者&エンジニアが頭を抱える実験管理に役立つツールを比較した

皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いて…

学びの多いCA × atmaCupに参加して11位でした

皆さんこんにちは お元気ですか。私は珍しく、結構疲れました。先日の1/25(土)ですが、CA × atmaCupに参加してきました。 私としては初のオフラインコンペに参加し、senkinさんとチームを組み、結果はPublic 4th/Private 11thでした。 ※コンペの守秘義務的…

新しい布団を購入して快適になった話

皆さんこんにちは お元気ですか。私は布団で感激です。さて、本日は布団について、執筆しようと思います。 昨年度まで安値の掛ふとんと敷布団を利用していましたが、寒くなり辛かったです。自宅の都合上2つの問題がありました。 掛ふとんの中が端によりすぎ…

これからはじめるGo言語(インストールと開発環境構築)

Go

皆さんこんにちは お元気でしょうか。私は元気です。久々に別の言語を習得したいと思って勉強をはじめようかと、思いました。 そう、ISUCONでのユーザが多いGo言語です。 Go言語とは インストール&サンプル実行 インストール方法 公式から その他 サンプル…

画像を混ぜ合わせるData Augmentationの紹介

皆さんこんにちは お元気でしょうか。冬寒いです。いい布団ほしい。さて、本日は画像を混ぜ合わせる系のData Augmentationを紹介します。(CutOut含む) 画像を回転、拡縮、平行移動させるのはよく知られている手法でしょう。ただし、CutOut、Mixupを筆頭に…

2020年の目標とやりたいこと

皆さんあけましておめでとうございます。 今年もよろしくお願いします。さて、本年やりたいことを書き連ねたいと思います。 Kaggle 昨年はKaggleに何度も挑みましたが、銀か銅しか取れず、金が0枚といった 結果について鳴かず飛ばずな一年だったと感じていま…

実務やKaggleで使えるPyTorchのライブラリを紹介します!

皆さんこんにちは お元気ですか。私は元気です。暫くKaggleしかしていなかったせいか、今年のブログ投稿頻度がひどいことになっています(がんばります。。) それはさておき、本日はKaggleのCompetitonで便利なPyTorchのライブラリを紹介してきます。昨年は…

Kaggleの画像コンペで便利なライブラリを紹介します。

皆さんこんにちは。 お久しぶりです。本日はPyTorchを用いて、Kaggleをする際に便利なソフトウェアを紹介します。 この記事はPyTorch Advent Calendar 15日目です。qiita.com私自身、画像コンペィションでは、豊富な実装からPyTorchを利用するケースが多いで…

私がわかりにくいと思った「Faster RCNN」のポイントの解説

皆さんこんにちは お元気ですか。ちゃっかりKaggleで物体検出のコンペもはじまりました。Deep Learningは相変わらず日進月歩で凄まじい勢いで進化しています。 特に画像が顕著ですが、他でも色々と進歩が著しいです。ところで色々感覚的にやりたいことが理解…

Jupyter Labのbetaが公開されました。操作性が向上していい感じ!

皆さんこんにちは。 お元気ですか。Advent Calendar執筆して以来、久々です。 今更ですが、あけましておめでとうございます。今年もよろしくお願いいたします。いつものようにTwitterを見ていると 以前紹介したJupyter Labのbetaがリリースとのことで、次の…

クリスマスにChainerを使って妄想力を可視化した。

皆さんこんにちは お元気ですか。やっと書き切りました。実は今年ももう少しです。 昨年度はカノジョを作成し、その前は友利奈緒を真面目に解析しています。いやぁ時の流れは早いものです。 これを踏まえ、今年は何をしようか考えました。Chainer Advent Cal…

画像のDataAugmentationで最速のライブラリを探してみた

皆さんこんにちは お元気ですか。年末に向けて燃え尽きようとしています。OpenCVアドベントカレンダー第22日です。qiita.com今回、PythonのDataAugmentationで最速の方法を探してみます。 画像処理のDeepLearningでは、頻繁にDataAugmentationが使われていま…

日本語自然言語処理のData Augmentation

皆さんこんにちは お元気ですか。週末の発表資料も作っています。本記事は自然言語処理アドベントカレンダー第13日です。qiita.com画像処理ではデータをアフィン変換などで変形して、 画像を拡張する処理(=Data Augmentation)が知られています。 変換など…

WebDNNのサンプルとコードの解説に挑戦

皆さんこんにちは。 お元気ですか。師走の12月らしく締め切りに追われています。この記事は「Deep Learning フレームワークざっくり紹介 Advent Calendar 2017」第7日目です。qiita.comDeepLearningフレームワークの1つ、WebDNNのご紹介をします。 このフレ…

Pythonで自然言語処理のタスクをやってみる。

皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。qiita.com自然言語処理には様々なライブラリ(NLTKやCoreNLP)があります。 せっかくの機会として、本記事で…

TensorFlowにdefine by run(TensorFlow Eager)がやってきた

皆さんこんにちは お元気ですか。今回の三連休は二郎食べて満足しました。Chainerにはじまり、PyTorchなどdefine by runで ニューラルネットワークを計算するフレームワークがあります。 このdefine by runは非常にRNN系のニューラルネットワークを書く際に…