のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

2020-01-01から1年間の記事一覧

新しくKaggle用のマシンを調達しました(2020年ver)

皆さんこんにちは tereka114です。本日はKaggle Advent Calendar24日目の記事です。 今回はKaggle用マシンで購入したものとパーツ選びの基準をご紹介します。qiita.com Kaggle用マシン Kaggle用マシンがなぜ必要か どのような要件のマシンが必要か パーツの…

Kaggle Notebookで使えるトリックを紹介します

皆さんこんにちは。 お元気ですか。私はもう小麦そのものは食べる専門です。 本日はKaggle Notebookに関するトリックを紹介しようと思います。 Kaggle Notebook 黒魔術紹介 コードを呼び出すほうがリソース管理が楽 外部パッケージインストール 例外 小数点…

種類が豊富な画像モデルライブラリpytorch-image-models(timm)の紹介

皆さんこんにちは お元気ですか。私は小麦を暫く食べるだけにしたいです。(畑で見たくない‥)さて、本日は最近勢いのあるモデルのライブラリ(pytorch-image-models)を紹介します。 pytorch-image-modelsとは 通称timmと呼ばれるパッケージです。 PyTorch…

atmaCup#5へ参加しました!

皆さんこんにちは。 お元気ですか?私は元気です。本日までatmaCup#5に参加し、Public12th, Private18thでした。 問題設定 装置に関連する問題で、テーブルと信号が提供されました。 評価はPR-AUCで、Positive sampleが少ないこともあり、スコアが安定しない…

PyTorch XLAでTPUを操作する

皆さんこんにちは お元気でしょうか。最近は宅配スーパーによりますます外出しなくなっています。本日はTPUをPyTorchで使ってみます。 GPUと比較して、TPUは汎用性をなくした代わりによりDeepLearningに必要な演算を高速にできるようにしたものです。 Why TP…

Albumentationの拡張方法

皆さんこんにちは お元気ですか。週末はALASKA2の準備をはじめてみました。さて、今回のAlbumentationの拡張方法を書いておきます。 AlbumentationはKaggleなどの画像コンペでよく利用されるData Augmentation(データ拡張)のライブラリです。 Albumentatio…

PyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します

皆さんこんにちは お元気ですか。ついにクーラーが必要になってきました。 電気代が心配ですがなんとかなるでしょう。本日はPyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します。 pytorch-pfn-extras pytorch-pfn-extrasとは PyTorchを使った研…

Bengali.AIの解説をYoutubeでやってみました

皆さんこんにちは お元気ですか。動画編集処理スキルがなさすぎて非常に困惑しております。さて少し前のコンペティションになりますが、Bengali.AIのコンペティションの解説をYoutubeでやってみました。 ※Bengali.AIのコンペのページはこちらです。www.kaggl…

CMakeを使ってビルドのみしている人のためのCMake入門

C++

皆さんこんにちは お元気ですか。ついに自宅のパスタがなくなりそうです。さて、本日のテーマはcmakeです。 大半の人のcmake、実はこんな感じなのではないでしょうか。 インストール時にお世話になる(おまじない)けど、何もわからない(文字通り) 仮に見…

NGBoostを使ってみた

皆さんこんにちは。 お元気ですか。自粛ムードはまだまだ続きそうですね。本日は少し前の発表された勾配ブースティングの手法NGBoostを紹介しようと思います。 NGBoostについて NGBoostとは? NGBoostは予測の不確実性をも推定する勾配ブースティングのアル…

Pythonの環境を管理・再現する

皆さんこんにちは お元気ですか。3月末というのに、雪積もっていてすごかったです。さて、本日はPythonでの環境の管理方法を紹介します。 今まではAnacondaを利用しており、それを利用してimport/exportする方法もあります。 これに加えて最近はPipenvも増え…

PyTorchで高精度・高性能のEfficientNetを利用する

皆さんこんにちは お元気でしょうか。本日はEfficientNetをPyTorchで利用します。 私も頻繁に利用しますが、時々忘れてしまうのでメモ EfficnetNetについて EfficientNetとは? 幅、深さや解像度に関係性を導き出されたニューラルネットワークのアーキテクチ…

MLFlow Trackingを使って、実験管理を効率化する

皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに…

データ分析に役立つメモリ管理・削減方法

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する…

atmaCup#4に参加して5位でした

皆さんこんにちは お元気ですか。私は元気です。atmaCup#4に参加して5位だったのでその報告を書きます! 前回より良く少しほっとしていますが、賞金圏内には届きませんでした。 概要 atmaさんと一般社団法人リテールAI研究会さんとの合同開催で開かれました…

機械学習研究者&エンジニアが頭を抱える実験管理に役立つツールを比較した

皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いて…

学びの多いCA × atmaCupに参加して11位でした

皆さんこんにちは お元気ですか。私は珍しく、結構疲れました。先日の1/25(土)ですが、CA × atmaCupに参加してきました。 私としては初のオフラインコンペに参加し、senkinさんとチームを組み、結果はPublic 4th/Private 11thでした。 ※コンペの守秘義務的…

新しい布団を購入して快適になった話

皆さんこんにちは お元気ですか。私は布団で感激です。さて、本日は布団について、執筆しようと思います。 昨年度まで安値の掛ふとんと敷布団を利用していましたが、寒くなり辛かったです。自宅の都合上2つの問題がありました。 掛ふとんの中が端によりすぎ…

これからはじめるGo言語(インストールと開発環境構築)

Go

皆さんこんにちは お元気でしょうか。私は元気です。久々に別の言語を習得したいと思って勉強をはじめようかと、思いました。 そう、ISUCONでのユーザが多いGo言語です。 Go言語とは インストール&サンプル実行 インストール方法 公式から その他 サンプル…

画像を混ぜ合わせるData Augmentationの紹介

皆さんこんにちは お元気でしょうか。冬寒いです。いい布団ほしい。さて、本日は画像を混ぜ合わせる系のData Augmentationを紹介します。(CutOut含む) 画像を回転、拡縮、平行移動させるのはよく知られている手法でしょう。ただし、CutOut、Mixupを筆頭に…

2020年の目標とやりたいこと

皆さんあけましておめでとうございます。 今年もよろしくお願いします。さて、本年やりたいことを書き連ねたいと思います。 Kaggle 昨年はKaggleに何度も挑みましたが、銀か銅しか取れず、金が0枚といった 結果について鳴かず飛ばずな一年だったと感じていま…