皆さんこんにちは お元気でしょうか？忘年会シーズンで疲れ果てていたら、1日遅刻しました。qiita.comこの1年、生成AIのブームが来ており、Kagglerの皆様もChatGPTを使っている方が多いのではないかと推測しています。 ということで、本日は私の使い方を簡単…
皆さんこんにちは tereka114です。最近はNLP関係の技術調査も兼ねて、FB3をやってます。 最近の社会の流れを見ていて、少し時間の片隅でやってみたい事ができ、やったので、実験とその結果を書いておきます。 導入 今年はStable Diffusionが発表され、また、…
皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこう…
皆さんこんにちは。 コンペで頑張ったので疲れました。さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て…
皆さんこんにちは お元気ですか。ブログ書きながら、当チームのガチョウを見守っています。最近までHungryGeeseに参加しており、このコンペでHandyRLライブラリには大変お世話になりました。 このコンペでHandyRLを改造して使ったので、そのポイントを記録と…
皆さんこんにちは tereka114です。本日はKaggle Advent Calendar24日目の記事です。 今回はKaggle用マシンで購入したものとパーツ選びの基準をご紹介します。qiita.com Kaggle用マシン Kaggle用マシンがなぜ必要か どのような要件のマシンが必要か パーツの…
皆さんこんにちは。 お元気ですか。私はもう小麦そのものは食べる専門です。 本日はKaggle Notebookに関するトリックを紹介しようと思います。 Kaggle Notebook 黒魔術紹介 コードを呼び出すほうがリソース管理が楽 外部パッケージインストール 例外 小数点…
皆さんこんにちは お元気ですか。私は小麦を暫く食べるだけにしたいです。（畑で見たくない‥）さて、本日は最近勢いのあるモデルのライブラリ（pytorch-image-models）を紹介します。 pytorch-image-modelsとは 通称timmと呼ばれるパッケージです。 PyTorch…
皆さんこんにちは。 お元気ですか？私は元気です。本日までatmaCup#5に参加し、Public12th, Private18thでした。 問題設定 装置に関連する問題で、テーブルと信号が提供されました。 評価はPR-AUCで、Positive sampleが少ないこともあり、スコアが安定しない…
皆さんこんにちは お元気でしょうか。最近は宅配スーパーによりますます外出しなくなっています。本日はTPUをPyTorchで使ってみます。 GPUと比較して、TPUは汎用性をなくした代わりによりDeepLearningに必要な演算を高速にできるようにしたものです。 Why TP…
皆さんこんにちは お元気ですか。週末はALASKA2の準備をはじめてみました。さて、今回のAlbumentationの拡張方法を書いておきます。 AlbumentationはKaggleなどの画像コンペでよく利用されるData Augmentation（データ拡張）のライブラリです。 Albumentatio…
皆さんこんにちは お元気ですか。ついにクーラーが必要になってきました。 電気代が心配ですがなんとかなるでしょう。本日はPyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します。 pytorch-pfn-extras pytorch-pfn-extrasとは PyTorchを使った研…
皆さんこんにちは お元気ですか。動画編集処理スキルがなさすぎて非常に困惑しております。さて少し前のコンペティションになりますが、Bengali.AIのコンペティションの解説をYoutubeでやってみました。 ※Bengali.AIのコンペのページはこちらです。www.kaggl…
皆さんこんにちは お元気ですか。ついに自宅のパスタがなくなりそうです。さて、本日のテーマはcmakeです。 大半の人のcmake、実はこんな感じなのではないでしょうか。 インストール時にお世話になる（おまじない）けど、何もわからない（文字通り） 仮に見…
皆さんこんにちは。 お元気ですか。自粛ムードはまだまだ続きそうですね。本日は少し前の発表された勾配ブースティングの手法NGBoostを紹介しようと思います。 NGBoostについて NGBoostとは？ NGBoostは予測の不確実性をも推定する勾配ブースティングのアル…
皆さんこんにちは お元気ですか。3月末というのに、雪積もっていてすごかったです。さて、本日はPythonでの環境の管理方法を紹介します。 今まではAnacondaを利用しており、それを利用してimport/exportする方法もあります。 これに加えて最近はPipenvも増え…
皆さんこんにちは お元気でしょうか。本日はEfficientNetをPyTorchで利用します。 私も頻繁に利用しますが、時々忘れてしまうのでメモ EfficnetNetについて EfficientNetとは？ 幅、深さや解像度に関係性を導き出されたニューラルネットワークのアーキテクチ…
皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに…
皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する…
皆さんこんにちは お元気ですか。私は元気です。atmaCup#4に参加して5位だったのでその報告を書きます！ 前回より良く少しほっとしていますが、賞金圏内には届きませんでした。 概要 atmaさんと一般社団法人リテールAI研究会さんとの合同開催で開かれました…
皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いて…
皆さんこんにちは お元気ですか。私は珍しく、結構疲れました。先日の1/25（土）ですが、CA × atmaCupに参加してきました。 私としては初のオフラインコンペに参加し、senkinさんとチームを組み、結果はPublic 4th/Private 11thでした。 ※コンペの守秘義務的…
皆さんこんにちは お元気ですか。私は布団で感激です。さて、本日は布団について、執筆しようと思います。 昨年度まで安値の掛ふとんと敷布団を利用していましたが、寒くなり辛かったです。自宅の都合上2つの問題がありました。 掛ふとんの中が端によりすぎ…
皆さんこんにちは お元気でしょうか。私は元気です。久々に別の言語を習得したいと思って勉強をはじめようかと、思いました。 そう、ISUCONでのユーザが多いGo言語です。 Go言語とは インストール＆サンプル実行 インストール方法 公式から その他 サンプル…
皆さんこんにちは お元気でしょうか。冬寒いです。いい布団ほしい。さて、本日は画像を混ぜ合わせる系のData Augmentationを紹介します。（CutOut含む） 画像を回転、拡縮、平行移動させるのはよく知られている手法でしょう。ただし、CutOut、Mixupを筆頭に…
皆さんあけましておめでとうございます。 今年もよろしくお願いします。さて、本年やりたいことを書き連ねたいと思います。 Kaggle 昨年はKaggleに何度も挑みましたが、銀か銅しか取れず、金が0枚といった 結果について鳴かず飛ばずな一年だったと感じていま…
皆さんこんにちは お元気ですか。私は元気です。暫くKaggleしかしていなかったせいか、今年のブログ投稿頻度がひどいことになっています（がんばります。。） それはさておき、本日はKaggleのCompetitonで便利なPyTorchのライブラリを紹介してきます。昨年は…
皆さんこんにちは。 お久しぶりです。本日はPyTorchを用いて、Kaggleをする際に便利なソフトウェアを紹介します。 この記事はPyTorch Advent Calendar 15日目です。qiita.com私自身、画像コンペィションでは、豊富な実装からPyTorchを利用するケースが多いで…
皆さんこんにちは お元気ですか。ちゃっかりKaggleで物体検出のコンペもはじまりました。Deep Learningは相変わらず日進月歩で凄まじい勢いで進化しています。 特に画像が顕著ですが、他でも色々と進歩が著しいです。ところで色々感覚的にやりたいことが理解…
皆さんこんにちは。 お元気ですか。Advent Calendar執筆して以来、久々です。 今更ですが、あけましておめでとうございます。今年もよろしくお願いいたします。いつものようにTwitterを見ていると 以前紹介したJupyter Labのbetaがリリースとのことで、次の…
