のんびりしているエンジニアの日記

ソフトウェアなどのエンジニア的な何かを書きます。

自然言語処理

友利奈緒らしさとは何か。

友利奈緒の皆さんこんにちは。 お元気ですか?私は元気です。これは、友利奈緒アドベントカレンダー24日目の記事です。 www.adventar.org今日は友利奈緒らしさについて追求していきます。 世の中友利奈緒を降臨させようとする方々は沢山いらっしゃると思い…

Word Embedding using GloVe

GloVeについて調べてみた。 皆さんこんにちは。お元気ですか。先日、EMNLP勉強会@PFIに行ってきました。 専門とは異なるので、普段聞けない話が聞けてよかったですね。 個人的にはRNN,LSTMがどう使われているのか、 Word Embeddingが流行していたそうだとい…

Gensimを使った自然言語処理

皆さんこんにちは お元気ですか。私は元気です。今日はGensimを使い、自然言語処理を行います。 Install sudo pip install gensim 基本的なプロセス まず、学習処理ですが 基本的にはCorpusを作成する⇒ベクトルに変換する⇒何らかの処理をする(LSI,LDAとか)…

マルコフ連鎖で自動的に文章を生成してみた

皆さんこんにちは お元気ですか。私は二郎食べたいと思ったり、思わなかったりです。今日はマルコフ連鎖を使って、文章の自動生成を行いたいと思います。 マルコフ連鎖とは? マルコフ連鎖は、一連の確率変数 X1, X2, X3, ... で、現在の状態が決まっていれ…

Scikit learnで行う文章の特徴ベクトルの抽出

皆さんこんにちは お元気ですか。私は元気です。今日は、Scikit learnを使って、お手軽に文を特徴ベクトルに変換してみます。 どんな時に使うのか? ある文章、例えば、This is a pen(①)とThat is a pen(②)を機械学習で学習させるとき、 基本的に文字を…