自然言語処理 NLP

石垣島の分析で活用した資料を紹介します。

１，スクレイピング用

あまり難しいことはしないので、スクレイピングの作業はこの本の前半に書いてあることで用が足りました。データフレームの形に整えるのは、以前からpandasはよく使っていたので自力で何とか。

この本は内容はとても易しいです。買ってきてすぐスクレイピングを試すことができますので、楽しく学べます。

２，前処理

前処理は、 自然言語処理の本、ネットで調べた情報、サーバー大の田中ゼミでの自然言語処理の知識、これまでの経験あらゆるものを総動員しました。

３、分析

感情分析で使用したosetiとMlaskについては、この参考書をメインにしてコードを書いています。ワードクラウドや共起ネットワークは、nlplotを使ったほうがずっと便利なので、こちらに乗り換えました。nlplotの使い方はネットの情報です。

osetiは形態素解析器にMeCabがインストールされていて、ipadic辞書を使うように構成されている必要があります。osetiを動くようにするのは本当にてこずりました。venvで環境を作って、参考書に書いてあるとおりのコードを書いて入れようとしてもどうしてもだめ。ダメもとでJupyter Labを使い、C:￥直下にダウンロードしてきたMeCab本体のファイルを直接置くなど力業も使って、偶然動きました。なぜ動いたかは理由不明です。