自然言語処理 NLP

昨日の投稿でTransformersのtext-classificationパイプラインがすごいぞ！という投稿をしましたが．．．．

他の日本語テキストでも試したところ、日本語の文のそのままの状態でネガ・ポジ判定するのはマズいかもしれないということが判明しました。

これを見てください。

これは以前何かで使ったことがある金沢市の近江町市場に関するじゃらんの口コミを、Transformersを使って感情分析した結果です。osetiで感情分析したところほぼ94％がポジティブという結果になりました。実際に口コミを読んで検証しても、osetiはほぼ信頼できる結果です。

ところがTransformersの結果を見ると、990口コミ中の989がネガティブ。何でもかんでもネガティブにしているような結果になっています。これでは近江町市場の人に怒られます。

前回は英語で動いたモデルがそのまま日本語でも動いたということで舞い上がってしまい、その勢いでちゃんと検証もせずに投稿してしまいました。

自分の反省も兼ねて「Transformersは凄い」を訂正いたします。Transformersの利用はちゃんと学習してからにしましょう。