ハマったこと Stucking

相変わらずこの本をやっています。衛星画像を読み込んで山林の繁茂の状態、農産物の生育状態、海岸の神職の状態などを評価する作業などなど。

本に書いてあるプログラムを動かそうとしても、動きません。全部で第6章まであるのですが、ほぼ全滅状態。

でもこれは本のせいでは全くありません。この本の初版第１刷発行は２０２２年の１２月３１日で、まだ２か月半程度しかたっていません。でも出版までに、解説やプログラムとその説明を書いて、画像や絵を挿入して、校正してなどの作業を考えると、プログラムを書いたのはざっと１年前ぐらいなのではないでしょうか。

ちなみにこの本で衛星画像をダウンロードして扱うために必要なライブラリーは、このようにやたらと多いです。

import os

法務局という役所には「公図」という図面が備え付けられています。「公図」というのは、簡単に言うと土地の形を示した図面です。不動産の売買は言うまでもなく、固定資産税の課税など様々な方面で使われています。公図は法務局へ出向いたり、あるいはオンラインで写しを買うことができます。オンラインなら1枚当たり300円台。

この公図データがＧ空間情報センターを介して一般公開されました。もちろん無料なのですが、自分で加工して見ることができるまでが一苦労でした。

https://front.geospatial.jp

二つ問題があって、

一つはファイルの数が膨大であること

BERTの本を読んでいて、見慣れない言葉がいっぱい出てきてゴチャゴチャニなってしまいました。ここでいったん整理したいと思います。

Hugging Face：アメリカの企業名。いろんなライブラリーが公開されています。　　　　　　　　クリック→

Hugging Faceが公開しているライブラリー。

●Transformers

　Transformersから様々な学習済みモデルを利用することができます。BERTは学習済みモデルの一つ。

今この本で勉強中。自然言語処理もこんなところまで進んでいたのかとびっくりです。kerasを使ってCNNをやるだけで十分凄いと思っていたのですが．．．。今や学習済みモデルを活用するのがすでに常識になっいるみたいです。

本を半ばあたりまで読み進めて、書いてあるコードを写経して動かそうとすると、おなじみのエラーメッセージ。

CUDA out of memory. Tried to allocate 24.00 MiB (GPU 0; 4.00 GiB total capacity; 3.40 GiB already allocated; 0 bytes free; 3.47 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

GPUのメモリが一杯です。

このプログラムは一体どれだけのメモリが必要なのでしょうか。メモリサイズに余裕があるＣＰＵで動かしてみると、１３．８Gも使っています。