1ヶ月に22本ブログ記事を書いて気づいたこと
正確にはまだ21.05本くらいで、今もその数値が少しずつ増えています。 さて AI校正Shodoアドベントカレンダー をやろうと思い立ったのは11月の中旬ごろでしたが、目的としてはもちろんマーケティング的な意味合いもありつつ、ドッグフーディ…
requirements.txtでリポジトリーURLを指定する方法
requirements.txtでリポジトリーURLを指定したいことがあります。たとえばSageMakerではコード用のディレクトリーにrequirements.txtを配置することで、起動時に依存ライブラリーをインストールしてくれます。そ…
Jupyter Notebookでマウスを使わない！
Jupyter Notebookでマウスを使わなければ気持ちよくなれます！という啓蒙活動です。 Jupyter NotebookというとGUIが基本なのでどうしてもマウスを動かしてしまいますが、キーボード操作がかなり充実しています。あまり知…
Dockerで稼働しているCeleryが停止時にタスクを完了しない問題と修正方法
DockerでCeleryを稼働しているとき、設定によってはタスクを安全に完了（Graceful Shutdown）できていない場合があります。それぞれの登場人物の仕様を理解して間違いないようにしましょう。 コンテナランタイムの仕様 AWS…
Optimum Neuronでresume_from_checkpointをするとTypeError None // int
先日の記事のように Optimun Neuron を使うとHuggingFace Trainerを簡単にAWS Neuron上で扱えます。 ですがまだあまり安定していないというのが正直なところです。今回の問題は0.0.23から0.0.25の…
Optimun NeuronでHuggingFace TrainerをAWS Neuron上で簡単に動かす
Optimun Neuron を使うと、HuggingFace TrainerをAWS Neuron上で気軽に扱えるようになります。具体的には以下のように、TrainerとTrainingArgumentsを置き換えるだけです。 こうすると…
SageMakerでのトレーニング時は事前にデータをエンコードしておく
SageMakerでトレーニングする際、強めのマシンを使う場合は事前にデータをエンコードしておくと良いです。データ量が多いと dataset.map(encoder) をするのも案外時間がかかります。そうするとGPUやTrnを有効活用してい…
HuggingFace Trainerで学習とハイパーパラメーターチューニングを両立するプログラムを書く
HuggingFace Trainer を使っていて、トレーニング用のプログラムとハイパーパラメーターチューニング用のプログラムを両立させる方法を考えてみました。 HuggingFace Trainerでは trainer.hyperpar…