RunPodでRTX5090を使いたい

日付:

 ※この記事にはアフィリエイトリンクが含まれています 

私のグラボはRTX4070ti superでして、VRAMが16GBあるためゲーム用としてはそこまで引くわけではありません。

しかし、画像生成するとなるとちょっと不足を感じることがあります。また、動画生成となると相当苦しいです。

と考えると上位のグラボが欲しいわけですが、RTX5090なんて落ち着いたといえ40万円するわけでして。

常にトレーニングしてLoRAなりなんなり作ってパトロンからお金もらったりするならまだしも、そこまで考えてもないので40万あったらMacbook Proでも買います。

そもそもの話、今よりどこまで実感として向上するかもわからないのでGPUレンタルクラウドを使います。

上記はGPUを使えるサービスですが、Dockerコンテナを用意する必要があります。
まぁ、オフィシャルのコンテナもあるのでわざわざ新しく用意する必要もないのですが、しばらくDockerやってないので新しく作ってみます。

いろいろ試した結果、以下のようなイメージにします。

  • チェックポイントなどのデータはネットワークドライブに格納する
  • カスタムノードもネットワークドライブに格納する
  • DockerイメージにはComfy UIとPyTorchなどをインストールする
RunPodはネットワークドライブをしようしない場合はコンテナを停止することができますが、ネットワークドライブだとターミネートになります。これだけだとネットワークドライブを使わないほうがよさそうな感じもしますが、ネットワークドライブを使わないと今度は使えるGPUが固定されます。例えばRTX5090でPodを作ったとして、RTX5090が使えない状態のときはそもそもPodが上げられません。そういう理由でネットワークドライブを使います。また、ネットワークドライブはS3互換のものもあるのでAWS CLIでファイルをアップロードできます。

・
・
・

さて、これを書き出したのは8月なのですがイメージがやっと動いたのは9月も半ばになってからでした。いや、時間使えばもっと早くできたのですが、そこまでRTX5090使わなければいけない理由もないというか、やっぱりWebUIが遅いんですよね。快適性って意味だとローカル実行には敵わないです。トレーニングさせるとか、大量に生成するとかなら別ですが。

ということで間は空いたものの、実行できるイメージを作りました。コマンド用にJuypter Notebookも動くようにしました。

とりあえず動くものを用意したはいいんですが、まだ不足している部分があり詰める必要があります。このまま下書き状態にするのもなんなのでこれはこれで公開しておきます。

PR

コメント

コメントを投稿