【StableDiffusion】LoRAの設定方法と使い方【初心者向け】

AI
新人さん
新人さん

AIイラストを生成してみたけど、少し自分のイメージと違う

何か微調整できる方法は無いかな

きのぴー
きのぴー

AIを追加学習することで自分のイメージに合ったイラストを生成できるようになりますよ

LoRAと言われる仕組みが有るので、設定方法と使い方を説明しますね

・このページでは追加学習のLoRAについて説明します
・現在使用しているモデル、チェックポイントが学習していない要素を追加することで、AIイラストを自分のイメージに近づけることができます

LoRAとは?

LoRaとは「Low-Rank Adaptation」の略です。

DeepLで翻訳すると、「低ランクの適用」。英語の意味では解りにくいですが、特定の要素に特化した追加学習のことです

見てもらうとわかりやすいので、試しにLoRAの有無で変化を比較してみます

LoRA:Ink scenery | 水墨山水

今回活用させていただくのは、以下水墨画のようなLoRAです。

LoRA追加前

LoRA追加後

大分というか全然イメージが変わりますね!

LoRAを使うことで、同じモデル、同じプロンプト、同じSeedでも一味違うイラストを生成することができます。

事前準備

きのぴー
きのぴー

StableDiffusionの環境をこれから整えよう!という方は

以下記事を参考にしてみてください

【初心者向け】AIイラストを無料で作る方法【StableDiffusion】
初めてAIイラストにチャレンジされる方に向けた、AIイラストの無料作成方法をご説明。無料だが、クオリティの高いAI画像の作成方法を説明します。

LoRAファイルをダウンロード

Model(チェックポイント)同様に、CivitaiHuggingFaceからダウンロードします。

個人的には、Civitaiのほうが直感的に検索しやすいです。
実際にLoRAを使用したイラストを見ながら探すことができるので。

HuggingFaceはソースの直リンクが分かりやすいので、GoogleColabで実行していて、
GoogleDriveの容量を節約したい場合に重宝します。


Civitaiトップ画面の右上のフィルタボタンから「LoRA」を選択すると、絞り込めます。

Civitai | Stable Diffusion models, embeddings, LoRAs and more
Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged communit...
Hugging Face – The AI community building the future.
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

プログラムに追記

まず初めに、実行環境にフォルダを作成します。
※ローカル環境の場合は、手でフォルダを作成して、ファイルをコピーしても良いと思います。
 (その方が準備も起動も早いと思います)

#LoRAファイルを格納するフォルダを作成
!mkdir -p /content/stable-diffusion-webui/models/Lora

作成したフォルダにLoRAをコピーします。
※ローカル環境の場合は手でコピーでもよいと思います。

GoogleColabを利用している場合は、ドライブからコピーするコードを書くか、ダウンロードリンクからコピーするコードを書きます。気持ちGoogleDriveのからの方が読み込み早いような気もしますが、容量を食うので、直接ダウンロード元からコピーする方法も良いと思います。

#GoogleDriveからコピーする場合
!cp /content/drive/MyDrive/StableDiffusion/Lora/<LoRAファイル名>.safetensors /content/stable-diffusion-webui/models/Lora
#ダウンロード元からコピーする場合
!wget <ダウンロード元リンク> -O /content/stable-diffusion-webui/models/Stable-diffusion/<LoRAファイル名>.safetensors

使い方

StableDiffusionのWebUI画面(トップ画面)で、右にある花札アイコンをクリックします。

すると、事前に準備していたLoRAのファイルが選択できるようになっています。

使用したいLoRAを選択すると、プロンプトに<lora:xxxx:1>と追記されます。
これでLoRAを使用するという宣言がされます。
この時、LoRAのファイル名の後の数字を変更することで、どれくらい反映させるかを指定できます。

1を基準として、薄く適用したい場合は「0.8」や「0.6」等小さくしていきます。
より濃く適用したい場合は「1.2」「1.4」と増やしていきます

ここで重要なのがトリガーワードです。

Civitaiのダウンロード画面を見ると、ダウンロードボタンの下に以下のようなトリガーワードの表記がある場合があります。その場合はプロンプトに記載しましょう。よりLoRAのイメージに近づけることができます。

どれくらいがベストかは、生成しながら微調整します。

使用するLoRAは版権物や、特定の人物、作者に寄せたものは使用しないようにしましょう。

著作権関連の法案は現在見直し中ですが、現時点では利用者が学習元を知覚しない場合において、著作物の学習が合法化されております。(著作権法30条の4)

しかし、特定のイラストやキャラクターに限定した学習を行うLoRAについては、著作権を意識して版権フリーのものを選択する必要があります。(学習元の原作者から了承が得られていればその限りではない)

新人さん
新人さん

意外と簡単ですね!これで様々なイメージを試してみます!

きのぴー
きのぴー

LoRAはファイルサイズも小さいので導入しやすいと思います。
フィーリングが合うLoRAを見つけたら追加してみましょう!

AIイラストの生成に時間がかかる場合

AIイラストはどうしてもグラフィックメモリを大量に使用します。

スペックが不足していると、生成に時間がかかってしまいます。
なかなかいいと思えるイラストが生成されない経験はあると思います。

改善されたい場合は、グラフィックボードを購入するか、グラフィックボード搭載のノートPCの購入をご検討ください。

パワフルな大画面ゲーミングノートPC MSI エムエスアイ KATANA-GF76-11UD-671JP Core i7-11800H GeForce RTX 3050 Ti メモリ:16GB SSD:512GB 17.3インチ Windows 11 Home ゲーミングノートパソコン

価格:147,800円
(2023/6/13 01:01時点)
感想(0件)

Palit パリット / NE63060019K9-190AD / RTX3060 Dual 12G / [NE63060019K9-190AD] / グラフィックボード

価格:45,400円
(2023/6/13 00:42時点)
感想(2件)

CLIP STUDIO PAINT EX


完全無料で最短3週間でエンジニアへ エンジニアズゲート

コメント