Stable Diffusion

[AI Study] LoRA Training

Essential to Advanced Guide to training a LoRA | Civitai

1. Introduction "Fear the curses that hide in your training" - Disclaimer: I won't teach you to make images like this one, don't worry. This aims t...

https://civitai.com/articles/3105/essential-to-advanced-guide-to-training-a-lora

위 내용에 대한 학습에 추가로 이해를 돕기 위한 다른 내용들도 추가했음.

Stable Diffusion

Stable Diffusion은 확률적으로 이미지를 생성하는 모델 중 하나다. 오픈 소스이기에 파생 모델들이 많고 커뮤니티도 크다.

구글의 Imagen이나 OpenAI의 Dall-e는 픽셀 하나하나를 다룬다. 근데 이건 엄청난 컴퓨팅 파워가 필요하다. 예를들어 512x512 이미지가 RGB 값을 다룬다면 이건 512x512x3의 경우의 수를 다룬다는 것을 의미한다. 즉, 어어어어어엄청 느릴 수 밖에 없다.

Stable Diffusion 모델은 이를 해결하기 위한 ‘Latent Diffusion Model’이다. 픽셀 하나하나를 다루지 않고 이미지를 ‘Latent Space’라고 부르는 이미지로 압축한다. 이 Latent Space 이미지는 원본 이미지에 비해 48배 정도 작아진다. 이때 사용하는 기술이 ‘VAE(Variational Autoencoder’ 이다.

Stable Diffusion Training 심플한 작동 원리

Training 이미지를 선택한다. (ex. 고양이 사진)

랜덤 Noise 이미지를 생성한다.

Training 이미지에 Noise 이미지를 추가해서 원본 이미지에 노이즈가 끼게 만든다.

최종적으로 생성된 노이즈 이미지가 원본 이미지에서 얼마만큼의 Noise가 추가되어 만들어졌는지 추측한다.

이때 Noise Predictor라고 불리는 ‘U-Net 모델’을 이용한다.

트레이닝이 완료되면 우리는 결과물로 Noise Predictor를 획득한다.

Stable Diffusion Inference 작동 원리

랜덤하게 Noise 이미지를 생성한다.

Noise Predictor에게 이 Noise 이미지에서 어떤 Noise가 꼈는지 추측하게 한다.

Noise Predictor가 추측한 Noise를 Noise 이미지에서 하나씩 제거한다.

원하는 이미지를 획득한다.

https://stable-diffusion-art.com/how-stable-diffusion-work/

Stable Diffusion의 진짜 작동 원리

Stable Diffusion에서의 핵심은 “VAE”다. VAE는 Encoder와 Decoder로 이루어져 있다. Encoding은 이미지 압축, Decoding은 이미지 복원이라고 생각하면 된다.

Encoding은 이미지를 압축해 ‘Latent Space’라는 곳의 형식에 맞게 변형하는데 Latent Space에는 이미지의 특징을 나타내는 값들을 가지게 된다. 예를들어 ‘type: 고양이, 색: 회색’ 등의 정보를 가지고 있다. 물론 이러한 특징을 나타내는 값의 종류는 어어어어어어어엄청 많다.

Decoding은 이러한 특징을 바탕으로 이미지를 복원하는데 좋은 디코더는 고품질 이미지를 만들어낼 수 있다는 것을 의미한다.

이때 Latent Space에는 수많은 정보가 저장되게 되는데 사용자가 Prompt를 입력하면 그 Prompt를 Latent Space 에서의 특정 벡터와 연결하여

근데 어떻게 압축을 했음에도 불구하고 원본 이미지의 특성을 잘 유지할 수 있을까? 이유는 대부분의 이미지가 완전히 랜덤은 아니고 대부분 공통된 특징을 지니고 있기 때문이다. 예를들어 얼굴은 눈, 코, 입 등의 관계, 멍멍이는 4개 다리 등의 특징 말이다.

Reverse Diffusion에서는 다음과 같은 방식으로 동작함

랜덤한 Latent Space 매트릭스 생성

Noise predictor가 Noise 예측해서 Latent Matrix에서 제거

2를 계속 반복하고 마지막에 Latent Matrix를 이미지로 변환

VAE 파일은 눈이나 얼굴을 더 잘 그릴 수 있게 도와주기도 함

디코더를 파인튜닝 잘 하면 디테일을 더 잘 표현할 수도 있음

Stable Diffusion은 512x512에 파인튜닝 되어있기에 여기서 벗어나면 이미지 중복이 되거나 이슈가 발생할 확률이 올라간다.

SDXL은 1024x1024에 파인튜닝 되어있다.

512 x 512 x 3

64 x 64 x 4 x 16 x 3

Conditioning

text가 없으면 Stable Diffusion은 랜덤하게 개나 고양이 사진은 내놓을 것이다. 우리는 원하는 이미지를 얻어내기 위해 ‘Conditioning’을 해야 한다.

Conditiong을 한다는 의미는 Noise Predictor를 조절해 우리가 원하는 이미지를 만들기 위한 Noise를 예측하게 한다는 것이다.

VAE (variational autoencoder)

https://civitai.com/articles/3105/essential-to-advanced-guide-to-training-a-lora

VAE는 원본 이미지의 특징만 뽑아내기 위해 사용한다.

위 이미지에서 왼쪽 원본 이미지는 512x512, 오른쪽 이미지는 64x64이다. VAE는 원본 이미지의 해상도를 낮춰 특징만 뽑아낼 수 있도록 한다.

Training은 Prompt를 통해 오른쪽 이미지를 만들어내는 것을 의미한다. 왼쪽 이미지를 만들어내는 것이 아니다.

그렇기 때문에 Stable Diffusion을 통해 만들어낸 이미지가

Stable Diffusion v1 → v2 → SDXL

parameter 수 증가 (v1.5는 0.98b, SDXL은 6.6b)

v2는 잘 안씀. v1.5 혹은 SDXL 씀

Noise Schedule

노이즈 스케쥴은 Training, Inference 과정에서 노이즈를 어떻게 추가하고 제거하는 지를 결정하는 역할을 한다.

CFG - Classifier Free Guidance

CFG는 결과 이미지와 텍스트 Prompt의 일치도를 높이는 기법을 의미한다.

Classifier Guidance는 비슷한 이미지들을 구분하기 위해 사용한다. 아래 이미지에서 왼쪽은 guidance가 없고 오른쪽으로 갈 수록 Guidance Scale이 높아진다. Guidance Scale이 높을 수록 ‘dog’에 대한 요청에 알맞는 ‘dog’이미지를 줄 확률이 올라간다.

근데 Guidance Scale을 사용하기 위해서는 Guidance를 제공해주는 추가 모델을 사용해야만 한다. 이 때문에 Training의 난이도가 올라간다.

CFG Scale 값은 ‘Text Prompt’가 결과에 얼마나 영향을 끼치는 지를 결정한다. 0으로 설정되면 이미지는 Guidance Scale없이 생성되고 CFG Scale이 높을 수록 prompt에 맞는 이미지를 뽑아낼 수 있도록 한다.

CFG가 낮으면 좀 더 창의적인 이미지를 생성할 가능성이 올라가는데 사용자가 구체적인 프롬프트를 제공하지 않을 때 유용하다. 또 CFG가 너무 높으면 텍스트를 과도하게 반영하려 하면서 비현실적이거나 이상항 이미지를 만들어낼 수도 있다.