스테이블 디퓨전 실사 이미지 동영상 만들기

스테이블 디퓨전의 용어 사전 (직접 작성해서 오타가 있을수 있어요)

**체크포인트(checkpoint):
체크포인트 또는 모델 로 부릅니다. 줄여서 체포(스테이블디퓨전의 (몸)에 체크포인트(뇌)합쳐진다)
학습된 모델(2D, 2.5D, 실사, 복합, 3D) 등등 다양하게 이미 학습이 되어있는 모델을 선택해서 이미지를 만들수있습니다.
스테이블 디퓨전은 체크포인트가 없으면 이미지를 생성할수 없습니다. 내가 어떤 이미지를 만들건지에 따라 그에 맞는
어울리는 체크포인트를 선택해줘야 합니다. (체크포인트는 인터넷이나 다양한 공유사이트에서 무료로 제공하고있습니다)
-예시),실사모델을 만들고 싶은데 2D 모델을 선택해서 아무리 만들려고 해도 만들수 없습니다
-(모델공유사이트www.civitai.com)

**VAE: 색감 (Variational autoencoder, )
스테이블의 눈과 같은역할을 합니다. 이미지가 흐리게 나오거나 퀄리티가 떨어지는 경우는 대부분 vae를 안해서 그렇습니다. vae는 다양한 색감 과 표현능력이 있는게 많습니다. 체크포인트와 vae 가 있으면 이미지가 완성될수 있습니다.
-예시),일반적으로 많이 사용하는 vae는 ft mse 84000(복합), kl-f8 anime2(만화) 가 많이 사용합니다

**Txt2img: 텍스트 to 이미지
체크포인트에서 학습된 텍스트를 기반으로 이미지를 생성합니다.
원하는 요소를 단어의 조합으로 이미지를 생성한다 볼수있습니다.
단어 뒤에 가중치를 부여할수있습니다.
()는 가중치를 올리고 싶을때
[]는 가중치를 낮추고 싶을때

****가중치 계산
모든 프롬프트에 넣은 내용들은 기본 가중치로 1을 갖습니다. 여기에 괄호 한개당 10%씩 증가
(masterpiece)는 1x1.1로 최종 1.1의 가중치를 가지게 된다.
((masterpiece)) 이라면 1.1x1.1 = 1.21의 가중치를 갖는다
그럼 (((masterpiece)))은 1.1x1.1x1.1 이니까 약1.33의 가중치
****가중치 감소
[black formal suit]는 1x0.9로 최종 0.9의 가중치를 가진다.
[[black formal suit]]는 1x0.9x0.9로 0.81의 가중치를 가짐
이런식으로 가중치를 계산할 수 있다.
****가중치 수동 설정
괄호를 여러개 중첩할 필요없이 가중치를 설정해 줄 수 있는 방법이 있다.
바로 : 를 사용하는것이다.
(masterpiece:1.5) 라고 프롬프트에 적으면 masterpiece의 가중치는 바로 1.5가 된다.
보통 06~1.4까지만 쓴다. (masterpiece:1.1) =(masterpiece) = masterpiece *1.1을 적용한 것과 같다.
직접 지정은 낮출 때도()를 사용한다.
(masterpiece:0.5) 라고 넣으면 된다.

예,(masterpiece,best quality:1.2), (colorful), cinematic lighting, extremely detailed CG unity 8k wallpaper, beautiful detailed face, an extremely delicate and beautiful,beautiful girl, woman, solo, (cute:1.3),shiny skin, blush, black eyes, big eyes, shiny skin


**긍정 프롬프트(Positive Prompt)
원하는 이미지의 단어를 적습니다. 구성은 이렇습니다. (화질, 배경, 인물, 인물묘사, 배경묘사)
예, 1gril, street background, sunglass, boxing, white hoodie, full moon, night
(한여성이 큰 달이 보이는 밤거리에서 복싱느낌을 주며 선글라스를 쓴다.)

**로라
학습된 긍정프롬프트를 로라 라고 합니다.
예, 명령어(텍스트)를 가지고 만화의 주인공을 만들어 본다 가정해보겠습니다.
세일러문을 만들고 싶은데 다양한 명령어(텍스트)를 넣어서 만들어야 해서 머리가 복잡합니다.
그걸 위해서 세일러문의 로라 사용하면 세일러문이 내가 원하는 명령어에 따라 생성됩니다
예,1girl, blond hair, long hair, school uniform, lora:Sailor Moon:1
(로라도 마찬가지로 www.civitai.com 에서 구할수 있습니다)


**부정 프롬프트(negative prompt)
생성된 이미지에서 원하지 않는 부분을 적어서 다음 이미지에서는 안나오게 만들어줍니다.

**임베팅
학습된 부정프롬프트 입니다. 하나의 압축파일 처럼 단어 하나에 많은 요소가 추가되어있따
예, badhandv4.pt ( 손과 다리 팔이 여러개가 나오지 않게 하거나등등)
일반적으로 부정 프롬프트에는 임베딩과 단어의 조합을 많이 사용합니다
예, (worst quality, low quality:1.2), EasyNegative, badhandv4, Makeup
단어 단어 임베딩 임베딩 단어

**샘플링 메소드(sampling method)
스테이블 디퓨전의 그림체 스타일 이라고 생각하면 됩니다.
샘플링 메소드의 따라 이미지의 생성 속도 디테일의 차이가 있어요.
일바적으로 많이 사용하는 메소드 에요
Euler a : 고전적인 샘플 , 빠른생성
DPM 2m karras: 속도 빠름 성능 좋음 원본과 유사하게 그려줌
DPM SDE Karras: 속도 느림 디테일 좋음 원본과 좀 다를수 있음
DPM 2m sde Karras: 둘의 장점이 석여있는편임 step 25로 하면 잘나옴

***샘플링 스텝 (sampling step)
몇 번의 단계로 그림을 생성할지 결정하는 부분 입니다.
스텝이 높아질수록 더 많은 단계를 통해 그림을 그리는데 스테이블 1.2~1.5 버젼인 경우
스텝이 너무 높으면 이미지가 이상하게 나와요
보편적이긴 한데 저의 절대적인 기준이라서 자유롭게 하셔도 되요
기본 : 20step
인물 실사 : 25~32
배경:45 이하
동물:35

****Hires fix: Hires.fix(고해상도 보조)
이미지가 업스케일 해서 생성 X2 X4 X8

***Hires step: 샘플링 스텝의 절반을 넣으면 좋음 절대적이지 않음
***디노이징 스트렝스Denoising strength:하이얼픽스)
기본 0.7 (추천 0.4 ~ 0.7) 수치가 커지면 디테일이 추가 되지만 원래 이미지와 다른 그림이 될 가능성이
높아 집니다.

****Upscaler(업스케일러)
업스케일의 샘플링 매소드라 생각하심돼요
자주 사용하는 애들은
Latent: 짧은 생성속도
LDSR : 꽤 김 (3분 ~4분)
R-ESRGAN-4X+: 보통
R-ESRGAN-4X+-Anime6B : 짧음

****CFG Scale
기본값 7
수치가 올라갈수록 명령도(텍스트) 복종하게됨 너무 올리면 이미지가 깨질수 있음
낮을수록 자기 맘대로 그리게됨

Seed(시드)
기본값 -1 랜덤한 이미지를 생성한다
생성된 이미지는 Seed 가 주어진다 예, 12312423132
시드에 저 숫자를 복붙하면 동일한 이미지또는 유사한 이미지를 그린다
기출변영, 시드를 333으로 지정하고 이미지를 생성하며 명령어를 바꾸면 동일한 요소에서 미세하게 변화한다

*****Img2img: 이미지 to 이미지
이미지에서 이미지를 만들어 낸다
스테이블 디퓨전은 명령어 만을 가지고 이미지를 만들지 않습니다. 레퍼런스 이미지를 활용해서
다양한 퍼포먼스를 시행할수 있습니다. 주의 (이미지의 크기를 동일하게 해줘야함 그러지 않으면 이상하게나옴)
원본 1080X1920 이라면 생성되는 이미지도 1080x 1920 이 나올수 있도록
Width 1080
Height 1920 을 적어줘야함 굳

*****Denoising strength(이미지 투 이미지)
기본값 0.75
숫자가 올라갈수록 원본의 이미지와 멀어지며
숫자가 낮아질수록 원본의 이미지와 유사하고 근접하게 그려준다

****inpaing: 이미지투 이미지에서 원하는 부분을 수정할때 사용한다
색칠할수 있는 검정 또는 흰색 붓같은게 생긴다 색칠을 해서 원하는 부분을 추가 또는 삭제 수정한다

inpaint masked: 색칠한 부분만 변경한다
inpaint not masked: 색칠하지 않은 부분을 변경한다

fill: 주변 픽셀과 맞는 색상으로 채워진다
original: 색칠된 영역이 원본과 유사하게 채워진다

Whole picture: 그림 전체를 다시 그려줌 원본을 바탕으로
Only masked: 마스크 칠한 부분만 다시 그려줌

************Control Net (컨트롤넷)
더욱 세부저긴 작업을 원한다면 컨트롤넷을 익혀야 합니다.
인체를 감지해서 오픈포즈를 사용하거나, 이미지의 깊이를 분석하여 새롭게 다시 그려주는등 세밀한 작업이 가능합니다.

컨트롤넷의 다양한 기능은 영상으로 설명드리겠습니다.
   • 스테이블 디퓨전 컨트롤넷의 기능과 종류