[Stable Diffusion] 0 - Stable Diffusion

 안녕하세요. 오랜만에 글 써봅니다.

 

 이번에 다뤄볼 것은 한 때 AI 일러스트로 논란을 일으키면서 화제를 일으킨 stable diffusion입니다.

 

 0. Stable Diffusion

 먼저 stable diffusion이란, stability.ai에서 개발한 이미지 생성 AI입니다.

 딥러닝, 그중에서도 diffusion 모델을 사용했는데, 이는 노이즈를 엄청 줘 사진을 구겨놓고, AI에게 이걸 다시 원래대로 돌려놓으라고 시키는 방식입니다.

 근데 이게 성능과 성과가 엄청 좋지만, 시간이 엄청 오래걸린다는 단점이 있었습니다. 근데 이 이미지를 처리할 때, 이미지를 그대로 넣지 않고 정보를 압축한 행렬로 넣으면서 속도가 크게 향상되었습니다.

 이 모델을 Latent Diffusion Model이라고 합니다.

 이 모델을 가지고 stability 제단에서 LAION이라는 거대한 고퀄리티 이미지 데이터셋을 가지고 학습을 진행해 만든 모델을 '오픈소스'로 출시해버린 것이 바로 Stable Diffusion입니다.

 (이 과정에서 엄청난 GPU 대여료가 들었다고..)

 

 이는 개인용, 학습용 뿐 아니라 상업용으로도 사용할 수 있다고 하는데, 이를 이용한 것 중 하나가 '그' Novel.ai 입니다.

 

 

 Novel.ai는 라이트 노벨 표지용 일러스트 ai를 만들었는데, 그러려면 일러스트 스타일의 데이터 셋이 필요합니다.   stable diffusion을 이용한 것 까진 좋았으나, 이 이미지 데이터 셋을 danbooru라는 일러스트 사이트에서 가져온 것이 문제가 된 것이죠.

 danbooru는 pixiv, twitter, artstation, deviant art 등의 일러스트레이터 커뮤니티, 심지어 fantia나 fanbox 같은 유료 구독이 필요한의 곳까지, 거의 모든 일러스트를 가져와 개시하는 초거대 개시판인데, Novel.ai가 그곳의 이미지를 '도용'한 것입니다. (애초에 danbooru도 다른 일러스트를 '도용'한 것에 가까운데 말이죠.)

 Novel.ai는 공짜로 엄청난 양의 일러스트 데이터 셋으로 성능좋은 ai를 만들어 버렸고, 그걸 돈 받고 팔면서 일러스트레이터들의 공분을 사면서 논란을 일으켰습니다.

 (와중에 Novel.ai의 소스코드도 유출되면서 대 AI 일러스트의 시대가 열려버렸.. ㅋ)

 

 근데 또다른 문제는, 일부 국가에서는 ai를 학습 시키기 위한 '데이터셋'으로의 이미지는 저작권의 영향을 받지 않는다는 법이 있다는 것입니다. (법에 구멍이 있는 게 아니라 법이 보장해준 셈)

 따라서 이 문제는 사회 제도 차원에서의 보완이 필요할 것입니다.

 

 물론 이 이미지 생성기가 좋아 보이지만, 일러스트레이터들의 성에는 차지 않는 것으로 보이고, 특히 손이나 얼굴, 전체 분위기나 밸런스 같은 디테일한 부분은 아직 사람 손을 타야 할 것 같습니다.

 

 

 <special thanks to 코딩애플>