Stable Diffusion, 넌 누구니?
Stable Diffusion은 2022년 출시된 텍스트 기반 이미지 생성 모델로, 텍스트 프롬프트를 통해 사실적이고 창의적인 이미지를 생성할 수 있습니다. 텍스트 프롬프트와 다양한 설정을 통해서 사용자의 세부적인 요청사항에 맞춰 이미지를 생성할 수 있기 때문에 예술 창작을 넘어 광고, 교육, 의료 등 다양한 분야에서 활용이 되고 있습니다.
당연히 UX/UI 디자인 분야에서도 Stable Diffusion의 활용 가치는 높습니다. 이번 장에서는 Stable Diffusion에 대한 이해와 UX/UI 디자인에 대한 활용 가능성에 대해서 알아보겠습니다.
오픈소스라서 장단점이 분명함
Stable Diffusion의 중요한 특징 중 하나는 오픈소스로 공개되었다는 점입니다. 이는 이전의 언급한 DALL-E나 Midjourney와 같은 상용 모델들과 달리, 개발자들이 모델을 직접 다운로드하고 수정할 수 있는 환경을 제공하고 있습니다.
Stable Diffusion는 오픈소스로 공개가 되었기 때문에 무료로 이용이 가능하고, 사용자들이 본인의 필요와 아이디어에 따라 다양한 응용 프로그램으로 만들 수 있다는 장점이 있습니다. 또한 GitHub와 같은 온라인 커뮤니티에서 각 구성원들이 다양한 확장 프로그램을 공유하는 커뮤니티가 활성화되어서 전 세계 사람들과 소통하며 나만의 이미지를 만들어 갈 수 있습니다.
반대로 오픈소스로 인한 단점도 있습니다. Stable Diffusion은 이미지 생성을 위해서 고성능 GPU와 충분한 메모리를 필요로 합니다. 그래서 개인 사용자는 고가의 PC나 클라우드 서비스를 이용해야 하는 비용 부담을 가질 수밖에 없습니다. 예를 들어 GeForce 4090 정도의 고성능 GPU를 내장해서 컴퓨터를 셋팅하면 빠르게 이미지 생성이 가능하지만 보통 400~600만원 정도의 비용을 투자해야 합니다. 개인 디자이너가 부담하기에는 어려운 비용일 수 있습니다.
또한, 오픈소스 소프트웨어의 특성상 설치와 실행 중 발생하는 오류를 사용자가 직접 해결해야 하는 경우가 많습니다. 오픈소스 소프트웨어의 경험이 적은 대부분의 디자이너에게는 큰 허들이 될 수 있는 이슈라고 할 수 있습니다.
사용자는 커뮤니티 포럼이나 GitHub을 통해 해결책을 찾을 수 있으나, 분산된 정보 속에서 효과적인 해결책을 얻는 것은 생각보다 쉽지 않습니다. 이러한 이유들이 UX/UI 디자이너들이 오픈소스 기반의 Stable Diffusion을 활용하는데 높은 장벽이 되고 있습니다.
WebUI로 쉽게 사용하는 Stable Diffusion
Stable Diffusion WebUI는 사용자들이 이미지 생성 AI 모델을 손쉽게 사용할 수 있도록 제작된 그래픽 사용자 인터페이스(GUI)입니다. 특히 AUTOMATIC1111 ID의 사용자가 개발한 버전이 가장 널리 알려져 있습니다.
WebUI는 직관적인 디자인과 다양한 기능으로 초보자부터 전문가까지 편리하게 사용할 수 있는 도구로 자리 잡았습니다. WebUI의 가장 큰 특징은 텍스트 프롬프트를 통해 원하는 이미지를 쉽게 생성할 수 있다는 점입니다. 사용자는 텍스트 입력창에 원하는 이미지에 대한 설명을 입력하고, 생성할 이미지 크기, 샘플링 방법, 생성 단계 수 등의 몇 가지 매개변수를 조정하여 맞춤형 이미지를 생성할 수 있습니다.
WebUI의 또 다른 강점은 커스터마이징 가능성과 다양한 플러그인 및 확장 프로그램의 지원입니다. 이를 통해 사용자들은 모델 성능을 더욱 확장하거나 개별적인 이미지 처리 요구사항을 충족시킬 수 있으며, 최신 버전의 Stable Diffusion 모델을 손쉽게 업데이트하여 활용할 수 있습니다. WebUI의 간편함과 확장성 Stable Diffusion을 대중화하는 데 큰 기여를 하고 있으며, 사용자들은 다양한 디자인 작업에 이를 효과적으로 활용하고 있습니다.
ComfyUI로 워크플로우를 혁신하는 Stable Diffusion
Stable Diffusion ComfyUI는 WebUI와는 다른 방식의 접근을 제공하는 인터페이스로, 노드 기반 시스템을 통해 사용자가 이미지 생성 과정을 직접 시각적으로 구성하고 제어할 수 있습니다. ComfyUI는 복잡한 워크플로우를 커스터마이즈할 수 있어 고급 사용자들이 다양한 실험을 수행하고자 할 때 탁월한 선택이 됩니다. 예를 들어, 사용자는 프롬프트 입력을 통해 기본적인 이미지를 생성하는 단계를 넘어 각 작업 단계를 세밀하게 설정할 수 있으며, 여러 모델을 연결하거나 특정 이미지 처리 과정을 나눠서 제어할 수 있습니다.
ComfyUI는 또한 실시간 미리 보기 기능을 지원하여 각 노드에서 발생하는 중간 결과물을 즉각적으로 확인할 수 있어, 실험적인 작업을 수행할 때 유용합니다. 이 기능은 매개변수의 세부적인 조정이 필요한 디자인 작업에서 특히 강력한 장점을 제공하며, 특정 스타일이나 요소가 이미지에 어떻게 반영되는지를 실시간으로 모니터링할 수 있습니다. ComfyUI의 노드 기반 접근법은 시각적 워크플로우 구성이 가능하여 고급 사용자나 반복적인 작업을 수행하는 디자이너들에게 특히 매력적입니다.
LoRA 모델로 데이터 학습 시키기
Stable Diffusion의 LoRA(Low-Rank Adaptation) 모델은 사전 학습된 대규모 모델과 함께 내가 따로 학습시킨 데이터로 조정할 수 있는 강력한 도구입니다. LoRA 모델 제작은 기존에 딥러닝 학습처럼 복잡하지 않고 이미지 셋을 만들어서 간단하게 접근할 수 있기 때문에 개발자 출신이 아닌 디자이너들도 충분히 접근할 수 있는 수준의 방법입니다.
LoRA 모델은 특히 스타일, 특정 캐릭터, 특정 환경 등을 표현하는 데 유용하며, 다양한 커스텀 모델을 만들어낼 수 있습니다. 예를 들어 특정 인물을 동일하게 생성할 때 프롬프트 외에도 내가 다양한 각도에서 찍은 유사한 인물의 사진을 넣으면 그 인물과 보다 유사한 이미지를 생성하기 용이합니다. 이는 인물뿐 아니라 배경, 제품, 인터페이스 등 모든 요소에 동일하게 적용이 가능합니다. LoRA 모델로 학습된 이미지까지 활용할 수 있으면 특정 브랜드나 디자이너의 개성을 녹여낸 작업물을 만드는데 활용이 가능합니다.
UX/UI 디자이너의 Stable Diffusion 활용 영역
빠른 시각적 프로토타이핑: Stable Diffusion은 텍스트 프롬프트를 기반으로 이미지를 즉시 생성할 수 있어서 디자인 아이디어를 빠르게 시각화하는 데 유용합니다. 디자이너는 텍스트 입력만으로 다양한 스타일과 레이아웃의 화면 요소, 아이콘, 배경 등을 신속하게 생성할 수 있습니다. 이를 통해 프로젝트 초기 단계에서 아이디어를 구체화하고 사용자 피드백을 받을 수 있습니다.
UX 시나리오 시각화: Stable Diffusion은 서비스 흐름이나 UX 시나리오를 이미지로 시각화하는 데 도움을 줍니다. 사용자가 특정 앱을 사용하는 장면을 AI를 통해 시각화하여 사용자 경험을 시각적으로 보다 높은 차원으로 문서화하여 팀 내에서 매우 유용하게 활용될 수 있습니다. 이를 통해 보다 사용자 중심적인 UX 설계가 가능해집니다.
UI 요소 및 아이콘 디자인 자동화: Stable Diffusion을 사용하면 버튼, 아이콘, 배경 등의 UI 요소를 자동 생성할 수 있어 디자이너의 반복 작업을 줄일 수 있습니다. 필요한 텍스트 프롬프트를 입력하여 다양한 아이콘 스타일을 자동 생성하고 특정 카테고리나 기능에 맞는 다양한 스타일의 아이콘을 생성하는 것이 가능합니다.
LoRA 학습으로 icon을 제작한 Toss의 사례
Toss는 Stable Diffusion LoRA 모델을 활용하여 브랜드 아이덴티티에 맞춘 아이콘과 그래픽을 자동 생성하는 데 성공한 대표적인 사례입니다. Toss는 기존에 보유한 2,000여 개의 디자인 데이터를 기반으로 Stable Diffusion 모델을 학습시켜, Toss만의 독창적인 미니멀리즘 스타일을 구현했습니다. LoRA 기법은 특히 Toss가 추구하는 그래픽 톤을 AI가 인식하고 그에 맞춰 아이콘과 그래픽을 생성할 수 있도록 학습 과정을 최적화하는 데 아주 유용하게 활용이 되었습니다.
Toss의 디자이너들은 AI 디자인 생성기로 매일 약 100개의 새로운 그래픽을 자동으로 생성하여 이 중 선별된 결과를 추가 학습시키는 방식으로 AI의 디자인 능력을 발전시켰습니다. Toss의 사례는 LoRA 모델의 적용 가능성을 입증하며, 브랜드 맞춤형 디자인에 AI를 활용하는 혁신적인 접근 방식을 보여줍니다.
결론
Stable Diffusion은 혁신적인 텍스트-이미지 생성 AI 모델로, 다양한 분야에서 AI 기반 이미지 생성의 가능성을 확장시키고 있습니다. 특히 WebUI와 ComfyUI는 각각 초보자와 전문가를 위한 강력한 인터페이스를 제공하여 Stable Diffusion의 접근성을 높이고 있습니다. 또한 LoRA 모델을 통해 특정 작업을 위해 학습한 데이터 기반으로 이미지 생성이 가능하게 하였습니다. 셋팅과 운영에 어려움이 있지만 디테일한 조정과 이미지 학습이 가능하기 때문에 앞으로 UX/UI 디자인을 위한 강력한 도구가 될 것입니다.
* AI를 활용한 UX/UI 디자인에 대한 다양한 정보와 소통을 원하는 분은
오픈 채팅방에서 함께 많은 디자이너 분들과 만나실 수 있습니다 : )
해당 콘텐츠는 유훈식 님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
