게임을 위한 로컬 AI 이미지 생성 — 내 GPU로 만드는 텍스처와 아이콘

AI Game Developer는 이제 자체 GPU에서 로컬 AI 이미지 생성을 실행할 수 있습니다. 채팅에서 필요한 텍스처나 아이콘을 설명하면, 에이전트가 여러분의 머신에서 프로젝트 아트 스타일에 맞게 이미지를 생성하고 완성된 파일은 프로젝트에 저장되어 Unity, Godot, Unreal에서 바로 쓸 수 있습니다. 이미지는 원격 서비스가 아니라 여러분의 GPU가 렌더링하며, 승인하기 전에는 어떤 모델도 다운로드되지 않습니다.

이 글에서는 데모 게임인 Skyward Keep의 한 세션을 따라갑니다. 떠다니는 성을 복원하는 아늑한 플랫포머인 이 게임에서 첫 번째 섬에 쓸 이음새 없는 잔디 텍스처, 아이템 아이콘 세 개, 그리고 첫 이미지를 편집해 만든 밤 버전 잔디를 다룹니다. 영상은 앱의 실제 녹화입니다. 에이전트의 응답은 데모를 위해 각본으로 준비되었지만, 영상 속 모든 도구 호출은 실제로 실행되었습니다.

왜 게임 이미지를 로컬에서 생성할까

게임 아트는 반복 작업입니다. 타일링 가능한 바닥 텍스처는 스케일과 색감, 이음새가 맞을 때까지 십여 번을 시도해야 할 수 있고, 아이템 아이콘 세트는 모든 파일에서 같은 조명과 팔레트를 유지해야 합니다. 로컬 생성은 이런 반복 주기와 잘 맞습니다:

• 이미지는 여러분의 머신에서 렌더링되고, 시안과 참조 자료는 프로젝트 폴더에 남습니다.
• 원격 대기열을 기다릴 필요 없이 하드웨어가 허락하는 만큼 자주 반복할 수 있습니다.
• 이미지가 프로젝트에 기록되므로 에이전트가 같은 세션에서 바로 활용할 수 있습니다. 텍스처를 머티리얼에 할당하거나, 아이콘으로 인벤토리를 만들거나, 이미지를 편집해 변형본을 만들 수 있습니다.

생성기는 여러분의 하드웨어에서 실행되는 stable-diffusion.cpp입니다. 릴리스 0.25.0에서 이 기능이 앱에 들어왔으며, 전체 릴리스 노트는 https://ai-game.dev/releases/0.25.0 에서 볼 수 있습니다.

1단계: 이미지 생성 켜고 모델 고르기

이미지 생성은 세션의 Tools 행에 있는 도구입니다. 아트를 만들고 싶은 세션에서 Image Gen을 켜면 됩니다. 데스크톱 앱의 이미지 모델 패널에서 모델을 관리하거나 gamedev CLI의 /images 명령을 사용할 수도 있습니다.

각 모델은 필요한 파일과 다운로드 크기, 그리고 맞는 하드웨어 등급을 설명합니다. 앱은 그래픽 어댑터와 비디오 메모리, 드라이버를 확인하고 여러분의 머신에서 실제로 실행할 수 있는 모델을 제안합니다. 모델은 승인한 뒤에만 다운로드되며, 다운로드는 알림에서 일시정지, 재개, 취소할 수 있고, 다운로드한 모델은 머신의 모든 프로젝트가 공유합니다. 모델 저장 폴더는 더 큰 드라이브 같은 곳으로 옮길 수 있습니다.

2단계: 평범한 말로 에셋 요청하기

데모에서 요청 전체는 문장 하나입니다:

"Meadow Isle에 쓸 이음새 없는 잔디 텍스처를 만들고, sky shard와 keep key, Wren's cloak 아이콘도 우리 아트 스타일로 만들어 줘."

"우리 아트 스타일"은 추측이 아닙니다. Skyward Keep은 의사 결정을 Knowledge Base에 보관하므로 에이전트가 먼저 이를 검색해 아트 디렉션을 찾습니다. 손으로 그린 느낌, 부드러운 음영, 따뜻한 림 라이트, 외곽선 없음, 노을 팔레트입니다. 그런 다음 이 스타일로 프롬프트를 구성하고 Qwen-Image-2512 Lightning으로 GPU에서 생성합니다. 텍스처를 먼저, 그다음 아이콘 세 개를 만듭니다.

작업이 끝나면 에이전트가 만든 것을 나열합니다. 1024 x 1024 타일링 가능한 잔디 텍스처와 아이콘 세 개이며, 모두 프로젝트의 에셋 폴더에 저장되고 텍스처는 채팅 옆 미리보기 창에 열립니다.

좋은 에셋 프롬프트의 조건

프로젝트에 아직 Knowledge Base가 없다면 요청에 스타일을 직접 넣으세요. 좋은 프롬프트는 대상, 스타일, 게임에서의 용도, 형식을 명시합니다:

• "탑다운 시점의 이음새 없는 잔디 바닥 텍스처, 손으로 그린 느낌, 작은 돌과 들꽃, 따뜻한 햇빛."
• "황금 열쇠 게임 아이템 아이콘, 가운데 정렬, 부드러운 음영, 단순한 어두운 배경."
• "황혼의 폐허가 된 등대를 담은 와이드 컨셉 이미지, 레벨 선택 화면용."

같은 세션에서 변형을 요청하세요. 더 어둡게, 돌을 더 크게, 꽃을 더 적게. 에이전트는 앞서 요청한 맥락을 유지하며, 릴리스 0.25.1부터는 생성 대기열이 작업이 남아 있는 동안 모델을 로드된 상태로 유지하므로 배치 작업이 이미지마다 모델을 다시 불러오지 않습니다 (https://ai-game.dev/releases/0.25.1).

3단계: 참조 이미지로 편집하기

텍스트로 생성하는 것은 작업의 절반에 불과합니다. 종종 이미 비슷한 결과물이 있고 변형만 필요한 경우가 많습니다. 데모에서 이어지는 요청은 이렇습니다:

"마음에 들어. 이제 그 잔디를 달빛 비치는 밤 버전으로, 같은 붓 터치 그대로."

에이전트는 방금 만든 텍스처를 참조로 사용해 Qwen-Image-Edit-2511 Lightning으로 편집합니다. 차가운 푸른 빛, 짙은 인디고 그림자, 잔디 끝에 부드러운 달빛, 같은 구도와 붓 터치를 유지합니다. 밤 버전은 원본 옆에 저장되므로 밤 레벨에서 텍스처 하나를 다른 것으로 바꿔 쓸 수 있습니다.

편집은 지시에 따라 텍스트와 색상, 재질, 오브젝트를 바꾸며 최대 네 장의 참조 이미지를 조합할 수 있습니다. 여기서 가장 유용한 습관은 무엇이 그대로여야 하는지 분명히 말하는 것입니다. "실루엣과 외곽선은 유지하고, 갑옷 색만 청록색으로 바꿔 줘"처럼요.

4단계: 에셋마다 맞는 모델 선택하기

패널의 각 모델은 무엇에 강한지 설명하며, 게임 아트에서는 이 차이가 중요합니다. 현재 사용 가능한 모델을 간단히 정리하면 다음과 같습니다:

• Qwen-Image와 Qwen-Image-2512: 프롬프트 따르기와 텍스트 렌더링이 가장 뛰어나 간판, 포스터, UI 목업에 적합합니다.
• FLUX.1 schnell: 네 단계로 선명한 일러스트와 아이콘, 스프라이트를 만듭니다.
• SDXL 1.0: 일러스트와 컨셉 아트를 위한 범용 베이스입니다.
• Juggernaut XL v9와 RealVisXL V5.0: 시네마틱한 장면과 캐릭터, 환경을 위한 사실적 SDXL 모델입니다.
• Animagine XL 4.0: 문장이 아닌 쉼표로 구분된 태그로 프롬프트하는 애니메이션 스타일 캐릭터와 일러스트용 모델입니다.
• Z-Image Turbo: 읽을 수 있는 짧은 텍스트와 함께 빠른 사실적·일러스트 이미지를 만듭니다.
• FLUX.2 klein 4B: Apple silicon을 탑재한 Mac을 위한 소형 모델로, 일러스트와 아이콘, 스프라이트에 적합합니다.

데모에서 사용한 Qwen-Image-2512와 Qwen-Image-Edit-2511의 Lightning 변형은 LoRA 어댑터를 추가해 생성을 네 단계로 줄이며, 속도는 풀 품질 버전의 약 4~5배입니다. 탐색하는 동안 사용하고, 최종 에셋에는 풀 모델로 전환하세요.

5단계: 엔진에서 에셋 활용하기

파일이 이미 프로젝트에 있으므로 다음 요청에서 바로 사용할 수 있습니다. Unity, Godot, Unreal 프로젝트에서는 완성된 이미지가 엔진으로도 임포트되며, 다음과 같은 후속 프롬프트가 같은 세션에서 동작합니다:

• "잔디 텍스처로 머티리얼을 만들고 Meadow Isle 땅에 할당해 줘."
• "아이콘 세 개를 UI 스프라이트로 임포트하고 인벤토리 그리드에 추가해 줘."
• "레벨의 밤 버전에는 밤 잔디를 사용해 줘."

로컬 생성과 엔진 연결이 만나는 지점이 바로 여기입니다. 이미지를 만든 에이전트가 그것을 씬에 연결까지 합니다. 아직 엔진을 연결하지 않았다면 앱이 플러그인을 설치하고 연결해 주며, 설정 방법은 ai-game.dev/docs/app 에 설명되어 있습니다.

하드웨어에서 기대할 수 있는 것

로컬 생성은 GPU 성능에 묶여 있으며, 위 모델 대부분은 CUDA를 지원하는 NVIDIA GPU가 필요합니다. SDXL 기반 모델과 FLUX.1 schnell은 비디오 메모리 8GB, Qwen 모델은 16GB 이상과 시스템 메모리 32GB가 필요합니다. Z-Image Turbo는 AMD와 Intel, 통합 GPU에서도 실행되는 예외이며, FLUX.2 klein 4B는 Apple silicon을 위한 선택입니다. 데모는 NVIDIA RTX 4090에서 녹화했습니다.

런타임은 CUDA와 Vulkan, Metal용 변형과 미리보기 Linux 빌드를 제공하며, 앱이 드라이버와 메모리에 맞는 변형을 선택합니다. 비디오 메모리가 부족해 실행이 실패하면 더 작은 메모리 예산으로 한 번 재시도하고, CPU로 조용히 폴백하는 경우는 숨기지 않고 실패로 보고하므로 왜 느렸는지 혹은 왜 시작되지 않았는지 항상 알 수 있습니다.

앱이 여러분의 머신에 권장하는 모델로 시작하고, 품질이 병목이 될 때만 위로 올라가세요.

로컬 이미지가 앱의 나머지와 만나는 지점

로컬 이미지는 AI Game Developer의 에셋 도구 중 하나일 뿐입니다. 3D 모델의 경우 Tripo 도구가 참조 이미지를 메시로 바꾸고, Blender 연동을 통해 에이전트가 실제 편집기에서 모델을 만들고 편집할 수 있습니다. 짧은 클립도 Video 도구로 로컬에서 생성할 수 있습니다. 이 데모의 sky shard 아이콘은 로컬 비디오에 관한 글에서 애니메이션 HUD 아이콘이 됩니다. 이들 각각은 세션의 Tools 행에 있는 스위치이므로, 세션은 필요한 도구만 갖고 동작합니다.

앱이 처음이라면 ai-game.dev/download 에서 다운로드해 프로젝트를 열고 첫 텍스처를 요청해 보세요. 블로그의 이전 글, 예를 들어 ai-game.dev/blog/build-game-with-ai-claude-code 의 Unity 전체 워크스루에서는 같은 에이전트가 이 에셋들이 들어갈 씬을 어떻게 만드는지 보여줍니다.