CWN(CHANGE WITH NEWS) - 美日 연구팀, 텍스트·그림 합성하는 알고리즘 ′CLIPDraw′ 공개

특정 장면 설명을 듣고, 그 모습을 머릿속에서 상상하는 것은 쉽다. 반대로 정신적 이미지를 만들 때, 그 장면을 묘사하는 것도 마찬가지이다. 인간은 어느 정도 일상 세계를 이해하는 데 중요한 텍스트 구조와 시각 구조 모두에 대해 깊이 결합한 표현을 가지고 있기 때문이다.

최근 등장한 이중 언어 이미지 암호기인 '클립(CLIP)'은 텍스트와 시각적 정보 통합에 큰 진전을 거두었다. CLIP 모델은 텍스트와 영상이 모두 동일한 표현 공간에 매핑되므로 영상과 텍스트 설명 사이의 유사성을 측정할 수 있다. 다량의 데이터에 대한 교육을 받은 CLIP 표현은 강력한 범위의 영상 기반 인식 작업을 해결하는 것으로 나타났다.

여기서 더 나아가 해외 인공지능(AI) 개발 기업 크로스 컴파스(Cross Compass Ltd)와 MIT, 도쿄공업대학교, 도쿄대학교 소속 전문가로 구성된 합동 연구팀이 자연어 입력에 따라 참신한 도면을 합성한 알고리즘인 클립드로(CLIPDraw)를 선보였다.

CLIPDraw에는 별도의 교육이 필요하지 않으며, 사전 교육된 CLIP 모델이 지정된 설명과 생성된 도면 간의 유사성을 극대화하기 위한 지표로 사용된다. CLIPDraw는 사실적 이미지보다는 프롬프트와 일치하는 간단한 도면을 합성하는 것을 목표로 한다. 따라서 CLIPDraw는 픽셀 이미지보다는 벡터 스트로크 세트를 최적화해, 도면을 사람이 인식할 수 있는 단순한 모양으로 편향시킨다.

CLIPDraw의 목적 및 동작 방식

그렇다면, CLIPDraw를 직접 활용했을 때, 어떤 특성을 볼 수 있을까? 그 내용을 아래와 같이 간단하게 전달한다.

언어-이미지 관계 탐색과 AI 지원 아트워크 합성을 위한 테스트베드를 제공하고 다양한 방식을 선보이는 것이 목적이다. 결과를 CLIPDraw 및 기타 최적화 기반 텍스트-영상 방법 사이에서 비교하고 몇 가지 흥미로운 동작을 강조한다.

• CLIPDraw는 "수채화" 또는 "3D 렌더링"과 같은 형용사를 조정해, 매우 다른 스타일의 도면을 만든다.
• CLIPDraw는 종종 이미지 내부의 프롬프트에서 단어를 쓰거나 여러 가지 방법으로 애매한 명사를 해석하는 등 창의적인 방법으로 설명 프롬프트와 일치한다.
• CLIPDraw를 낮은 스트로크 수로 실행하면 만화 같은 도면이 그려지고 스트로크 수가 많으면 사실적인 렌더링이 된다.
• CLIPDraw에 "행복" 또는 "자신"과 같은 추상적 프롬프트를 표시함으로써 CLIP 모델이 어떤 시각적 개념을 연상시키는지 검토할 수 있다.
• CLIPDraw 동작은 반대 동작을 장려하기 위해 "난잡한 도면"과 같은 부정적인 프롬프트를 사용하여 추가로 제어할 수 있다.

CLIPDraw와 기타 합성-통과 최적화 방법 간을 비교하면서 다양한 방식으로 모호한 텍스트를 만족하고, 다양한 예술 스타일로 도면을 안정적으로 생성할 수 있다. 또, 스트로크 카운트가 증가할 때 단순한 시각적 표현에서 복잡한 시각적 표현으로 스케일링하는 등 CLIPDraw의 다양한 흥미로운 동작을 강조한다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]