KUNST AI DOCENT SYSTEM.

KUNST는 관람객의 1인칭 시야 영상에서 손의 위치와 관절을 실시간으로 추적합니다. GPU 기반 경량 탐지 모델 YOLOv10n이 손을 빠르게 찾아내고, MediaPipe가 손가락 관절(랜드마크)을 정밀하게 추출합니다.

손 추적 연산은 메인 프로그램과 분리된 독립 프로세스에서 공유 메모리로 영상을 주고받으며 처리되므로, 화면이 느려지지 않습니다. 사람은 시각과 촉각, 운동감각이 함께 작동할 때 대상에 더 깊이 몰입합니다. 이에 KUNST는 관람객이 작품을 눈으로 바라보며 직접 손을 뻗어 고르는, '보는 행위'와 '고르는 행위'가 하나로 이어지는 상호작용을 설계했습니다.

작품이 선택되면 실제 작품 바로 옆에 AR 플로팅 카드가 나타나, 로컬 데이터베이스에 등록된 작품 이미지와 정보를 보여줍니다. 작품 인식은 세 단계로 이루어집니다. YOLOE가 화면에서 작품 후보 영역을 찾고, DINOv2가 시각적 특징을 추출해 데이터베이스와 비교하며, ALIKED와 LightGlue가 세부 특징점을 대조해 최종 확정합니다. 등록된 작품 데이터는 GPU 메모리에 미리 올려두어 인식 속도를 높였고, 인식 중인 작품도 주기적으로 재검증해 오인식을 줄였습니다.

인식 대상과 작품 정보는 전용 프로그램 KUNST Studio를 통해 전시장이 직접 등록하고 관리합니다. 불특정한 '예술작품'을 범용으로 인식하도록 하면, 전시와 무관한 조형물이나 포스터까지 작품으로 오인할 수 있습니다. 반대로 인식할 작품을 사전에 지정하면 AI는 등록된 작품만 구분하면 되므로 정확도와 속도가 함께 올라갑니다. 또한 작품에 대한 가장 정확하고 양질의 정보는 전시를 기획한 전시장이 가지고 있습니다. 그래서 KUNST는 인식 대상과 정보를 전시장이 직접 큐레이팅하는 로컬 데이터베이스 방식을 택했습니다.

KUNST Studio에서 작품 이름과 작가, 연도, 설명문과 사진을 넣고 신규 작품 등록을 누르면, 작품 폴더와 기록이 만들어지고 설명문이 한국어·영어 도슨트 대본과 추천 질문으로 정리된 뒤 인식 인덱스에 추가됩니다. 전체 재분석은 등록된 모든 작품의 사진을 최신 모델로 다시 분석해 인식 인덱스를 새로 만들고, 대본과 추천 질문도 함께 다시 생성합니다. 해설과 추천 질문은 등록 시점에 한 번만 생성되므로 관람 중 반복되는 LLM 호출 비용이 들지 않습니다.