DigitCode: 해부학적 단위를 활용한 손 동작의 기호 토큰화

DigitCode: Symbolic Tokenization of Hand Motion by Anatomical Units

손 동작은 인간 활동에서 가장 세밀한 정보를 담고 있지만, 손 동작 생성, 이해 및 로봇 학습을 위한 표현 방식은 관절 각도나 MANO 파라미터와 같이 대부분 연속적인 형태를 띨 뿐입니다. 이러한 방법들은 정확하지만 구조화되어 있지 않아서, 손가락을 개별적으로 식별하거나 수정할 수 없으며, 특정 자세가 해부학적으로 유효한지 여부를 나타내는 정보도 부족합니다. 이 문제를 해결하기 위해, 우리는 기호 기반 표현 방식을 제안하며, Hand Labanotation (HL)이 손 동작을 뼈 하나당 고정된 방향의 기호로 구성된 T x 40 격자로 표현하는 것이 가능하다는 점을 보여주었습니다. 본 연구에서는 HL의 격자 구조를 바탕으로, 기호가 나타내야 할 해부학적 단위 - 뼈, 손가락 또는 전체 손 - 에 대한 질문을 던지고, 이를 해결하기 위해 DigitCode라는 새로운 방식을 제안합니다. DigitCode는 HL의 알파벳을 손의 계층적 단위에 따라 적응, 그룹화 및 레이어링하여 하나의 코드로 표현함으로써, 기존 기호 표현 방식의 양자화 오류를 4분의 3 수준으로 줄입니다. 중요한 점은 단위가 고정되어 있다면, 학습 없이도 강력한 양자화 방식을 사용하여 재구성을 할 수 있다는 것입니다. 또한, 해부학적 계층 구조를 변경하면 정확도가 달라집니다. 이러한 계층 구조는 하위 작업에서 필요한 정보를 추적하는 데 도움이 됩니다. 손가락은 명확하고 셀 수 있는 단위이므로, 손가락 하나당 하나의 토큰을 사용하면 연속적인 표현 방식으로 해결할 수 없는 문제 - 예를 들어, 잘못 생성된 손 모양을 수정하거나 로봇에 다시 적용하는 것 - 에 대한 학습 없이도 편집 가능한 핸들을 제공할 수 있습니다. 본 연구에서는 손 동작 토크나이저를 단위별로 비교할 수 있는 재현 가능한 테스트 환경인 HandTok을 공개합니다. 프로젝트 페이지: https://digitcode-demo.github.io.

Hand motion carries the finest-grained information in human activity, yet the representations behind hand generation, understanding, and robot learning are overwhelmingly continuous--joint angles or MANO parameters. These are accurate but unstructured: a finger cannot be indexed or edited as a symbol, and nothing marks a pose as anatomically valid. Discrete symbolic representations supply exactly this structure, and Hand Labanotation (HL) has shown they are feasible for the hand, writing motion as a T x 40 grid of one fixed direction symbol per bone. Building on this grid, we ask the question underneath it: the anatomical unit a symbol should span--bone, finger, or whole hand. DigitCode answers it by adapting, grouping, and layering HL's alphabet along the hand's unit hierarchy within one code, cutting the symbolic representation's quantization error by three quarters. The lever is the unit, not the quantizer family: at a fixed unit, training-free and learned strong quantizers are interchangeable on reconstruction, while moving down the anatomical hierarchy is what shifts accuracy. The hierarchy also tracks what downstream tasks need. Because a finger is a genuine, enumerable unit, one per-finger token doubles as a training-free, editable handle for jobs a continuous representation cannot address--repairing malformed generated hands, and retargeting them onto robots. We release HandTok, a reproducible testbed, so hand tokenizers can be compared unit-for-unit. Project page: https://digitcode-demo.github.io.