FinMMEval 2026 Task 1 개요: 다국어 금융 객관식 질문 응답

Overview of FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering

FinMMEval 2026 Task 1은 영어, 중국어, 아랍어 및 힌디어로 구성된 다국어 금융 객관식 질문 응답 시스템의 성능을 평가합니다. 이 과제는 시스템이 전문 용어, 수치 해석 및 개념적 금융 추론과 관련된 금융 질문에 대해 올바른 답변을 선택할 수 있는지 테스트합니다. 최종 테스트 데이터 세트는 800개의 질문으로 구성되며, 각 언어당 200개의 질문이 포함됩니다. 정답은 제출 시 공개되지 않았으며, 각 언어는 정확도를 기준으로 독립적으로 순위가 매겨졌습니다. 최종 리더보드에는 영어 13개, 중국어 11개, 아랍어 11개, 힌디어 10개의 시스템이 포함되어 있으며, 이들 시스템은 정확도 순으로 나열되었습니다. 최고 정확도는 힌디어에서 92.0%, 영어 및 아랍어에서 97.5%이며, 최상위 팀들은 모든 언어에서 상위권에 속했습니다. 문서화된 시스템에서는 검색 증강, 직접 답변-옵션 점수 매기기, 언어별 프롬프트 사용, 선택적 자기 일관성, 신뢰도 검사 및 LLM 기반 검토 단계를 활용했습니다.

FinMMEval 2026 Task 1 evaluates multilingual financial multiple-choice question answering in English, Chinese, Arabic, and Hindi. The task tests whether systems can select the correct answer to finance questions involving domain terminology, numerical interpretation, and conceptual financial reasoning across languages and scripts. The final-test set contains 800 questions, with 200 questions per language; gold answers were withheld during submission, and each language was ranked independently by accuracy. The final leaderboards contain 13 English, 11 Chinese, 11 Arabic, and 10 Hindi ranked submissions. Top accuracies range from 92.0% in Hindi to 97.5% in English and Arabic, with the same leading teams appearing near the top across all four languages. The documented systems used retrieval augmentation, direct answer-option scoring, language-specific prompting, selective self-consistency, confidence checks, and LLM-based review stages.