안드로이드에서 오픈하모니 시스템으로의 GUI 테스트 마이그레이션에 대한 실증 연구

An Empirical Study for GUI Test Migration from Android to OpenHarmony System

안드로이드 기반 애플리케이션을 오픈하모니로 이식할 때 발생하는 상당한 엔지니어링 노력을 줄이기 위해, 기존 GUI 테스트 케이스를 마이그레이션하는 것은 매우 중요한 과제입니다. 그러나 현재의 연구는 오픈하모니에 특화된 솔루션을 제안하지 않거나, 해당 시스템에서의 마이그레이션 방법론에 대한 체계적인 평가를 제공하지 않아 개발자들이 실제 적용 시 경험적 지침을 얻기 어렵습니다. 본 논문에서는 안드로이드에서 오픈하모니로의 테스트 마이그레이션에 대한 최초의 체계적인 실증 연구를 제시합니다. 구체적으로, 먼저 평균 다운로드 수가 90억 건 이상인 36개의 상용 애플리케이션과 수동으로 설계된 108개의 테스트 케이스로 구성된 ATH Benchmark 데이터 세트를 구축했습니다. 둘째, 최첨단 테스트 마이그레이션 방법론 두 가지(ReSPlay 및 ITeM)를 선택하고, 이러한 방법론을 오픈하모니 환경에서 실행할 수 있도록 수정했습니다. 셋째, 위에서 구축한 인프라를 사용하여 이 두 가지 방법론을 테스트 성능, 실패 원인, 그리고 오픈하모니의 특징이 미치는 영향이라는 세 가지 측면에서 평가했습니다. 그 결과, 기존의 테스트 마이그레이션 방법론은 안드로이드-오픈하모니 시나리오에서 효과가 떨어지는 것으로 나타났습니다 (ReSPlay는 15%, ITeM은 26%의 성공률). 실패 사례에 대한 심층 분석을 통해, 테스트 성능 저하는 오픈하모니의 기술 아키텍처 차이 및 고유한 생태계 특징과 같은 오픈하모니 특성으로 인해 주로 발생하는 것을 확인했습니다. 이러한 결과를 바탕으로, 오픈하모니 시스템의 특정 기능을 통합한 ITeM-HM이라는 개선된 방법론을 제안합니다. 그 결과, ITeM-HM은 원래 ITeM(26%에서 81%)에 비해 214%의 상대적인 성공률 향상을 달성했습니다.

To reduce the substantial engineering effort required to test the corresponding applications from Android to OpenHarmony, migrating existing GUI test cases has become a critical problem. However, current research neither proposes solutions tailored for OpenHarmony nor provides a systematic evaluation of migration approaches on this system, leaving developers with limited empirical guidance in practice. In this paper, we present the first systematic empirical study of test migration from Android to OpenHarmony. Specifically, we first construct a dataset referred to as the ATH Benchmark, comprising 36 commercial applications with an average of over 9 billion downloads, along with 108 manually designed test cases. Second, we select two state-of-the-art test migration approaches (i.e., ReSPlay and ITeM) and adapt these two approaches to enable their execution on OpenHarmony. Third, we use the preceding infrastructure to evaluate these two approaches from three perspectives, including testing performance, root causes of failures, and the impact of OpenHarmony characteristics. Our results reveal that existing test migration approaches are less effective (15% success-rate on ReSPlay and 26% success-rate on ITeM) in Android-to-OpenHarmony scenarios. Through an in-depth analysis of failed cases, we identify that test performance is primarily hindered by OpenHarmony-specific characteristics, including technical architecture differences and unique ecosystem traits. Utilizing these findings, we propose an enhanced approach based on ITeM, referred as ITeM-HM, which incorporates specific OpenHarmony system features. As a result, ITeM-HM successfully achieves a 214% success-rate relative improvement over the original ITeM (from 26% to 81%).