용재

경진_개발

경진_연구

지우

본 연구는 위 서비스들과 다르게 외국인의 한국어 발화 데이터를 기반으로 음성 인식 모델을 파인튜닝하여 발음 교정 정확도를 높이고, 상황과 감정을 분석하여 맥락에 적합한 단어 추천 기능까지 포함하는 차별화된 접근 방식을 취한다.

4.1 시스템 구조

• 발음 인식 모델: Whisper와 Wav2vec 2.0 모델을 외국인 한국어 발화 데이터로 파인튜닝하여 발음 오류 감지 능력을 향상시킨다.
• 화자 식별: 외국인 한국어 발화 데이터에 추가적인 발화자 구분을 위한 데이터 라벨링 과정을 추가하여 화자 식별 능력을 향상시킨다.
• 문맥 기반 단어 추천: Text 형식으로 변환된 데이터를 한국어 감정인식 알고리즘(김석민외 4인, 2023)10을 통해 감정을 태깅한 후, 외부 대규모 언어 모델(LLM) API를 활용해 전처리된 데이터를 기반으로 사용자의 감정 및 상황을 분석하여 적절한 단어를 추천한다.

4.2 모델 파인튜닝 전략

• LoRA 및 QLoRA를 활용한 파라미터 효율적 파인튜닝
• 16비트(FP16), 8비트(INT8) 정밀도 활용으로 메모리 절약 및 훈련 속도 향상

1. 실험 환경 및 데이터셋 (Experiment & Dataset)