힌글리시(힌디어+영어 혼합) 텍스트 분류에 막혔다면? NLP 모델이 실패하는 이유

영어, 힌디어, 그리고 영문자로 쓰인 힌디어(힌글리시)를 분류해야 하는 앱을 개발 중이신가요? 문장 변환기(sentence transformer)는 영어나 힌디어에는 잘 작동하지만, 힌글리시에 도달하면 완전히 무너집니다. 모델이 의미를 전혀 이해하지 못하고 그냥 무의미한 텍스트로 취급해버리는 거죠. 대형언어모델(LLM)로 해결할 수 있겠지만, 그러면 앱이 너무 무거워집니다. 이 개발자는 음차 표기법(transliteration)을 시도 중인데, 코드 혼합 텍스트 처리에는 여전히 많은 과제가 남아있네요. 다국어나 혼합 문자 문제를 다루고 있다면 꼭 읽어볼 만합니다.