안녕하세요. LINE GAME PLATFORM의 문서 제작과 배포를 담당하는 테크니컬 라이터 김지현입니다. LINE GAME PLATFORM은 한국과 일본, 두 거점에서 기획하고 개발하는 프로젝트인데요. 이에 맞춰 문서도 한국어와 일본어, 두 가지 언어로 작성하고 있습니다. 두 가지 언어로 글을 쓸 때 가장 어려운 점은 언어별로 독자의 지역적, 문화적 배경을 글에 녹여내야 한다는 것입니다. 저는 일본어로 글을 쓰는 게 어렵지는 않지만 모국어가 한국어고 한국에서 일하고 있기 때문에 일본 현지의 생생한 느낌까지 글로 옮기는 것에는 늘 부족함을 느끼고 있습니다. 그래서 나름대로 부족한 부분을 보완하고자 일본에서 열리는 컨퍼런스에 참석하고 있고, 작년에는 'TC(Technical Communication) Symposium 2018 in Tokyo'에 다녀왔습니다.
테크니컬 커뮤니케이터(Technical Communicators, 이하 TC)란 기술 문서를 작성하는 테크니컬 라이터뿐 아니라, 기술 문서의 콘텐츠를 기획하고 제작을 총괄하는 디렉터, 제품의 개념과 구조를 알기 쉽게 그림으로 풀어내는 테크니컬 일러스트레이터, 다국어화를 담당하는 로컬라이제이션 전문가, UX 설계 및 개발을 담당하는 UX 전문가, 인지 과학 및 심리학을 연구하는 연구가나 교육자까지 다양한 분야에 걸쳐 다양한 능력을 갖춘 사람들을 통틀어 일컫는 말입니다. TC 심포지엄은 '정보 전달'이라는 목적 아래 이렇게 다양한 분야에 종사하는 사람들이 모여 정보를 교류하는 행사입니다.
글로벌 기업에서 일하다 보면 내가 작성한 문서가 다른 언어로 번역되어 배포되는 경우도 있고, 반대로 번역된 문서를 참고하여 일을 진행할 때도 있습니다. 그럴 때 번역된 문서의 품질이 좋지 않다면 당연히 업무 진행의 효율이 떨어지게 되겠죠. 저는 이번 행사에서 'JTCA x JTF 공동 기획, 다국어 번역의 품질 평가'란 세션에 참가했었는데요. 이 세션에서 다국어화를 고려하여 기술 문서를 작성할 때 도움이 될만한 아이디어를 얻게 되어 이번 포스팅을 작성하게 되었습니다.
다국어 번역의 품질 평가 방법
사실 '번역 품질 평가'는 TC 업계에서 아주 오래전부터 논의되어 온 고전적인 주제입니다. 그런데도 여전히 이 주제가 관심받는 이유는 아직도 번역 결과물에 대한 품질 평가가 제대로 이루어지고 있지 않기 때문일 것입니다. 현장에서는 품질 평가에 대한 요구는 늘 있지만 표준으로 삼을 만한 가이드라인이나 프로세스가 없고, 나름대로 실시하고 있는 자체 평가는 실효성이 있는지 확신할 수 없는 경우가 많았다고 합니다. 이것은 업무상 전달된 번역 문서의 품질이 고르지 않을 수 있다는 것을 의미하기도 합니다.
세션의 패널이었던 JTF(Japan Translation Federation)의 Nishino 님은 번역 품질 평가가 현장에서 원활하게 이뤄지지 않는 이유로 아래 두 가지를 꼽았습니다.
- '품질'에 대한 견해가 관계자 간에 서로 다르다.
- 유럽에서 쓰이는 평가 매트릭스를 일본어 번역 결과물 평가에 그대로 적용하기 어렵다.
두 번째 이유는 일본에 국한된 내용이니 첫 번째 이유에 대해서만 간단하게 전달드리겠습니다.
품질에 대한 견해 차이와 JTF의 제안
품질에 대한 견해 차이에서 오는 문제는 다음의 예를 통해 여러분도 어느 정도 공감할 수 있을 것입니다. 번역 결과물의 품질을 평가할 때 각 관계자의 생각은 이렇게 다릅니다.
- 최종 독자: 매뉴얼에서 해라체는 가독성이 떨어진다. 그러니 품질이 낮다.
- 번역자: 이 분야에서 10년 경력이 있다. 그러니 품질에는 자신이 있다.
- 번역 회사 1: 스타일 가이드에 해라체를 쓰도록 규정되어 있다. 스타일에 위반되지 않았으므로 품질이 낮지 않다.
- 번역 회사 2: 예산과 납기를 고려해 품질은 이 정도면 충분하다.
- 클라이언트: 스타일 가이드를 적용하기로 관계자가 서로 합의했으므로 문제없다.
이와 같은 견해 차이는 품질에 관한 논의를 어렵게 합니다. 경영학자 'Garvin의 품질 5분류'라는 이론에 따르면 번역 품질을 다음과 같이 5개의 분류로 나눌 수 있습니다.
- 초월적(transcendental): 품질이 좋은지 나쁜지를 직관적으로 판단. 주관성이 강하다.
- 프로덕트 기반: 품질을 측정 가능한 수치로 판단. 객관적이지만, 측정 가능한 대상만 측정한다.
- 사용자 기반: 최종 독자의 취향에 따라 판단. 주관성이 강하다.
- 생산 기반(production-based): 미리 정한 요건이나 사양을 얼마나 충족하였는지로 품질을 판단.
- 가치 기반(value-based): 비용과 편의를 비교해 품질을 측정한다. 예를 들면, 초월적, 사용자 기반, 프로덕트 기반으로 품질이 높아도 비용이 많이 든다면 상대적으로 품질이 낮다고 판단한다. 반대로 비용이 저렴하고 그런대로 읽을 수 있는 수준이라면 품질이 높다고 판단한다.
각 관계자의 품질에 대한 견해를 Garvin의 분류에 대입해 보면 다음과 같습니다.
- 최종 독자: 사용자 취향이므로 사용자 기반
- 번역자: 경험에 의한 직관이므로 초월적
- 번역 회사 1: 위반 수는 측정 가능한 수치이므로 프로덕트 기반
- 번역 회사 2: 비용에 관한 문제이므로 가치 기반
- 클라이언트: 관계자 간 합의 내용에 따르고 있으므로 생산 기반
JTF는 Garvin의 이론을 참고해 4가지 분류의 번역 품질 평가 방법을 제안했습니다. 번역 품질을 평가할 때 품질에 대한 개념이 서로 일치해야 하며, 아래의 4가지 품질 평가 방법 중 어떤 방법을 이용할지 관계자 간에 서로 합의가 이루어져야 한다고 했습니다.
- 전문가에 의한 주관 평가
- 최종 독자에 의한 주관 평가
- 오류 기반의 평가 매트릭스를 이용한 객관 평가
- 기타 객관 평가: 사용성 지표를 활용한 평가, 가독성 지표를 활용한 평가, 법적 요건 준거 등
위 4가지 평가 방법 중에서 저는 '오류 기반의 평가 매트릭스를 이용한 객관 평가'에 대해서 말씀드리려고 합니다. 평가 매트릭스를 이용한 객관 평가란 오류 기반의 평가를 말하며, 번역문 중에 오류가 있으면 심각도에 따라 점수를 매겨 합계 점수가 기준치를 초과하면 불합격 처리하는 방법입니다.
오류 기반의 평가 매트릭스
오류 기반의 평가 매트릭스는 아래 4가지로 구성됩니다.
- 오류 카테고리
- 오류의 심각도
- 카테고리 가중치
- 합격 기준치
위 평가 매트릭스를 설정하는 방법에 대해 좀 더 자세하게 알아보겠습니다.
평가 매트릭스 설정하기
첫 번째로, 오류 카테고리는 다음과 같이 설정합니다.
- 정확도(Accuracy): 원문의 의미가 번역문에 넘치거나 부족함 없이 반영되어 있는가? 일대일 번역으로 확인하여 오역, 미번역 등을 검토한다.
- 유창함(Fluency): 글이 형식적으로 정돈되어 있는가? 주관적인 가독성보다는 형식적인 오류를 검토한다. 오탈자, 동음이의어 오류, 문법 오류 등.
- 용어(Terminology): 특정 분야나 기업에서 이용하는 전문용어가 번역문에 반영되어 있는가?
- 스타일(Style): 스타일 가이드, 특정 분야의 표기 스타일을 따르고 있는가?
- 지역 관습(Locale convention): 해당 지역의 관습에 맞게 번역되었는가? 수치, 날짜, 시간 형식 등.
- 디자인(Design): 글의 외관에 관한 문제. 공간 부족으로 글이 중간에 잘리거나 영역 밖으로 넘어가는 부분은 없는가? 레이아웃 깨짐, 폰트 오류, 들여쓰기 오류 등.
- 사실성(Verity): 번역문의 정보에 사실이나 실제와는 다른 내용이 있는가? 최종 독자에게 적절하지 않은 정보가 있는가?
두 번째로, 오류의 심각도는 다음과 같이 설정합니다.
- Critical(100점): 부적합. 번역 결과물을 사용할 수 없음.
- Major(10점): 번역 결과물을 이해하는 데 지장을 줄 수 있는 오류
- Minor(1점): 번역 결과물을 이해하는 데 큰 영향을 주지 않는 오류
- 없음(0점): 번역자에게 전달하지 않은 참고 자료(용어집 등)에 관한 오류
세 번째로, 카테고리 가중치는 문서 타입에 따라 오류 카테고리별로 각각 가중치를 부여합니다. 카테고리 가중치의 표준값은 1.0입니다.
| 카테고리 | 가중치 |
|---|---|
| 정확도 | 2.0 |
| 유창함 | 1.0 |
| 용어 | 1.5 |
| 스타일 | 0.5 |
| 사실성 | 0.5 |
| 기타 | 0.5 |
마지막으로, 관계자 간에 합격 기준치를 설정합니다. JTF가 제안하는 합격 기준치는 다음과 같습니다. 아래의 기준치를 참고해 프로젝트마다 분야별 특성이나 제약 사항(납기, 비용, 원문의 품질 등)을 적용해 조정합니다.
| 언어 방향 | 합격 기준치(1,000 단어당) |
|---|---|
| 영 → 일 | 50점 |
| 일 → 영 | 35점 |
JTF 번역 품질 평가 모델 적용 사례
평가 매트릭스를 다 만들고 나면, 매트릭스를 이용해 평가를 수행합니다. 평가 중에 발생한 모든 오류의 점수를 더해 오류 점수의 합계를 산출합니다. 오류 기반 평가이므로 합격 기준치를 초과하면 불합격입니다. 오류 1개당 점수는 다음의 공식을 적용합니다.
- 오류 1개 점수 = 카테고리 가중치 x 심각도
다음은 평가 매트릭스를 이용해 오류 점수를 산출한 예입니다. 이 사례는 영일 번역 3,000 단어의 번역 품질 평가의 예이며, 합격 기준치는 50점으로 설정했습니다.
먼저, 번역문에서 오류를 체크합니다. 오류의 상세 내용은 다음과 같습니다.
| # | 파일 | 세그먼트 | 원문 | 번역문 | 카테고리 | 심각도 | 평가자 의견 |
|---|---|---|---|---|---|---|---|
| 1 | abc.docx | 5 | I have a pen. | 나는 펜을 갖고 있습니다. | 스타일 | Major | 해라체로 해야 함 |
| 2 | abc.docx | 11 | I have an Apple. | 나는 사과를 갖고 있다. | 정확도 | Critical | 여기서는 Apple 제품을 말함 |
| 3 | ... |
다음으로, 카테고리 가중치와 심각도를 곱해 오류 점수를 계산합니다.
| 카테고리 | 가중치 | Critical | Major | Minor | 합계 |
| 유창함 | 1.0 | 1 | 1 | 11 | |
| 정확도 | 2.0 | 1 | 1 | 202 | |
| 용어 | 1.5 | 3 | 4.5 | ||
| 스타일 | 1.0 | 1 | 1 | 11 | |
| 228.5 |
마지막으로, 합격 여부를 판정합니다. 원문 1,000 단어당 점수로 환산해 합격 기준치가 50점을 넘으면 불합격입니다. 오류 점수의 합계가 228.5이고, 영일 번역 3,000 단어에 대한 결과를 1,000 단어로 환산하면 점수는 76.2가 되므로 불합격입니다.
- 228.5 ÷ 3,000 x 1,000 = 76.2
| 총 단어 수 | 3,000 |
|---|---|
| 오류 점수 | 228.5 |
| 1,000 단어 환산 | 76.2 |
| 합격 기준치 | 50 미만 |
| 합격 여부 | 불합격 |
번역 품질 평가 방법을 원문 작성에 응용한다면?
저는 번역 품질 평가에 관한 방법론과 사례를 들으면서 원문을 작성하는 테크니컬 라이터의 관점에서 원문의 품질을 향상시키기 위한 아이디어를 얻었습니다. 예를 들어 평가 매트릭스는 오류 카테고리를 다음과 같이 조정한다면 충분히 활용 가능하다고 생각합니다.
- 정확도(Accuracy): 제품의 기획 의도가 문서에 정확히 반영되어 있는가?
- 유창함(Fluency): 글이 형식적으로 정돈되어 있는가? 오탈자, 동음이의어 오류, 문법 오류 등.
- 용어(Terminology): 특정 분야나 기업에서 이용하는 전문용어가 문서에 반영되어 있는가?
- 스타일(Style): 스타일 가이드, 특정 분야의 표기 스타일을 따르고 있는가?
- 지역 관습(Locale convention): 해당 지역의 관습에 맞게 문서화되었는가? 수치, 날짜, 시간 형식 등.
- 디자인(Design): 글의 외관에 관한 문제. 레이아웃 깨짐, 폰트, 자간, 행간, 들여쓰기 오류 등
- 사실성(Verity): 문서 정보에 사실이나 실제와는 다른 내용이 있는가? 최종 독자에게 적절하지 않은 정보가 있는가?
위와 같이 조정된 오류 카테고리를 고려하여 몇 가지 예시를 들어보겠습니다.
우선 위에 언급된 번역문 오류 예시 중 '정확도' 예시를 살펴보겠습니다.
| 원문 | 번역문 | 카테고리 | 심각도 | 의견 |
|---|---|---|---|---|
| I have an Apple. | 나는 사과를 갖고 있다. | 정확도 | Critical | 여기서는 Apple 제품을 말함 |
'I have an Apple.'의 경우, 만약 원문을 정확도 관점에서 고려하여 'I have an Apple device.'나 'I have an Apple product.'라고 작성했다면 '나는 사과를 갖고 있다.'라고 잘못 번역될 확률이 크게 줄어들었을 거라고 생각합니다.
두 번째로 '유창함' 관점에서 번역 오류가 발생할 가능성이 있는 문장을 예시로 들어보겠습니다.
'개발 화면은 설정 화면에서 사용하기 원하는 UI를 자유롭게 배치할 수 있습니다. '
한국어는 문장 성분의 위치가 비교적 자유로워 어떤 단어가 무엇을 수식하는지 분명하지 않을 때가 많습니다. 위 문장에서 수식절은 가급적 수식을 받는 말의 바로 앞에 써야 번역 시 오류를 줄일 수 있습니다. 또한 주어가 '개발 화면'이 되면, 개발 화면 자체가 UI를 배치하는 주체가 되는 것으로 보입니다. 따라서 주어와 술어의 호응을 점검할 필요가 있습니다. 위 문장을 '설정 화면에서 개발 화면 UI를 자유롭게 구성할 수 있습니다.'와 같이 수정하면 번역 단계에서 발생할 수 있는 여러 오류를 줄일 수 있을 것입니다.
맺으며
번역이 잘 되려면 우선 원문의 품질이 좋아야 합니다. 원문의 품질을 향상시킨다면 그만큼 번역 품질의 향상도 기대할 수 있을 것입니다. 따라서 원문을 작성하면서 위와 같은 사항들을 조금이나마 고려한다면, 더 이해하기 쉬운 번역 결과물을 기반으로 업무를 진행할 수 있을 것이고, 회사 전체적으로 업무 효율이 향상될 것이라고 생각합니다.
저 역시 테크니컬 라이터로서 독자에게 좋은 글, 그리고 번역이 잘 되어 읽기 쉽고 뜻이 분명한 글을 제공할 수 있도록 끊임없이 연구하고 노력하겠습니다.