こんにちは。LINE GAME PLATFORMのドキュメント作成および配布を担当している、テクニカルライターのJihyun Kimです。LINE GAME PLATFORMは、韓国・日本の両拠点で企画・開発が行われているプロジェクトで、開発ガイドなどのドキュメントも韓国語と日本語の2か国語で作成しています。2か国語で文章を書いて行くうえで最も悩ましいことは、言語によって異なる読者の地域的・文化的背景を文章に溶け込ませることです。私は、小さい頃日本に住んだことがあり、日本語の文章を書くことには慣れていますが、やはり母語が韓国語で、現在働いている地域も韓国ということで、日本現地の独特のニュアンスや臨場感を表現することには、力不足を感じることがあります。そこで、私なりに足りないところを補おうと、日本で開かれるカンファレンスに参加しています。昨年はTC(Technical Communication) Symposium 2018 in Tokyoに参加しました。 

テクニカルコミュニケーター（Technical Communicators、以下TC）とは、技術文書を作成するテクニカルライターだけでなく、取扱情報を企画し制作を総括するディレクター、イラストや概念図などを作成するテクニカルイラストレーター、多言語化を担当するローカライゼーションの専門家、UXの設計・開発を担当するUX専門家、認知科学および心理学を研究する研究家や教育者まで、さまざまな分野にわたって多様な能力を持つ人々を総称する言葉です。TCシンポジウムは、「情報を伝える」という目的のもと、さまざまな分野で活躍している人々が集まり、情報交換を行う場です。

グローバル企業であるLINEでは、日々の業務をこなしていく中で、母語で書いたものを多言語に翻訳し、共有することが求められています。逆に、共有された訳文をもとに仕事を進めることも多々あります。このとき、訳文や原文の品質が悪ければ、当然ながら仕事の効率にも影響が出てしまいます。LINEで働くテクニカルライターたちは、翻訳の品質、更には原文の品質を向上させるために、「いかに文章力を上げるか」という悩みを抱えてきました。このような悩みを抱える中で、昨年のTCシンポジウムで参加した『【JTCA × JTFコラボレーション企画】多言語翻訳の品質評価～国際市場で勝ち抜くための効率的な検査と評価～』というセッションで、多言語化を意識した文章作成に役立つヒントを得ることができました。今回の記事では、JTFが提案する翻訳品質評価の手法と、その手法を原文の品質評価にも取り入れる方法についてご紹介します。

多言語翻訳における品質評価の手法

「翻訳品質評価」というテーマは、実は、この業界では古くから議論されてきた非常に古典的な内容です。それでも今なおこのテーマが関心を集める理由は、現場では、まだまだ翻訳成果物に対する品質評価がきちんと行われていないと感じているからだと思います。ガイドラインやプロセスがしっかりしていなかったり、独自で評価を行う場合でも確信を持てなかったり、といった現実があるようです。このような現実は、翻訳成果物の品質のぶれにもつながることになります。

このセッションのパネリストだったJTF（Japan Translation Federation）のNishinoさんは、翻訳品質評価が現場でうまくいかない理由について、以下の2点を指摘しました。

• 「品質」についての認識が関係者どうしで異なる。 
• ヨーロッパで使われている評価メトリクスは、日本語への適用が難しい。 

２番目の理由は、日本に限ってのことですので、1番目の理由についてのみ簡単にお伝えします。

品質についての認識の違いとJTFからの提案

品質についての認識の違いから生じる問題は、以下の事例で共感することができました。翻訳成果物の品質を評価する際、各関係者の考えは以下のように異なります。

• 最終読者：マニュアルで「である調」は読みにくい。だから低品質。
• 翻訳者：この分野で10年経験がある。だから品質には自身がある。
• 翻訳会社１：スタイルガイドでは「である調」。スタイル違反はないので品質は低くない。 
• 翻訳会社２：この予算と納期でできるのはここまで。だから品質は十分。
• クライアント：このスタイルガイドを使うことは翻訳会社とも合意済み。問題はない。 

上記のような認識の違いは、品質に関する議論を難しくします。経営学者Garvinが定義した「品質に関する５つの分類」という理論によると、翻訳の品質を以下の５つに分類できます。 

• 超越的（transcendental）：品質の良し悪しを直観的に判断。主観性が強い。
• プロダクトベース：品質を測定可能な数値で判断。客観的だが、測れるものしか測らない。 
• ユーザーベース：最終読者の好みで判断。主観性が強い。 
• 生産ベース（production-based）：あらかじめ定めた要件や仕様をどの程度満たしているかで品質を判断。 
• 価値ベース（value-based）：費用と便益の比較で品質を測定する。たとえば、「超越的」、「ユーザーベース」、「プロダクトベース」では品質が高くても、費用がかさむなら相対的に品質は低いと判断。逆に、費用が安くて「そこそこ読める」なら品質が高いと判断。

各関係者の品質についての見解を、Garvinの分類に適用してみると以下のとおりになります。  

• 最終読者：ユーザーの好みによるので、ユーザーベース
• 翻訳者：経験による直観なので、超越的
• 翻訳会社１：違反数は測定可能な数値なので、プロダクトベース
• 翻訳会社２：コストに関する問題なので、価値ベース
• クライアント：関係者間での合意に基づいているので、生産ベース

JTFは、Garvinの分類を参考に、翻訳品質を評価する手法を以下のように提案しています。翻訳品質を評価する際には、まず品質について共通の認識を持ち、これらの手法のうち、どれを用いるのか関係者間で合意する必要があるとしました。 

• 専門家による主観評価
• 最終読者による主観評価
• エラーベースの評価メトリクスを用いた客観評価
• その他の客観評価：ユーザビリティー指標を使った評価、リーダビリティー指標を使った評価、法的要件などへの準拠 

以上４つの評価手法のうち、「エラーベースの評価メトリクスを用いた客観評価」について紹介したいと思います。

エラーベースの評価メトリクス

評価メトリクスを用いた客観評価とは、エラーベースの評価で、訳文の中にエラーがあったら重大度に応じて点数を付け、その合計がしきい値を超えると不合格にする方法です。

エラーベースの評価メトリクスは、以下の４つの要素で構成されます。

• エラー・カテゴリー
• 重大度
• カテゴリー重み
• 合否しきい値 

上記の評価メトリクスを設定する方法について詳しく見てみましょう。

評価メトリクスの設定

第一に、エラー・カテゴリーは以下のとおりに設定します。 

• 正確さ（Accuracy）：原文の意味が訳文に過不足なく盛り込まれているか。対訳で、誤訳や未翻訳などをチェックする。
• 流暢さ（Fluency）：あるテキストが形式として整っているか。主観的な読みやすさより、形式面のエラーをチェックする。誤字脱字、同音異義語誤り、文法誤りなど。 
• 用語（Terminology）：ある分野や企業内で用いられる専門用語が訳文に反映されているか。
• スタイル（Style）：スタイルガイド、特定分野の表記スタイルが用いられているか。
• 地域慣習（Locale convention）：訳文が読まれる地域の慣習に合致しているか。数値、日付、時刻形式など。 
• デザイン（Design）：テキストの見た目に関する問題。文字切れ、はみ出しなど。
• 事実性（Verity）：訳文の情報に事実や現実世界との齟齬がないか。最終読者に不適切な情報がないか。

第二に、エラーの重大度は以下のとおりに設定します。

• 深刻（Critical）：100点。不適当。翻訳成果物を使えない。
• 重度（Major）：10点。翻訳成果物の理解しやすさに影響を与えうるエラー。
• 軽度（Minor）：１点。翻訳成果物の理解しやすさに大きな影響を与えないエラー 。
• なし（None）：0点。翻訳者に提供していない参考資料（用語集など）に基づくエラー。

第三に、カテゴリー重みは、エラー・カテゴリーごとにそれぞれ重みを付けます。カテゴリー重みの標準は「1.0」にします。  

カテゴリー	重み
正確さ	2.0
流暢さ	1.0
用語	1.5
スタイル	0.5
事実性	0.5
その他	0.5

最後に、関係者間で合否しきい値を設定します。JTFが提案する合否しきい値は、以下のとおりです。このしきい値を参考にプロジェクトごとに、分野による特性や制約（納期、コスト、原文の質など）を考慮して決定します。

言語方向	合否しきい値（1,000ワードあたり）
英語 → 日本語	50点
日本語 → 英語	35点

JTF翻訳品質評価モデルの適用事例

評価メトリクスの設定が終わったら、メトリクスを用いて評価します。評価で見つかったすべてのエラーの点数を合計します。エラーベースの評価なので、合計が合否しきい値を超えると不合格です。エラー1件ごとの点数は、以下の式で計算します。   

• エラー1件の点数 = 重大度×カテゴリー重み

以下は、評価メトリクスを用いてエラー点数を算出した例です。この事例は、英日翻訳3,000ワードの翻訳品質を評価したもので、合否しきい値は1,000ワードあたり「50点未満」で合意したものとします。

まず、翻訳エラーをチェックします。エラーの詳細は以下のとおりです。

#	ファイル名	セグメント(1文)	原文	訳文	カテゴリー	重大度	評価者コメント
1	abc.docx	5	I have a pen.	私はペンを所有しています。	スタイル	重度	常体にする。
2	abc.docx	11	I have an Apple.	私はりんごを所有する。	正確さ	深刻	ここは「アップル製品」。
3	...

次に、エラー・カテゴリーごとに、カテゴリー重みと重大度をもとにエラー点数を算出し、すべての点数を合計します。

カテゴリー	重み	深刻	重度	軽度	合計
流暢さ	1.0		1	1	11
正確さ	2.0	1		1	202
用語	1.5			3	4.5
スタイル	1.0		1	1	11
					228.5

最後に、成果物に対する合否判定をします。1,000ワード換算で、合否しきい値の「50点未満」の条件が満たされない場合、不合格になります。エラー点数の合計が228.5であり、英日翻訳3,000ワードの結果を1,000ワードに換算すると、点数は76.2になるので不合格です。  

• 228.5 ÷ 3,000 x 1,000 = 76.2 

分量	3,000ワード
全量のエラー点数	228.5
1,000ワード換算のエラー点数	76.2
合否しきい値	50未満
合否判定	不合格

 

翻訳品質評価の手法を原文の品質向上に応用すると

私は、昨年のシンポジウムで参加したセッションで翻訳品質評価に関する手法について知り、原文を作成するテクニカルライターの視点から、原文の品質を向上させるヒントを得ました。評価メトリクスのエラー・カテゴリーを、以下のように変更すれば、原文の品質評価にも応用できると思いました。

• 正確さ（Accuracy）：製品の企画意図や仕様が、正しく反映されているか。
• 流暢さ（Fluency）：文章が整った形式で書かれているか。誤字脱字、同音異義語、文法誤りなど。 
• 用語（Terminology）：ある分野や企業内で用いられる専門用語が文書に反映されているか。 
• スタイル（Style）：スタイルガイド、特定分野の表記スタイルが用いられているか。
• 地域慣習（Locale convention）：読み手の地域の慣習に合致しているか。数値、日付、時刻形式など。 
• デザイン（Design）：文章の見た目に関する問題。
• 事実性（Verity）：事実や現実世界との齟齬がないか。最終読者に不適当な情報がないか。  

エラー・カテゴリーの応用例をいくつか挙げてみます。

まず、前述した訳文エラーの例から「正確さ」を見てみましょう。

原文	訳文	カテゴリー	重大度	意見
I have an Apple.	私はりんごを所有する。	正確さ	深刻	ここは「アップル製品」。

「I have an Apple」を正確さの観点から考え直して、「I have an Apple device」または「I have an Apple product」のように対象を明確にした表現にすると、誤訳を防ぐことができるでしょう。

次に、「流暢さ」の観点から、翻訳エラーが発生しうる文を例として挙げます。 

「開発画面は、設定メニューからUIを自由に配置できます。」

助詞を用いる日本語や韓国語は、語順がばらばらでも意味が通じます。しかし、語順の自由度が高いことから、修飾関係がはっきりせず、誤解を招くこともよくあります。上記の例でも、修飾関係がはっきりせず、いまいちな文になっていることが分かります。修飾語は修飾する語句に近づけることによって、文の意味を明らかにし、誤訳を防ぐことができるでしょう。また、主語が、「開発画面」になっていますが、開発画面そのものがUIを配置するわけではないので、主語と述語の対応を見直す必要があります。たとえば、上記の文は「設定画面で、開発画面のUIを自由に配置できます。」と修正すると良いでしょう。このように、原文の段階で品質をチェックし原文の質を上げることで、翻訳するときに起こりえる様々なエラーを事前に防ぐことができるでしょう。

おわりに

私は、翻訳の品質に最も大きな影響を及ぼす要素は、原文の質だと思っています。原文の完成度を高めることによって、翻訳の品質向上も期待できます。相手につたわる、わかりやすい文章を書くように心がければ、誤訳も少なくなり、よりスムーズなコミュニケーションができるようになるでしょう。今回は、主に翻訳品質評価について取り上げましたが、翻訳に限らず、日々のドキュメント作成や仕事の効率アップにもつなげていければと思います。

私も、テクニカルライターとして、わかりやすい文章や、翻訳しやすい文章を書けるように、日々努力していきたいと思います。