日本語音声学習評価ツール『にほんごオーバーラッピング』への思い

波多野 博顕(はたの ひろあき)先生
筑波大学 人文社会系 助教
京都府出身。株式会社国際電気通信基礎技術研究所・石黒浩特別研究所、連携研究員。研究分野は日本語学・日本語教育学。専門は音声科学・音声コミュニケーションなど。
「にほんごオーバーラッピング」は、日本語学習者の音声学習をサポートする自動評価ツールです。複雑な操作は必要なく、モデル音声を「聞いて・見て・真似る」だけで、簡単に日本語の韻律1) の練習・評価ができます。このツールを開発した音声学を専門とする波多野先生に開発の背景と活用方法について聞きました。
1) 韻律(prosody)とは、音声のうちのアクセントやイントネーション、リズムなどを指します。日本語の音声では単音よりも韻律(prosody)の適切さ、自然さが重要だと言われています
日本語教師の苦労をテクノロジーのサポートで乗り越える
まず、この「にほんごオーバーラッピング」を作ることになったきっかけを教えてください。
波多野はい、私は音声学が専門ですが、前々から日本語学習者の発話を評価するツールができないかというのはずっと考えていました。日本語教育のなかで、音声は扱われる機会が相対的に少ないですが、その理由として、文字と違って音声は「目に見えない」ということ、そして評価自体が難しいということがあるかなと思っています。日本人もLとRの発音が苦手だと言われていますが、それをテクノロジーのサポートで乗り越えられないかというのがありました。
なぜ、音声は評価が難しいのでしょうか。
波多野評価が難しい背景として、(特に海外の)日本語非母語話者の先生にとって日本語音声の内省が難しいことはもちろん、母語話者であっても地域的に多様な方言がある、といったことがあるのではないでしょうか。だから、音声をきちんと可視化して比較・評価することができるツールがあれば、以上の困難を克服できるのではないかと考えていました。
このツールの構想から完成までの期間を教えてください。
波多野構想自体は以前からありましたが、実際に開発がスタートしたのは2022年度です。ツールとしての形が具体化していったのは、2022年度の半ばです。完成は2023年7月なので、スタートから完成までは1年ほどです。メインで担当していたのは私ですが、実際の工学的な実装に関しては開発業者であるキャリッジ株式会社さんにサポートしていただきました。
学習者のレベルは関係なく、好きな音源で練習できる
このツールの対象者(レベル、目的)を教えてください。
波多野このツールは自分の好きな音源で練習できるので、実は学習者のレベルはそんなに関わってきません。日本語初心者でも、上級者でも、そのレベルに応じた練習ができます。初心者であれば、教科書の音源などを使用して、口慣らしの練習ができますし、上級者であれば、スピーチの練習などができます。
特に、海外で勉強している学習者は、自分の発話を誰かに聞いてもらう機会がないと思いますので、そういう方にぴったりかなと思います。
このツールの特徴を教えてください。
波多野一つは、WEB上で操作が全部完結するというところです。これまでも音声のピッチカーブ(音の高さ)を出す専門的なソフトウェアはありましたが、ダウンロードをして使うのが一般的でした。その必要がないのが大きなアドバンテージかなと思います。
そしてもう一つは、簡単な操作で韻律がパッと可視化されるところです。一目で、音の強さだったり、高さだったり、長さだったりがわかります。
もう一つ大きいのは、スコアが出るところですかね。モデル音声と自分の音声を重ね合わせて、一致した部分の相関をスコアとして出しているのですが、一つのモチベーションにはなります。
ただし、日本人でも完全に一致させるのは無理なので、あまり完璧を目指さなくてもいい。感覚的に自分がどれぐらいずれているかわかるためのツールとして使ってもらえればいいかなと思います。
どのような使い方を想定して開発をされましたか。
波多野基本的には、学習者が一人で学習を進めてもらうことを想定しています。音声を評価されるのが恥ずかしいと感じる方は結構いると思います。日本人でも英語の発音を聞いてもらうというのは恥ずかしいと思うので、一人で進めてもらえるといいかなというのがあります。
ただ、教室で使えないかというとそうではなくて、たとえば、クラスで先生が音源を用意して、「これでちょっと口慣らしの練習しておいてね」と学習者の宿題にしたりなど、そのような使い方もできると思います。「スコア80点取るまでやってみて」といったように。
結構、厳密な使い方というのはあまり考えていなくて、楽しんで使ってもらえればいいかなと思います。
入学試験や就職活動の面接練習などでも使えそうです。
波多野そうですね。音声は情報を正確に伝えるのはもちろん大事ですが、自分がどう見られるかという印象にも関わるものなので、まさに就職活動などの場面を想定して使用してくださってもいいと思います。
韻律から入ってもらうことで、非常にわかりやすい部分に特化
このツールを開発する上で、注意したのはどのようなことですか。
波多野まず、専門用語を使わないということです。パッと見て直観的にわかるということに気を付けました。音声というと、IPA2) を覚えたり、口の中の断面図を見たりですとか、非日常的で難解なイメージが先行して、ネガティブに感じる方もいると思います。そこで、なるべく見た目として、とっつきやすくて、わかりやすいものにするといったことを心がけました。
このツールは、一つ一つの発音がどうかということは、全く言っていません。韻律(prosody)から入ってもらう、つまり、優先順位をつけて、音の高さという、非常にわかりやすい部分に特化して見せています。そこから入ってもらうと、音声に対する苦手意識というものも少なくなっていくのかなという気がしています。
2) 国際音声記号(International Phonetic Association, IPA)
OJADと連携するとより便利に
このツールを使用して指導を行う日本語教師の方へのアドバイスをお願いします。
波多野基本的には先生から学習者に紹介していただいて、あとは好きに使ってもらうのが一番いいかなと思います。たとえば、もうすでに先行していて誰もが知っているOJAD3) と連携して使うと、よりいいものになるかと思います。
OJADは、音声リソースとして非常に豊富なものが揃っています。テキストを入力すればモデル音声ができるという機能4) があるので、それと組み合わせて、先生方の今教えている現場なり、環境なりにあった使い方というのが、工夫次第でいくらでも展開できるのではないかという気はしますね。
3) OJAD(Online Japanese Accent Dictionary:オンライン日本語アクセント辞書)(https://www.gavo.t.u-tokyo.ac.jp/ojad/)
4) OJADの4機能の一つ「韻律読み上げチュータスズキクン」は、テキストを入力すればモデル音声を作成してくれる(https://www.gavo.t.u-tokyo.ac.jp/ojad/phrasing)
おすすめは「日本語マグネット」
JV-Campusにある日本語教育コンテンツでおすすめのものがあれば教えてください。
波多野私は「日本語マグネット」がすごく好きですね。テンポがよくて、10分前後という長さもいいです。動画自体の内容もおしゃれで、アニメーションも楽しめます。音声も聞きやすい感じで、NHKのEテレのような作り方が結構いいなと私は思っています。
留学や就職では、音声コミュニケーションは避けて通れない
最後に日本への留学、就職を目指す日本語学習者にメッセージをお願いします。
波多野留学や就職を目指される方の背景は様々だと思いますが、音声コミュニケーションというのは避けて通れない部分です。こういったツールを使いながら、話すことに尻込みをせずに、楽しく勉強していただけたらなと思います。
波多野先生、インタビューへのご協力ありがとうございました。
インタビュー内で紹介された関連コンテンツ
ツールの使い方
I. モデル音声をセットする方法
モデル音声をセットする方法
- 1タスクにタイトルをつけましょう
-
2モデルとなる音声素材の種類を選びましょう
教科書の付属のCDなどから、自分が練習したいモデル音声を用意しましょう(拡張子が、wav, wevm, mpp3, mp4のファイルが必要です) - 3モデル音声のテキストを入力しましょう
- 4録音と評価へ!
II. 録音方法と評価の結果
録音方法と評価の結果
- 1まずはモデル音声を再生して聞きましょう。声の大きさや高さの変化に注意しましょう
- 2準備ができたら、録音を開始しましょう。モデル音声の強弱や抑揚を目指しましょう
- 3一致度のスコアも確認できます
- 4自分の録音結果は緑色で、モデル音声に重ねて表示されます。モデル音声とどこがどう違うか、目で確認しましょう
- 5自分の録音やモデル音声を再生し、どこがどう違うか、耳で確認しましょう
100を目指して頑張りましょう!
「再録音」で何度でも練習できます。