2024.8.6

• 
• 
• 
• 

キッズデザイン協議会の調査研究事業インクルーシブ・キッズデザインプロジェクトの活動として、キッズデザイン賞を受賞したインクルーシブなプロダクト「しゃべり描き®UI」のお話を伺い、体験しました。
開発への思いや開発秘話などについて２回にわたってレポートします。

＜キッズデザイン賞 受賞作品＞
第11回（2017）TEPIA特別賞　※「しゃべり描き®UI」ユーザーインターフェース技術
第16回（2022）※「しゃべり描き®アプリ」製品名
※「しゃべり描き®」は三菱電機株式会社の登録商標です。

＜お話や操作方法を伺った方々＞
三菱電機株式会社 総合デザイン研究所 平井正人さん ライフクリエーションデザイン部Senior Expert
永原香菜子さん デザイン戦略室

「しゃべり描き®UI」は、話した言葉を指でなぞった軌跡に文字表示する音声認識表示技術です。私たちがこの作品に注目したのは、あえて「書く」ではなく「描く」というアート表現に本能的に反応したからでした。何か面白そう、インクルーシブ・デザインの大切なヒントになると直感しました。

平井正人さんからデザイン開発の経緯や特徴についてのレクチャーを受け、「しゃべり描き®UI」の操作を体験しました。

「しゃべり描き®UI」は、音声認識と多言語翻訳を用いて表示する技術がベースになっています。しゃべる前に、しゃべりながら、あるいはしゃべり終えて、指でタブレット端末の画面をなぞると、指先から青い帯が描かれ、そこに一文字ずつ順番にじわっーと流れるように文字が湧き出てきます。青い帯はふわっと出てきて、文字を追いかけるように消えていきます。これは、ディズニーのファンタジアのミッキーがビュンと棒を振ると小さな星が軌跡を作った後にその中から何かの形が現れてくる様子をイメージして作られました。
音声認識の認識時間（表示スピード）は他のアプリに比べて際立っているわけではありません。しかし、この演出効果が、待っているというストレスを感じさせず、むしろ認識スピードがとても速いと感じます。「速いと錯覚させる」と言ったほうが正しいかもしれません。発話ボタンを押してしゃべってなぞるまでに指を画面にもっていくまでの時間、なぞって一文字ずつ出して全部がつながっていく時間が、認識結果を速く返しているように見せています。なるほど、この表示の細かなチューニングが作り出す気持ちよさは、まさに青い帯のマジックでした。

不思議なことに、なぞるということは文字を書くという行為に似ているからか、使う人は「しゃべり描き®」では話し言葉ではなく丁寧な書き言葉でしゃべろうとします。さらになぞる範囲を画面内に納めようとして、短い文章でしゃべります。音声認識の精度は文法が正しいほど高くなりますが、「しゃべり描き®アプリ」では、なぞることで文法のしっかりした短い文章の書き言葉で無意識のうちに発話され、音声認識も翻訳も精度が高い上に、読み手にとっても読みやすいという、良いこと尽くめの結果を生み出しています。

実際の操作では、発話ボタンを押す、その後は、しゃべってからなぞる、なぞってからしゃべる、なぞりながらしゃべる、どんな手順でも受け付けてくれ、青い帯が気持ちよく現れます。しばらく黙っていても、機器の画面をなぞれば文字が出てきます。14種類あるフォントはカラーも豊富で、自由自在な操作性や多様な表現へのワクワクした期待感にあふれています。
いつの間にか、私たちは子どものように歓声を上げ、無邪気に遊び始めていました。

「しゃべり描き®UI」開発のきっかけは、平井さんと聴覚障害のあるインターン生との出会いにありました。手話ができない平井さんはインターン生の口話*と筆談によってデザインについてやりとりしましたが、上手く伝わらないもどかしさと、もっと気軽に気持ちを伝えたいという想いに悶々としていました。
そのような最中、研究所内で立ち上がった「Design X」**という公募型の自主研究プロジェクトへの応募を機に、「話した言葉を見て触る世界」をテーマに有志が集まり2014年から開発が始まりました。
既存のコミュニケーションの課題をまとめてみると、開発の方向がはっきり見えてきました。
・手話・指文字⇒特別なスキルが必要で、聴者に広がっていない
・筆談⇒文字を書く負担や時間がかかるので、聴者に頼みづらい
・翻訳アプリ⇒ワープロのように文字が出てくるが、文字や言葉以上の表現ができない

さらに、聴覚障害者へのヒアリングで注目したことがありました。
・聴覚障害者は、指差ししながら説明しても話を理解するのが難しい
　⇒指で差し示しているところと、話す人の口元の動きを同時に見ることができないから
・筆談ボードを使うと、楽しくコミュニケーションできる
　⇒文字や絵を自由に組み合わせて表現できているから

こうして、話した言葉を指先に表示でき、文字や絵を自由に組み合わせて表現するユーザーインターフェースのプロトタイプが完成しました。

＊口話…口の形を読み取ることや、聞こえてくる音や表情、話の流れから相手の話していることを察知して話をする方法です。

＊＊「Design X」プロジェクト…豊かな未来社会に向けて新コンセプトを創出する統合デザイン研究所の活動で、所員が自由にテーマを決められます。テーマが採択されるとリーダーは所内の好きな人に部署をまたいで声をかけることができるというユニークなプロジェクトです。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

＜平井正人さんのプロフィール＞
1993年 三菱電機株式会社 入社
プロダクトデザイナーとして、AV機器、プロジェクター、プリンター、デジカメ、ウェルネス機器などの製品開発を担当。
1999年以降、UI/UXデザイナーとして携帯電話、車載情報機器、エレベーター、家電製品などの製品デザインやコンセプトデザインの研究・開発、高齢者介護・外国籍労働者などの社会課題を解決する新規事業開発などを手掛ける。

＜インクルーシブ・キッズデザイン プロジェクトについて＞
世の中には様々な心のバリアがあります。言語や文化、ジェンダーや性的指向・性自認、ジェネレーション、障害の有無など小さなものから大きなものまで様々です。
子どもたちが多様性と出会い、理解し、受け入れることを通じ、少しでも「心のバリア」を生まない、もしくは取り除くためには何が必要かを考え広めていくために、会員企業のメンバー有志が集まりました。
様々なギャップを超えてインクルーシブな環境づくりに取り組む団体の活動にフォーカスして、主宰者の思いや実践の積み重ねの中から、インクルーシブな環境づくりへのヒントを探っています。

＜参加企業・団体＞ 株式会社ADKマーケティング・ソリューションズ、株式会社フレーベル館
株式会社LIXIL住宅研究所、東京大学大学院

（取材日：2024年5月27日）