よみがな　あり｜なし

PerlからMeCabにコマンドを送信(そうしん)して、「読(よ)み」の解析(かいせき)結果(けっか)である全角(ぜんかく)カタカナを全角(ぜんかく)ひらがなに変換(へんかん)できるようになりました。

全(ぜん)自動(じどう)よみがな処理(しょり)の実現(じつげん)までもう少(すこ)しと思(おも)いきや、乗(の)りこえなくてはいけないヤマがいくつかあります。今回(こんかい)のログは、それらのヤマとその解決(かいけつ)方法(ほうほう)をご紹介(しょうかい)します。


ヤマ１「改行(かいぎょう)文字(もじ)の取(と)り扱(あつか)い」

よみがな自動(じどう)処理(しょり)への道(みち)【５】PerlとMeCabはパイプでつながる　に書(か)きましたが、PerlからMeCabにコマンドを送信(そうしん)するために形態素(けいたいそ)解析(かいせき)をさせたい文字(もじ)列(れつ)を前(まえ)もってファイルに保存(ほぞん)する仕組(しく)みを採用(さいよう)しました。このとき、複数(ふくすう)行(ぎょう)によって書(か)かれたファイルをMeCabの形態素(けいたいそ)解析(かいせき)に通(とお)すと、改行(かいぎょう)文字(もじ)が空白(くうはく)文字(もじ)（ヌル文字(もじ)）になります。

解析(かいせき)結果(けっか)から改行(かいぎょう)文字(もじ)を復帰(ふっき)させようとしても、文章(ぶんしょう)末尾(まつび)の改行(かいぎょう)と改行(かいぎょう)だけの行(ぎょう)との見(み)わけがつきません。

スタジオムーンリーフでは、MeCabを通(とお)す前(まえ)に改行(かいぎょう)文字(もじ)の前(まえ)に「<br />」を挿入(そうにゅう)しておき、MeCabを通(とお)したあとに「<br />」を目印(めじるし)にして改行(かいぎょう)文字(もじ)を付与(ふよ)する処理(しょり)を追加(ついか)しました。


Mecabを通(とお)す前(まえ)に

\n　→　<br /> + \n

に変換(へんかん)。
Mecabの形態素(けいたいそ)解析(かいせき)を通(とお)すと\n（改行(かいぎょう)文字(もじ)）は消滅(しょうめつ)する（ヌル文字(もじ)になる）

Mecabを通(とお)したあとに

<br />　→　<br /> + \n

に変換(へんかん)すると、改行(かいぎょう)文字(もじ)を正確(せいかく)な位置(いち)に復帰(ふっき)できる。


ヤマ２「よみがなに絞(しぼ)りこむ」

MeCabの形態素(けいたいそ)解析(かいせき)は、文章(ぶんしょう)を分詞(ぶんし)に分解(ぶんかい)します。
漢字(かんじ)によみがなをうつためには、ここからさらにひと工夫(くふう)せねばなりません。

たとえば、「保存(ほぞん)」を形態素(けいたいそ)解析(かいせき)すると、解析(かいせき)「保存(ほぞん)」読(よ)み「ほぞん」となり、この場合(ばあい)はそのままよみがなにできます。

でも、「お願(ねが)い」を形態素(けいたいそ)解析(かいせき)すると、解析(かいせき)「お願(ねが)い」読(よ)み「おねがい」となるため、ここからさらに「願(ねが)」＋「ねが」に絞(しぼ)りこむ必要(ひつよう)があります。

さらに、「持(も)ち帰(かえ)る」を形態素(けいたいそ)解析(かいせき)すると、解析(かいせき)「持(も)ち帰(かえ)る」読(よ)み「もちかえる」となります。ひとつの分詞(ぶんし)で「持(も)」＋「も」、「帰(かえ)」＋「かえ」と絞(しぼ)りこみが２か所(しょ)になるケースもあります。

ヤマのなかでは、この処理(しょり)が最(もっと)も険(けわ)しいヤマです。
方法(ほうほう)はいくつもあると思(おも)いますが、サブルーチンを駆使(くし)しても複雑(ふくざつ)で長(なが)い処理(しょり)になると思(おも)います。ここは粘(ねば)り強(づよ)く取(と)り組(く)むしかありません。


保存(ほぞん)→形態素(けいたいそ)解析(かいせき)→解析(かいせき)「保存(ほぞん)」読(よ)み「ほぞん」

お願(ねが)い→形態素(けいたいそ)解析(かいせき)→解析(かいせき)「お願(ねが)い」読(よ)み「おねがい」

　　絞(しぼ)りこみ「願(ねが)」＋「ねが」

持(も)ち帰(かえ)る→形態素(けいたいそ)解析(かいせき)→解析(かいせき)「持(も)ち帰(かえ)る」読(よ)み「もちかえる」

　　絞(しぼ)りこみ「持(も)」＋「も」＆「帰(かえ)」＋「かえ」


ヤマ３「MeCabも万能(ばんのう)ではない」

MeCabの形態素(けいたいそ)解析(かいせき)はたいへん優秀(ゆうしゅう)ですが、デフォルトの辞書(じしょ)は万能(ばんのう)じゃありません。
自動(じどう)処理(しょり)としては妥協(だきょう)できる範囲(はんい)ではありますが、ときどき読(よ)み間違(まちが)いが生(しょう)じます。

その都度(つど)MeCabの辞書(じしょ)をカスタマイズすればいいのかもしれませんが、辞書(じしょ)登録(とうろく)のない漢字(かんじ)や、独特(どくとく)の読(よ)み方(かた)をする人名(じんめい)や地名(ちめい)など、すべての日本語(にほんご)に完全(かんぜん)に対応(たいおう)するのは困難(こんなん)です。

ここでスタジオムーンリーフの過去(かこ)の財産(ざいさん)が輝(かがや)きます。

漢字(かんじ)によみがなをうつ【前編(ぜんぺん)】　に書(か)いてありますが、漢字(かんじ)の後(うし)ろに半角(はんかく)括弧(かっこ)で囲(かこ)まれたよみがなをあつかう文字(もじ)列(れつ)処理(しょり)は、すでに開発(かいはつ)済(ず)みです。

これを活(い)かし、漢字(かんじ)のあとに半角(はんかく)括弧(かっこ)で囲(かこ)まれたよみがながある場合(ばあい)は、MeCabの形態素(けいたいそ)解析(かいせき)よりもそちらを優先(ゆうせん)する処理(しょり)としました。

これにより、MeCabの辞書(じしょ)をカスタマイズせずとも読(よ)み間違(まちが)いを修正(しゅうせい)したり、地名(ちめい)や人名(じんめい)だけに半角(はんかく)括弧(かっこ)をつけてよみがなを指定(してい)することができるようになりました。

よみがなを簡単(かんたん)に微(び)調整(ちょうせい)できるこの機能(きのう)は、ブログはともかく読(よ)みの正確(せいかく)性(せい)が問(と)われるようなニュース記事(きじ)を書(か)くときにとても使(つか)い勝手(がって)がよいです。

サンプルコードを書(か)くと、解説(かいせつ)が長編(ちょうへん)小説(しょうせつ)のようになるので割愛(かつあい)しました。
でも、コードを書(か)くうえでの基本(きほん)的(てき)な考(かんが)えは記(しる)したつもりです。

≫ NEXT_LOG よみがな自動(じどう)処理(しょり)への道(みち)【８】１日(にち)にして成(な)らず(3 photos)

≪ PREV_LOG よみがな自動(じどう)処理(しょり)への道(みち)【６】全角(ぜんかく)カタカナ→全角(ぜんかく)ひらがな