よみがな　あり｜なし

いくつものヤマを越(こ)え、全(ぜん)自動(じどう)よみがな処理(しょり)まであともう少(すこ)し。
いよいよ最後(さいご)のヤマです。


最後(さいご)のヤマ「１日(にち)にして成(な)らず」

「漢字(かんじ)によみがなをうつ【後編(こうへん)】」　でも取(と)りあげましたが、横書(よこが)き特有(とくゆう)の読(よ)み方(かた)をするユニークな文字(もじ)列(れつ)がいくつかあります。「１日(ついたち)」＝「ついたち」「２日(ふつか)」＝「ふつか」・・・といった日付(ひづけ)の読(よ)み方(かた)は、MeCabの形態素(けいたいそ)解析(かいせき)は対応(たいおう)していないのです。

デフォルトの状態(じょうたい)でMeCabの辞書(じしょ)には「１日(ついたち)」の２文字(もじ)で「ついたち」とする読(よ)み方(かた)は登録(とうろく)されていません。「１日(ついたち)」を形態素(けいたいそ)解析(かいせき)すると、「１」と「日(にち)」に分詞(ぶんし)を分(わ)けてしまいます。これはプログラム処理(しょり)において大変(たいへん)具合(ぐあい)が悪(わる)いんです。

したがって、MeCabの辞書(じしょ)に「１日(ついたち)」といった日付(ひづけ)名詞(めいし)を追加(ついか)することにします。

Windows７環境(かんきょう)でMeCabの辞書(じしょ)に単語(たんご)登録(とうろく)をする方法(ほうほう)

Windows７環境(かんきょう)において、MeCabの辞書(じしょ)はデフォルトインストールでは「C:\Program Files (x86)\MeCab\dic\ipadic」以下(いか)にあるcsvファイル群(ぐん)が相当(そうとう)します。

新規(しんき)に単語(たんご)登録(とうろく)する場合(ばあい)は、このディレクトリに適当(てきとう)に名前(なまえ)をつけたcsvファイルをつくって、登録(とうろく)したい単語(たんご)を記述(きじゅつ)したうえで辞書(じしょ)のリコンパイルを通(とお)せば単語(たんご)登録(とうろく)できます。

気(き)をつけておきたいことは、Windows用(よう)のMeCabのcsv辞書(じしょ)の文字(もじ)コードはShift-JISで書(か)かれていることです。
作成(さくせい)したcsvファイルを保存(ほぞん)するときは文字(もじ)コードShift-JISで保存(ほぞん)することをお忘(わす)れなく。

スタジオムーンリーフでは「MeCab_Dictionary.csv」というファイルを作成(さくせい)して、そのファイルに以下(いか)のような内容(ないよう)を記述(きじゅつ)しました。

このファイルを文字(もじ)コードShift-JISで保存(ほぞん)します。

これで終(お)わりかと思(おも)いきや、ひとつの罠(わな)が。
MeCabにおいて単語(たんご)登録(とうろく)しただけでは形態素(けいたいそ)解析(かいせき)の結果(けっか)に反映(はんえい)されるとは限(かぎ)らないのです。

MeCabは単語(たんご)の登場(とうじょう)頻度(ひんど)を数値(すうち)化(か)していて、それを文脈(ぶんみゃく)からスコア化(か)することで分詞(ぶんし)を判定(はんてい)していきます。「１日(ついたち)」といった特殊(とくしゅ)な文字(もじ)列(れつ)の場合(ばあい)、このままでは「１月(がつ)１日(ついたち)」あるいは「１月(がつ)１日(ついたち)になりました」といった、前後(ぜんご)の分詞(ぶんし)のちがいで判定(はんてい)結果(けっか)が変(か)わってしまうんです。

判定(はんてい)結果(けっか)が変(か)わってしまう原因(げんいん)は、デフォルトで辞書(じしょ)登録(とうろく)されている数詞(すうし)「１」～「０」の登場(とうじょう)頻度(ひんど)の数値(すうち)の設定(せってい)に差(さ)があり、それが解析(かいせき)結果(けっか)に影響(えいきょう)しているためです。

数詞(すうし)については、「C:\Program Files (x86)\MeCab\dic\ipadic\Noun.number.csv」に記述(きじゅつ)されています。登場(とうじょう)頻度(ひんど)の数値(すうち)設定(せってい)は４カラム目(め)。数値(すうち)が低(ひく)いほど登場(とうじょう)頻度(ひんど)が高(たか)く、数値(すうち)が高(たか)いほど登場(とうじょう)頻度(ひんど)が低(ひく)いことになります。

数詞(すうし)「１」～「０」の登場(とうじょう)頻度(ひんど)は3000台(だい)～4000台(だい)と千(せん)近(ちか)くの差(さ)があり、これがちょうど「１日(ついたち)」とのボーダー上(じょう)にあるようで、解析(かいせき)結果(けっか)にバラつきがでてしまうようです。スタジオムーンリーフでは、手作業(てさぎょう)で数詞(すうし)「１」～「０」の登場(とうじょう)頻度(ひんど)を5000台(だい)にまであげました。千(せん)の位(くらい)を５にしただけです。

Noun.number.csvの中身(なかみ)。数詞(すうし)「１」～「０」の登場(とうじょう)頻度(ひんど)を微(び)調整(ちょうせい)しました

Noun.number.csvも文字(もじ)コードShift-JISで保存(ほぞん)することをお忘(わす)れなく。

さて。
最後(さいご)に辞書(じしょ)のリコンパイルをしてバイナリ辞書(じしょ)にまとめあげれば終了(しゅうりょう)となります。

配布(はいふ)サイトによるとコマンドによるリコンパイルを通(とお)す方法(ほうほう)もあるようですが、「よみがな自動(じどう)処理(しょり)への道(みち)【３】Shift-JIS→UTF8へ」で書(か)いたように、好(す)きな文字(もじ)コードへ辞書(じしょ)のリコンパイルを通(とお)したほうが楽(らく)でした。

好(す)きな文字(もじ)コードへ辞書(じしょ)をリコンパイル

コマンドプロンプトで解析(かいせき)結果(けっか)を確認(かくにん)したいときはShift-JIS。
Perlプログラムで確認(かくにん)したいときはUTF8で辞書(じしょ)をリコンパイルします。

以上(いじょう)で最後(さいご)のヤマをのぼりきりました。
これでプログラム処理(しょり)を考(かんが)えるのが格段(かくだん)にラクになります。

≫ NEXT_LOG よみがな自動(じどう)処理(しょり)への道(みち)【最終(さいしゅう)回(かい)】まとめ

≪ PREV_LOG よみがな自動(じどう)処理(しょり)への道(みち)【７】ヤマにも負(ま)ケズ