leo.s blog

また逢う日まで・・・

2010-05-08T21:44:00.004+09:00

ブログ放置しっぱなしでスミマセン。
生活環境の変化でパソコンに触れる時間がかなり少なくなってしまいました。
さらにiPhoneを手放してしまった為これ以上sys.dicを弄る事が出来ません。

sysdic2csvは今後のアップデート予定は無いですが、最後にiPhone実機での動作を目指してsysdictoolを作りました。
こちらは機能は変換のみですがメモリ使用量をかなり削ってます。（通常の辞書ファイル変換で20MB程度です。)
ダウンロードはいつものこちらから
だれかiPhoneやMacに移植してくれないかなぁ･･･ｺｯｿﾘ

最後に・・
コメントつけてくれた方々へ、
お返事できなくてすみませんでした。
また機会が有りましたらよろしくお願い致します。

P.S. iPhone4Gが発売されたら戻ってくるかもしれませんw

OS3.0用sysdic2csv

2009-06-21T03:56:00.002+09:00

3.0JB(redsn0w)が来たので早速sys.dicをのぞいてみました。

・・・ちょっと構造変わってる？

というわけで若干修正(v0.15beta)
ダウンロードはこちらから

sys.dicの場所は
/usr/lib/dic/ja/im
に変更になってます。
wordpool.dicもありますが、こっちはマイナーな単語用？

/usr/lib/dic/ja/tok
こっちのsys.dicはまだ未対応です。

ngram2csv[表示のみ]

2008-11-26T22:36:00.003+09:00

某JBスレで要望があったので適当に作ってみました。逆変換は実装してません。
出力csvの項目で重複している部分があるのはngram.datのファイル構造に起因します。
（sys.dicとngram.datの単語検索部分の共通化の為と思われます。）

使い方はsysdic2csvと一緒です。
ダウンロード

UniDic辞書を学習させる[予定]

2008-11-17T21:28:00.004+09:00

前回のじゃあんまりなので学習させることを考えます。
まだ実際に学習させたわけではなく構想段階です。

MeCab辞書の学習のさせ方はこちら。
必要なのは設定ファイル類の他に、
１.Seed辞書
２.学習用コーパス
です。

１は前回作った物を使います。
２は…すぐに使えるデータが見つからなかったのでWikipedia等のHP上の文書から採取することを考えます。幸いUniDic辞書という学習済みの辞書がありますのでこれを変換に使います。

○学習コーパスの作り方を考えます。
１.とりあえず１文１行になっている大量の日本語テキストを用意する。
　　これはWikipediaのアーカイブから変換することで出来そうです。
２.学習コーパスに変換するためにUniDic辞書を"単語","LID","RID","COST","よみ"形式に書き換える。
　　（前回の辞書の"読み"と"単語"を入れ替えた物）
３.２の辞書をMeCabにセットし１のテキストを流し込む。
４.出来上がった学習コーパスの表層文字と素性を入れ替える。
…これでいけるかな？

○最終的にこんな感じのが出来ればOKだと思います。
たろう太郎
はは
はなこ花子
がが
すき好き
だだ
. .
EOS
しょうちゅう焼酎
すき好き
のの
おやじ親父
. .
EOS

とここまで考えて「好き」の読みが「ずき」にならない（可能性がある）ことに気がつきました。
やってみるしかないか…

mecab-skkservを使ってみる

2008-11-17T02:56:00.005+09:00

MeCab辞書関係を色々探してたら・・・なんだ、かな漢字変換用MeCab辞書あるじゃん！

というわけでmecab-skkservから辞書をダウンロードして、
適当に変換後iPhoneに突っ込んでみました。

なんか変だけど一応使えてます。

候補が変なのはiPhoneのTextInput_jaがMeCab辞書だけじゃなくngramとかも参照してるから？
dicrcのcost-factorも関係してそうな気がするけど・・（mecab-skkservのdicrcにはcost-factorが載ってないです）

変換の仕方は省略

UniDicをiPhoneで使う

2008-11-16T21:11:00.007+09:00

最初に書いておきますが学習してないと実用に耐えません。

形態素解析辞書UniDicが無料でダウンロードできるようだったので、iPhone用の漢字変換辞書を作ってみました。

もともとUniDic辞書は「かな漢字まじり文」（日本語テキスト）を「分かち書き」（形態素解析）する為の辞書ですので、これを適当に書き換えて「よみ」を「漢字」に変換する辞書にします。
今回は文脈IDとコスト値は再学習させずそのまま使ってみました。（→結果大失敗）
まあ、予想はしてましたがかなり酷い変換具合です。

ちゃんと学習させれば賢くなりそうですが、学習用テキストを用意して・・・やるのは大変；；

＊＊UniDicやMeCabの問題ではなく、単に学習させる工程を省いていることに因ります。＊＊

自分で辞書を作ってみたい方は
１.UniDicのMeCab版ソース辞書をダウンロード
２.中に入っているMeCab用のCSVをsysdic2csvで使える形式に変換
３.sysdic2csv v0.14でsys.dicに変換
４.作成したsys.dicとmatrix.binをiPhoneへ転送

１はこちらから。（ダウンロードには登録が必要です：無料）
２と３はこちらのツールで。
４のmatrix.binはパッケージ版に入っている物かソース版からMeCabで作成してください。

＊注意点

・iPhone3G v2.1 のsys.dicは左文脈IDと右文脈IDが同じだった為、sysdic2csv v0.13までは一つのIDとしてまとめていましたが、本来MeCabの辞書では区別があります。
今までのバージョンでは変換できない為少し変更(v0.14)してあります。
(例:"かな","左文脈ID","右文脈ID","コスト","漢字")

・unidic_csv変換は１つずつD&Dして下さい。Others.csvはエラーが出るので使いません。

・普通に変換するとmatrix.binが28MB、sys.dicが14MBになります。もともとが5.6MB/9.8MBですので、メモリ圧迫によりiPhone側のアプリが落ちやすくなると思われます。
（でも思ったほどもっさりはしない。変換時辞書ファイル内の参照領域が局所的だから？）

＊最後に
今までiPhone2.1の変換に不満を抱いたことは無かったんですが、このページを見て不満がある人もいるんだなぁと・・・少しでも正確な変換が出来るかと期待したけどお手軽にやるのは無理でした；；

変換確定後の予測を切る？

2008-10-15T19:33:00.004+09:00

昔(2.0の頃？)は切れたような気がしてたんですが
いつの間にか設定から変更できなくなってるようなので、
ちょっと思い立ってngram.datの中身を削ってみました。

自分が使っている限り確定後の予測単語が、
・あんまり当たらない
・学習しない
ので切っちゃっても良いかな。

少しは早くなったか・・・誤差程度？

使い方は/System/Library/TextInput/TextInput_ja.bundle/ngram.datを上書きするだけ。
くれぐれも元のngram.datのバックアップは取った上で。

ダウンロード

csvconverter 複数行AA対応

2008-10-15T10:07:00.006+09:00

csvconverterだけだと複数行AAが対応できないので、
aaconverterも作ってみました。
csvconverterに同梱してあります。

AAを

*よみ
AA1行目
AA2行目
*わろす
〃∩ ∧＿∧
⊂⌒（　・ω・）
　｀ヽ_っ⌒/⌒ｃ

のようにテキストファイルに書いてbatに放り込むと、
sysdic2csvで扱えるcsv形式に変換します。

使ってみたところ
やっぱりずれる・・

csvconverter

2008-10-14T05:40:00.003+09:00

IME辞書ファイルを変換するのに痒いところに手が届くソフトが見つからなかったので作ってみました。

ためしにemojioをiPhoneに入れて見たらカオスな変換具合に・・・

ダウンロードはこちらから

kigoucsv 01-10

2008-10-11T23:32:00.004+09:00

[記号]登録用csv part.01～part.10
・・・いろいろ同じ記号が混ざってるような気がしないでも無い。

[よみ] はテンキーパッドのフリック入力で効率良くなるように、
[！さ] ～ [！と] に割り当ててます。

自分の環境に合わせてメモ帳などで置換してください。
（自分は[！あ]～[！こ]まではdocomo,SBの絵文字を割り当ててます。）

ダウンロードはこちらから

久々更新

2008-10-10T23:36:00.003+09:00

むぅ・・投稿出来るようになってる！
というわけで少し更新。

iPhoneのフォントファイルをのぞいてたら結構記号が入ってたので、
簡単に出せるようにcsv作ってみました。
・・たぶんMakeItMineとかiPhone同士のSMSぐらいしか使い道無いと思うけど・・

ついでにアップルマーク用csvも同梱シマシタ。

ダウンロードはこちらから

sysdic2csv 関連リンク

2008-10-05T23:59:00.004+09:00

・iPhoneにも絵文字を！
http://cova.sakura.ne.jp/sb/
satoruさんのHP
docomo+sb対応絵文字フォントと絵文字変換辞書のcsvが置いてあります。
また導入方法についてかなり詳しく解説してあります。
sysdic2csv使って頂いて感謝！

sysdic2csv v0.13

2008-10-04T20:02:00.003+09:00

取りあえずということで
・バッファ確保周りの修正と
・文字数制限（99文字まで->499文字まで)修正

変換時のメモリ使用量が減りました

ダウンロードはこちら

sysdic2csv v0.12の問題点

2008-10-03T22:23:00.003+09:00

やっぱりうｐロダにうｐするだけじゃサポートできないことが多いので、
専用にブログはじめます。

とりあえず現時点v0.12での問題点。

１．エラー処理が出来ていない
２．よみ・漢字とも９９文字まで
３．１００万単語まで
４．同じ読みの単語は２５５単語まで

１については何とかします。
２・３はバッファを固定長で確保している為です。これも次回バージョンで改善予定。
４はsys.dicの構造上の問題です。解決は難しそう？

sysdic2csvのダウンロードはこちらへ