茶漉 Ver.0.20

Copyright(c) 2024 SATOS601

🌕はじめに

特徴

• mecabを利用した形態素解析によりWordやPDFフォーマットの日本語文書から用語を抽出するツールです
• 高度な言語処理はしていませんが、文書内に含まれる名詞句をベースとした「用語集」をお手軽に作成できます
• 例えば、内閣府の年次経済財政報告から抽出した用語は下記です。

  頻度, 形態素数, 用語
  3,6,対コア前年比寄与度
  3,5,価格激変緩和対策事業
  4,5,企業向けサービス価格指数
  4,5,在庫前年同期末比
  3,5,前年同期比寄与度
  5,5,売上高経常利益率
  4,5,法人企業統計季報  
  ･･･
  

🌕インストール

動作確認環境

• Microsoft Windows 11

インストール

1. chakoshi.zipをダウンロードする
2. chakoshi.zipを適当なフォルダー（例：C:\Program Files (x86)\chakoshi）に解凍する。

辞書ファイルの入手および設定

1. 以下のいれずかの基本辞書ファイルを入手する
   • MeCab.DotNetから
     • char.bin, matrix.bin, dirc, sys.dic, unk.dicの５ファイル
   • UniDic
     • ライセンスに同意して最新版をDLを押す
     • DLしたunidic-cwj-XXXXXX.zipを解凍
2. １で入手したファイルをchakoshiのフォルダの直下のdicフォルダに保存する（例：C:\Program Files (x86)\chakoshi\dic）
3. 科学分野の文書から用語を抽出する場合、適宜以下のmecab用辞書ファイルをダウンロードし、解凍したファイルを2と同じフォルダーに保存する

   • 科学技術用語形態素解析辞書 (利用許諾)

     辞書名	ファイル名	サイズ
     JSTシソーラス見出し語	Thesaurus2015.dic.zip	7.4 MB
     J-GLOBAL MeSH	JSTMeSH.dic.zip	1.2 MB
     日化辞	Nikkaji.dic.zip	6.6 MB

   • Mecab用辞書データ J-MedDic for MeCab

     辞書名	ファイル名	サイズ
     万病辞書	MANBYO_202106_MecabDic [UTF-8]	17.2 MB
     百薬辞書	HYAKUYAKU_202107_MecabDic [UTF-8 & SHIFT-JIS]	5.7 MB

XPDFの設定

1. XpdfReaderのサイトからXpdf command line toolsをダウンロード
2. xpdf-tools-win-4.01.01.zipを解凍する
3. pdftotext.exeだけをchakoshi.exeと同じフォルダに置く

アンインストール

• chakoshiを解凍先のフォルダごと削除する

🌕使用方法

起動

• chakoshi.exeをダブルクリックする

用語抽出から結果保存

1. [ソースファイルを開く]を押す
   • テキスト、Word, PDF形式に対応
   • 複数ファイルの入力も可能
2. 抽出オプションを指定する
   • 通常の用語を抽出する場合は、対象品詞で、その他、形容詞、名詞の指定を推奨
   • それ以外の品詞は抽出したい用語の種類にあわせて適宜選択
3. [用語抽出]を押す
4. 抽出が終了したら[用語を保存]を押す
   • タブ区切り、CSV, EXCEL形式で出力が可能

抽出オプション

• 出現頻度
  • 文書中の用語の出現頻度の下限を指定
• 形態素数
  • 用語を構成する要素数の下限と上限を指定
• 英数字のみは削除
  • 英数字のみから構成される用語は除外する
• ひらがなのみは削除
  • ひらがなのみから構成される用語は除外する
• カタカナを含まない
  • カタカナを含む用語は除外する
• 対象品詞
  • 用語を構成する品詞（その他 フィラー記号,形容詞,助詞,助動詞,接続詞,動詞,副詞,名詞）を指定する
• 前後の品詞も限定
  • 用語の前または後の品詞を限定する
• 部分一致用語の削除
  • 語頭または語尾が一致する短い用語が見つかった場合に除外（例：「東京都病院」という用語がある場合、[語頭]では「東京都」は除外、[語尾]では「京都病院」は除外
• 出力にヘッダを追加
  • CSVとタブ区切りファイルにヘッダを追加する

🌕ライセンス

以下の条件（MITライセンス 相当）で公開しています。

• ソースコードを再頒布する場合、上記の著作権表示、本条件一覧、および下記免責条項を含めること。
• バイナリ形式で再頒布する場合、頒布物に付属のドキュメント等の資料に、上記の著作権表示、本条件一覧、および下記免責条項を含めること。
• 書面による特別の許可なしに、本ソフトウェアから派生した製品の宣伝または販売促進に、SATOS601の名前またはコントリビューターの名前を使用してはならない。 本ソフトウェアは、著作権者およびコントリビューターによって「現状のまま」提供されており、明示黙示を問わず、商業的な使用可能性、および特定の目的に対する適合性に関する暗黙の保証も含め、またそれに限定されない、いかなる保証もありません。著作権者もコントリビューターも、事由のいかんを問わず、損害発生の原因いかんを問わず、かつ責任の根拠が契約であるか厳格責任であるか（過失その他の）不法行為であるかを問わず、仮にそのような損害が発生する可能性を知らされていたとしても、本ソフトウェアの使用によって発生した（代替品または代用サービスの調達、使用の喪失、データの喪失、利益の喪失、業務の中断も含め、またそれに限定されない）直接損害、間接損害、偶発的な損害、特別損害、懲罰的損害、または結果損害について、一切責任を負わないものとし ます。

🌕謝辞

本ソフトは以下のライブラリを使用しています。個々のライブラリのライセンスは、各々の規定に従ってください。

🌕連絡先等

• メール： mz250021＠gmail.com
• ホームページ：SATOS601

🌕変更履歴

• Ver.0.10 初版完成
• Ver.0.20 EXCEL出力のエラーを修正