[[全文検索システム『ひまわり』]]
//&size(20){&color(red){本ページは現在構築中です};};
* 1.概要 [#x0562e5e]
このページでは,[[『CD-毎日新聞データ集』>http://www.nichigai.co.jp/sales/mainichi/mainichi-data.html]](&color(red){本社版,1994年以降};)を『ひまわり』にインポートする方法を示します。ただし,2.1 節のとおり,実行環境に制限があります。&color(red){必ず,事前に実行環境を確認して下さい。};
なお,本ページの内容,および,配布パッケージの動作は,無保証です。自己責任での実行をお願いいたします。
* 2.準備 [#a003392e]
** 2.1 実行環境の確認 [#a49e3d9a]
インポート時は大量のメモリを使用するため, 次の条件を満たす PC が必要です。
+ OSが64ビット版であること
-- (microsoft.com) [[自分のパソコンが 32 ビット版か 64 ビット版かを確認したい>http://support.microsoft.com/kb/958406/ja]]
-- (apple.com) [[Intel ベースの Mac のプロセッサが 32 ビットか 64 ビットかを識別する方法>http://support.apple.com/kb/HT3696?viewlocale=ja_JP&locale=ja_JP]]
+ 『ひまわり』実行時に 3GB 程度のメモリが確保できること
&br;(参考:検証環境)
-- Windows 7 (CPU: Intel Corei5 2.6GHz, Memory: 4GB)
-- Mac OS X 10.9.3 (MacBook Pro Mid 2010, CPU: Intel Corei5 2.53GHz, Memory: 4GB)
-- なお,検証は一部の年のデータしか行なっていません。
+ 64ビット版の JRE (Java の実行環境)がインストールされていること
-- 3.2 節の方法で,『ひまわり』が起動するか確認してください。
-- 実行できないようであれば,64ビット版の JRE を [[Oracle のサイト>https://java.com/ja/download/manual.jsp]]からダウンロードし,インストールしてください。
** 2.2 『ひまわり』ver.1.5のインストール [#y554246f]
- [[ver.1.5>全文検索システム『ひまわり』/ダウンロード/『ひまわり』ver.1.5]] (β03以降)をインストールして下さい。
-- Mac をお使いの方は,ver.1.5 の「MacOS用プログラム同梱版」をインストールして下さい。
-- ver.1.3 はインポートの機能がないため,本ページの対象外ですが,インポートした結果は ver.1.3 でも利用できます。
** 2.3 「毎日新聞データ集用変換パッケージ」のインストール [#i04c1787]
+ 「毎日新聞データ集用変換パッケージ」([[himawari_mainichi.zip>http://csd.ninjal.ac.jp/archives/Himawari/himawari_mainichi_20140624.zip]])をダウンロードしてください。
+ パッケージを解凍し,Himawari_mainich フォルダの中身を確認して下さい。次のファイルが含まれます。
Corpora フォルダ
resources フォルダ
config_mainichi.xml
execute_himawari_win.bat
execute_himawari_mac.command
+『ひまわり』がインストールされているフォルダにコピーして下さい。&color(red){フォルダをコピーする際は};,コピー先のフォルダと統合するようにコピーして下さい。
* 3.変換手順 [#j99c5630]
変換は,&color(red){1年分ずつ};行います。変換結果をまとめて検索する場合は,3.4 節を参照して下さい。
** 3.1 毎日新聞データの配置 [#vc95c8d5]
+ 毎日新聞のテキストデータを格納するために,「mainichi + 年」の形式で,フォルダを新規に作成して下さい(例:mainichi1995)。
-- フォルダ名がコーパス名になります。
-- 1年分が複数のファイルから構成されている場合は mainichi1999A のように区別し,個別にインポートの処理をするようにしてください。
+ 作成したフォルダに,毎日新聞のテキストデータをコピーして下さい。
-- なお,&color(red){ファイル末尾が .TXT のように大文字の場合};は,小文字にして下さい(例:MAI95.TXT → MAI95.txt)
-- 不要なファイルがインポートされるのを防ぐため,1のフォルダには他のファイルを入れないで下さい。
** 3.2 『ひまわり』の起動 [#c6a46152]
- コマンドラインから実行する場合は,次のように『ひまわり』を起動してください。
% java -Xmx3072m -jar himawari.jar
- コマンドラインでの操作が不慣れな方のために,起動用プログラムを用意しています。
-- Windows 用: execute_himawari_win.bat
-- Mac 用: execute_himawari_mac.command
--- 初回実行時に,「開発元が未確認のため開けません」と出た場合は,セキュリティ上の警告がでます。[[右クリック(副ボタンをクリック)>http://support.apple.com/kb/PH4537?viewlocale=ja_JP]]し,ポップアップメニューから「開く」を選択して下さい。
上記の起動例,および,起動用プログラムでは,デフォルトで 3072MB のメモリを確保するようになっています。もし,メモリ不足のエラーが出た場合は,数値を増やして下さい。なお,起動用プログラムはテキストエディタで編集できます。
** 3.3 インポートの実行 [#na449f5c]
+ [新規]→[インポート]を実行して下さい。
+ 「詳細オプション」をクリックすると,次のウィンドウが起動します。
-- 「参照」ボタンを押して,毎日新聞データを格納したフォルダを指定して下さい。この際,コーパス名は自動的にフォルダ名と同一になりますが,変更しないで下さい。
-- 「テキスト変換」オプションのメニューから「mainichi.htd」を選択して下さい。
#br
#ref(./import_mainichi.png,70%)
#br
+ 「インポート」ボタンを押すと,インポートの処理が開始します。「インポートが正常に終了しました」と出れば,成功です。
** 3.4 設定ファイルの修正 [#z962364f]
『ひまわり』は,設定ファイルで検索対象を切り替えます。「毎日新聞データ集用変換パッケージ」には,専用の設定ファイル(config_mainichi.xml)が含まれていますが,使用前にインポートしたデータの情報を書き込む必要があります。
例えば,3.1 でコーパス名を「mainichi1995」とした場合は,config_mainichi.xml を次のように修正して下さい。
- 修正前
<corpora name="毎日新聞データ集">
<li name="コーパス名(日本語もOK)" path="Corpora/インポート時に指定したコーパス名/corpus" />
</corpora>
- 修正後
<corpora name="毎日新聞データ集">
<li name="毎日新聞1995" path="Corpora/mainichi1995/corpus" />
</corpora>
複数の毎日新聞データをインポートし,まとめて検索するには,次のように設定を列挙して下さい。
- 修正後
<corpora name="毎日新聞データ集">
<li name="毎日新聞1995" path="Corpora/mainichi1995/corpus" />
<li name="毎日新聞1996" path="Corpora/mainichi1996/corpus" />
</corpora>
** 3.5 索引付け(インデックス生成) [#y5413342]
+ 3.2 と同様の方法で,『ひまわり』を再度起動し,[ファイル]→[新規]で config_mainichi.xml を読み込んで下さい。
+ [ツール]→[インデックス生成]を実行してください。
* 4.利用方法 [#f41daeb2]
** 4.1 検索方法 [#r46250bd]
+『ひまわり』を起動してください。インポート時とは異なり,[[通常の起動方法>全文検索システム『ひまわり』/利用者マニュアル/1_5/2.インストール#k55bc9ed]]でも大丈夫です。
+[ファイル]→[新規]で,設定ファイル(config_mainichi.xml) を読み込んでください。これで,インポートしたデータを検索できる状態になります。詳しい検索方法については,全文検索システム『ひまわり』の[[利用者マニュアル>全文検索システム『ひまわり』/利用者マニュアル]]を参照してください。
** 4.2 検索結果 [#tdabd611]
|列名|内容|h
|タイトル|記事見出し|
|面種|記事の面種|
|年|記事を含む新聞の発行年|
|月|記事を含む新聞の発行月|
|日|記事を含む新聞の発行日|
|朝/夕刊|朝刊,夕刊の別|
|地域|大阪版の記事の場合,大阪となる。本社版の場合は,空欄|
|文字数|記事に含まれる文字数|
「CD-毎日新聞データ集」の仕様は,[[日外アソシエーツ>http://www.nichigai.co.jp/sales/corpus.html]]の[[納品データ仕様書(本社版)>http://www.nichigai.co.jp/sales/pdf/man_mai.pdf]]を参照して下さい。インポート時は,元データをそのまま利用していますが,次のような個別処理を行なっています。詳しい処理内容は,インポートの変換定義ファイル(resoureces/htd/mainichi.htd)をご覧ください。
- 大阪版の記事の場合,元データでは,記事見出しの末尾に「【大阪】」が付与されていますが,インポート時に削除しています。
- 著作権がフラグが「著作権無」の記事は,記事本文を空欄した状態でインポートしています。
*アンケート [#u7dd9448]
よろしければ,アンケートにもお答えください。なお,このアンケートは,『ひまわり』をどのような方にお使いいただいているかを調べ,今後の研究・開発に活用させていただくためのものです。アンケート結果は,これらの目的以外には利用いたしません。
#qa1(masaya,masaya,[himawari-mainichi_20140624],所属:大学・高専等/小中高・専門学校等/研究機関/企業/個人/その他,身分:教職員/研究員/学生/その他,専門分野:日本語(国語)学/英語学/言語学/言語教育/自然言語処理・人工知能/その他(人文社会系)/その他(理工系),母国語:日本語/日本語以外,年齢:10代未満/10代/20代/30代/40代/50代/60代/70代以上,使用OS:Windows/Mac/Linux/その他,コンピュータ使用歴:1年未満/1年以上3年未満/3年以上,:TEXTAREA:ご意見・ご感想:3:81)