全文検索システム『ひまわり』/TED字幕テキストの利用 の履歴(No.41)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 全文検索システム『ひまわり』/TED字幕テキストの利用 へ行く。
  • 1 (2020-08-04 (火) 00:54:02)
  • 2 (2020-08-04 (火) 06:06:49)
  • 3 (2020-08-04 (火) 06:20:57)
  • 4 (2020-08-04 (火) 06:35:26)
  • 5 (2020-08-04 (火) 06:39:15)
  • 6 (2020-08-04 (火) 06:39:32)
  • 7 (2020-08-04 (火) 06:43:41)
  • 8 (2020-08-04 (火) 06:44:04)
  • 9 (2020-08-04 (火) 06:53:26)
  • 10 (2020-08-04 (火) 06:56:47)
  • 11 (2020-08-04 (火) 06:57:29)
  • 12 (2020-08-04 (火) 07:37:51)
  • 13 (2020-08-04 (火) 07:37:51)
  • 14 (2020-08-04 (火) 08:34:55)
  • 15 (2020-08-04 (火) 08:35:32)
  • 16 (2020-08-04 (火) 08:44:40)
  • 17 (2020-08-04 (火) 09:54:23)
  • 18 (2020-08-04 (火) 09:54:23)
  • 19 (2020-08-04 (火) 09:54:23)
  • 20 (2020-08-04 (火) 20:39:25)
  • 21 (2020-08-04 (火) 20:40:08)
  • 22 (2020-08-04 (火) 20:41:55)
  • 23 (2020-08-04 (火) 20:43:57)
  • 24 (2020-08-04 (火) 20:59:07)
  • 25 (2020-08-04 (火) 20:59:32)
  • 26 (2020-08-04 (火) 22:14:54)
  • 27 (2020-08-04 (火) 22:16:12)
  • 28 (2020-08-04 (火) 22:27:39)
  • 29 (2020-08-04 (火) 22:32:52)
  • 30 (2020-08-04 (火) 22:46:47)
  • 31 (2020-08-04 (火) 22:49:56)
  • 32 (2020-08-04 (火) 22:50:50)
  • 33 (2020-08-04 (火) 22:53:30)
  • 34 (2020-08-04 (火) 22:53:56)
  • 35 (2020-08-04 (火) 22:54:18)
  • 36 (2020-08-04 (火) 23:44:06)
  • 37 (2020-08-04 (火) 23:46:15)
  • 38 (2020-08-04 (火) 23:53:54)
  • 39 (2020-08-05 (水) 00:12:56)
  • 40 (2020-08-05 (水) 00:15:47)
  • 41 (2020-08-05 (水) 00:18:08)
  • 42 (2020-08-05 (水) 00:24:29)
  • 43 (2020-08-05 (水) 00:24:41)
  • 44 (2020-08-05 (水) 00:24:41)
  • 45 (2020-08-21 (金) 01:44:05)
  • 46 (2020-08-24 (月) 02:26:21)
  • 47 (2020-08-24 (月) 02:29:40)
  • 48 (2020-08-24 (月) 02:32:51)
  • 49 (2020-08-24 (月) 23:42:05)
  • 50 (2020-12-24 (木) 07:01:27)
  • 51 (2021-04-23 (金) 05:09:56)
  • 52 (2021-04-23 (金) 05:12:26)
  • 53 (2021-04-22 (木) 20:13:09)

全文検索システム『ひまわり』

１．概要†

　このページでは，TEDの字幕データを『ひまわり』で利用する方法について説明します。ここで紹介する方法を用いれば，日本語で検索し，対応する英語字幕と併記して結果を表示する，といったようなことを実現できます。

　なお，TEDの字幕テキストは，Creative Commons BY-NC-ND で公開されており，『ひまわり』用に変換したデータを配布できないため，字幕データから『ひまわり』形式データへの変換パッケージとして公開します。また，変換するための環境として，Windows (64ビット版)を前提とします。

２．準備†

1. WIT3で公開されているLatest version of XML files of the TED Talks (April 2016)から２言語分の字幕のXMLデータをダウンロードし，展開（解凍）してください。
   • 例：日本語(ted_ja-20160408.xml)，英語(ted_en-20160408.xml)
     （この場合，2001講演になります）
2. 変換パッケージをダウンロードして，展開（解凍）してください。
   • 変換パッケージ (ver.20200804, 151MB)
     • Windows環境(64ビット版)用です。
     • 本パッケージには，Strawberry Perl が同梱されています。

３．変換†

1. 展開した変換パッケージのフォルダ構成を確認してください。
   • Package フォルダ
   • perl フォルダ
   • TED フォルダ
   • henkan.bat
   • ted2himawari.pl
2. TEDフォルダに，「2.準備」でダウンロードした二つのXMLデータをコピーしてください。
3. コピーしたXMLファイルをlang1.xml, lang2.xmlとリネームしてください。
   • lang1.xmlのほうが全文検索の対象となる「第１言語」とします。
   • lang2.xmlのほうは，lang1.xmlの検索結果と対応付けて検索される「第２言語」です。後述のとおり，第２言語も検索できますが，あくまで補助的な位置づけだと考えてください。
4. henkan.bat をダブルクリックしてください。DOS窓（黒いウィンドウ）が立ち上がり，変換が始まります。DOS窓が閉じたら，変換は完了です。数分かかります。
5. 変換パッケージのPackageフォルダの中にあるTEDフォルダ(Package → Corpora → TED)に corpus.xml が生成されていることを確認してください。ファイルサイズは，236935KBとなるはずです。
6. 『ひまわり』を起動してください。
7. Package フォルダを『ひまわり』にドラッグ＆ドロップし，作成したTEDパッケージをインポートします。成功すれば，『ひまわり』へのインポートは完了です。
   • インポート中に，次のエラーが出た場合，[ファイル]→[コーパス選択]でTED以外のコーパスを選択し，『ひまわり』を再起動後に，再度インポートを実行してください。

     インストール中に問題外が発生しました。インポートを中止します。〜（中略）〜別のプロセスが使用中です。

8. 最後に，検索を高速に行うために，[ツール]→[構築]→[インデックス生成]を実行してください。処理には，数分〜十数分かかります。この処理を行わないと，全文検索できません。
9. インデックス生成が終了すると，TEDパッケージが検索できる状態になっています。なお，別のコーパスを使用した後，再びTEDパッケージを検索する場合，[ファイル]→[コーパス選択]でTEDを選んでください。

４．利用方法†

検索対象†

• 本文：　第１言語を全文検索します。
• 本文（正規表現）：　第１言語を正規表現で全文検索します。
• 第２言語： 第２言語を検索します。キー欄(4.2節参照)には，対応する第１言語の発話が表示されます。

4.2検索結果†

• 検索結果をダブルクリックすると，講演全体の発話がWebブラウザに表示されます。

注意：

• ここでいう一つの「発話」とは，１字幕を表します。
• Language2欄の値は，次のルールで作成しています。したがって，第２言語で検索したとき，第２言語の同じ発話に複数マッチします。
  1. キーの発話の時間情報と一致する第２言語の発話を探す。
  2. キーの発話の時間情報を基準として，第２言語の前後の１発話を1の発話の前後に連結する。区切り記号は，" /// "です。