全文検索システム『ひまわり』/TED字幕テキストの利用

全文検索システム『ひまわり』

作成者：山口昌也 (国立国語研究所)

2020-08-04

１．概要†

　このページでは，TEDの字幕データを『ひまわり』で利用する方法について説明します。ここで紹介する方法を用いれば，日本語で検索し，対応する英語字幕と併記して結果を表示する，といったようなことを実現できます。

　なお，TEDの字幕テキストは，Creative Commons BY-NC-ND で公開されており，『ひまわり』用に変換したデータを配布できないため，字幕データから『ひまわり』形式データへの変換パッケージとして公開します。

　また，ここで説明する変換方法は，Windows (64ビット版)を前提とします。それ以外の環境を使用している場合は，Perlの変換スクリプトをGitHubで公開していますので，直接実行してください。

↑

２．準備†

WIT3で公開されているLatest version of XML files of the TED Talks (April 2016)から２言語分の字幕のXMLデータをダウンロードし，展開（解凍）してください(本ページ作成時と異なり，2021-04-22の時点では，全言語が１ファイルにアーカイブされていました。解凍後に当該ファイルを探してください)。
- 例：日本語(ted_ja-20160408.xml)，英語(ted_en-20160408.xml)
  （この場合，2001講演になります）
変換パッケージをダウンロードして，展開（解凍）してください。
- 変換パッケージ (ver.20200804, 151MB)
  - Windows環境(64ビット版)用です。
  - 本パッケージには，Strawberry Perl が同梱されています。
  - 本パッケージ利用することにより直接的，間接的に生じたいかなる損害についても，保証しません。

↑

３．変換†

(ビデオチュートリアル)

展開した変換パッケージのフォルダ構成を確認してください。
- Package フォルダ
- perl フォルダ
- TED フォルダ
- henkan.bat
- ted2himawari.pl
TEDフォルダに，「2.準備」でダウンロードした二つのXMLデータをコピーしてください。
コピーしたXMLファイルをlang1.xml, lang2.xmlとリネームしてください。
- lang1.xmlのほうが全文検索の対象となる「第１言語」とします。
- lang2.xmlのほうは，lang1.xmlの検索結果と対応付けて検索される「第２言語」です。後述のとおり，第２言語も検索できますが，あくまで補助的な位置づけだと考えてください。
henkan.bat をダブルクリックしてください。DOS窓（黒いウィンドウ）が立ち上がり，変換が始まります。DOS窓が閉じたら，変換は完了です。数分かかります。
変換パッケージのPackageフォルダの中にあるTEDフォルダ(Package → Corpora → TED)に corpus.xml が生成されていることを確認してください。ファイルサイズは，236935KBとなるはずです。
『ひまわり』を起動してください。
Package フォルダを『ひまわり』にドラッグ＆ドロップし，作成したTEDパッケージをインポートします。成功すれば，『ひまわり』へのインポートは完了です。
- インポート中に，次のエラーが出た場合，[ファイル]→[コーパス選択]でTED以外のコーパスを選択し，『ひまわり』を再起動後に，再度インポートを実行してください。
```
インストール中に問題外が発生しました。インポートを中止します。…（中略）… 別のプロセスが使用中です。
```
最後に，検索を高速に行うために，[ツール]→[構築]→[インデックス生成]を実行してください。処理には，数分〜十数分かかります。この処理を行わないと，全文検索できません。
インデックス生成が終了すると，TEDパッケージが検索できる状態になっています。なお，別のコーパスを使用した後，再びTEDパッケージを検索する場合，[ファイル]→[コーパス選択]でTEDを選んでください。

↑

４．利用方法†

↑

検索対象†

本文：　第１言語を全文検索します。
本文（正規表現）：　第１言語を正規表現で全文検索します。
第２言語：第２言語を検索します。キー欄(4.2節参照)には，対応する第１言語の発話が表示されます。

↑

4.2検索結果†

検索結果をダブルクリックすると，講演全体の発話がWebブラウザに表示されます。

列名	内容
前文脈	キーの文字列の前文脈
キー	検索キーと一致した文字列
後文脈	キーの文字列の後文脈
Title	TEDの講演タイトル
Speaker	TEDの講演者
Language2	キーと対応する第２言語の発話（前後１発話を含む）

注意：

ここでいう一つの「発話」とは，１字幕を表します。
Language2欄の値は，次のルールで作成しています。したがって，第２言語で検索したとき，第２言語の同じ発話に複数マッチします。
1. キーの発話の時間情報と一致する第２言語の発話を探す。
2. キーの発話の時間情報を基準として，第２言語の前後の１発話を1の発話の前後に連結する。区切り記号は，" /// "です。
字幕テキストのためか，第１言語側も同じ発話が連続して記述されている場合があります。

↑