全文検索システム『ひまわり』/ダウンロード/『名大会話コーパス』パッケージ/テキスト整形と形態素解析

全文検索システム『ひまわり』/ダウンロード/『名大会話コーパス』パッケージ

テキスト整形†

• 記号「＊」のうち，それで囲んで書き起こしに自信のない個所を示すために用いられているものを「《」と「》」に置換

  整形前 F107：それでさあ、＊すとーんこんとねーど＊で。
  整形後 F107：それでさあ、《すとーんこんとねーど》で。

• 注1：聞き取り不能な個所，伏字化個所を示す「＊」はそのまま

  整形前 F007：＊上＊の方の人だから＊＊＊。
  整形後 F007：《上》の方の人だから＊＊＊。

• 注2：このように置換された「《」と「》」は，全文検索対象外となり，付属情報として記述されます。

• タグ記号挿入，削除（括弧対応の不整合を解消）
  • 挿入例1

    整形前 ＜笑い。
    整形後 ＜笑い＞

  • 挿入例2

    整形前 （あー）（ふーん（へー）（なるほどー）
    整形後 （あー）（ふーん）（へー）（なるほどー）

• 不要なスペース類（行頭・行末の全角スペース・タブなど）の削除

  整形前 　それ。
  整形後 それ。

• 発話者IDと発話との間に挿入される「：」の挿入，削除
  • 挿入例

    整形前 F024＊＊＊だから、うん。
    整形後 F024：＊＊＊だから、うん。

  • 削除例

    整形前 F026：：所属って何？
    整形後 F026：所属って何？

• その他，軽微な修正（全角・半角置換など）

形態素解析†

• 解析には，形態素解析器MeCab（ver.0.98）および形態素解析辞書UniDicを用いました。
• 形態素解析後，一部の解析結果に対して，人手修正を行っています。また，「F063さんの」のように，発話中に出現した発話者IDについては，全体を結合したうえで，「伏字化人名」という品詞を付与しています。

     F       記号          F063    伏字化人名
     0       名詞     →   さん    接尾辞
     6       名詞          の      助詞
     3       名詞
     さん    接尾辞
     の      助詞

論文などで引用する際の
成果物の短縮URL

メニュー

• コーパス
  • 『日本語話し言葉コーパス』
  • 『太陽コーパス』
  • 『近代女性雑誌コーパス』
     

• 辞書関連
  • 形態素解析辞書『UniDic』
  • 語種辞書『かたりぐさ』
  • 『表記統合辞書』
  • 『分類語彙表増補改訂版』
     

• 用例データベース
  • 複合動詞
  • サ変動詞
  • 形容詞
     

• ソフトウェア
  • 全文検索システム『ひまわり』
  • 観察支援ツール FishWatchr
  • 観察支援ツール FishWatchr
    Mini
  • 作文支援システム TEachOtherS
  • 『ひまわり』支援ツール
  • 『たんぽぽ』，『プリズム』
     
• 成果物の短縮URL
• 講習会
   

  最新の10件

  2023-10-02

  • 新着情報の履歴
  • 言語データベースとソフトウェア
  • 全文検索システム『ひまわり』
  • 全文検索システム『ひまわり』/ダウンロード/『青空文庫』パッケージ/履歴
  • 全文検索システム『ひまわり』/ダウンロード/『青空文庫』パッケージ

  2023-09-26

  • TEachOtherS

  2023-05-22

  • mainichi
  • 成果物の短縮URL

  2023-05-16

  • 観察支援ツール FishWatchr

  2023-04-06

  • 全文検索システム『ひまわり』/『日本語日常会話コーパス』/Windows