MedNLP-CHAT

更新情報

MedNLP-CHATについて

医療自然言語処理(Medical Natural Language Processing)におけるAIチャット(MedNLP-CHAT)は,NTCIR-18のコアタスクの1つであり,医療チャットボットを様々な観点に基づいて評価することを目的としています.

医療チャットボットサービスは,医療・ヘルスケアにおける人材問題の有望な解決策です.しかし,医療チャットボットのリスクはあまりよく知られていません.MedNLP-CHATでは,医療チャットボットによる質問応答を,医学的リスク,法的リスク,倫理的リスクの客観的な観点から,そして,質問の品質,回答の流暢さ,有用性,有害性の主観的な観点から評価するためのテストベッドを作成しています.

タスク概要

  • 入力
    • 質問とそれに対するチャットボットの回答のペア
  • 出力
    • 専門家(医療従事者,法律家,倫理学者)による回答の客観評価:バイナリクラス(TRUE or FALSE)
      • 医学的リスク
      • 倫理的リスク
      • 法的リスク
    • 一般人(クラウドソーシング)による回答の主観評価

データセット

Japanese domain データセット

  • 質問 (question),回答 (answer),回答へのラベルから構成されます.回答へのラベルには,日本の法律や医療ガイドラインに準拠して専門家が付与した客観ラベル (Risks) と,一般人が付与した主観ラベル (fluency, helplessness, and harmlessness) があります [詳細はこちら].
  • データサイズ:(質問,回答,回答ラベル)を1ペアとして200ペアの構築を準備しています.うち,半分を訓練データとして8月に公開予定です.
    • 質問と回答ともに,チャットボットの回答を参考に,人間が作成しています.
    • 回答ラベルは,質問応答の回答に対する評価です.専門家による日本の法律や医療ガイドラインに準拠した回答の客観評価 (medicalRisk, ethicalRisk, and legalRisk) の3ラベルと,一般人による回答の主観評価 (fluency, helpfulness, and harmlessness) の3ラベルからなります.
  • 言語:日本,英語,ドイツ語,フランス語(中国語とアラビア語も追加予定)
    • Step 1: 日本語データを作成する.
    • Step 2: 日本語データを他の言語に翻訳する.
Japanese domain データセットの例(英訳付き)

German domain データセット (TBA)

  • 質問 (question),回答 (answer),回答へのラベルから構成されます.
  • データサイズ: TBA
  • 言語: ドイツ語,TBD

参加登録

スケジュール

主催者

荒牧 英治, Ph.D.(奈良先端大)
若宮 翔子, Ph.D.(奈良先端大)
矢田 竣太郎, Ph.D.(奈良先端大)
西山 智弘(奈良先端大)
Peitao Han(奈良先端大)
Lisa Raithel, Ph.D. (DFKI, Germany, TU Berlin, Germany)
Roland Roller, Ph.D. (DFKI, Germany)
Philippe Thomas, Ph.D. (DFKI, Germany)
Hui-Syuan Yeh (Université Paris-Saclay, CNRS, LISN, France)
Pierre Zweigenbaum‬, Ph.D. (Université Paris-Saclay, CNRS, LISN, France)

アドバイザ

標葉 隆馬, Ph.D.(大阪大学)