RadNLP shared task

RadNLP 2024 shared task

Natural Language Processing for Radiology (NTCIR-18)

タスク概要

日程

参加登録

FAQ

運営

お問い合わせ

日本語

RadNLP 2024 shared task

Natural Language Processing for Radiology (NTCIR-18)

日本語

RadNLP 2024 shared task

Natural Language Processing for Radiology (NTCIR-18)

RadNLP (Natural Language Processing for Radiology) は，放射線医学への自然言語処理の応用を扱うシェアード・タスク (shared task) です。国立情報学研究所による国際学会 NTCIR-18 の一部 (core task) として開催されます。

主催者がタスクとデータを公開し，広く参加者の皆さまから解法を募集することで，オープンな医療データの整備と知見の蓄積をめざします。

2024-11-28: 参加登録期間を 2025-01-15 まで延長しました!
2024-11-03: Sub taskの評価指標の説明を追加しました。
2024-10-26: スケジュールを更新しました。また，Main task の評価指標の説明を追加しました。
2024-08-28: Main task の説明を一部追加しました。
2024-08-03: サンプルデータを公開しました。また，Main Task, Sub Task の説明を一部追加しました。
2024-07-08: FAQを更新しました。
2024-07-03: FAQを更新しました。
2024-06-21: Sub taskの名称を「文書セグメンテーション」に改めました。内容の変更はありません。
2024-06-20: Sub taskの説明を更新しました。
2024-06-19: スタッフ一覧を更新しました。
2024-06-12: FAQを掲載しました。
2024-06-05: 過去のshared taskへのリンクを追加しました。
2024-06-04: Main task, sub task の説明を追加しました。
2024-05-29: 参加登録を開始しました。
2024-04-16: Japanese / English Track の説明を追加しました。
2024-04-14: 公式X (旧Twitter) アカウント (@radnlp_ja) を追加しました。
2024-04-14: テーマカラーとキービジュアルを更新しました。
2024-03-28: ウェブサイトを公開しました。

タスク概要

1. 目的

RadNLP 2024は，読影レポート (画像診断報告書) から，肺癌のステージ (進行度) を正しく判定することを題材とします。

肺癌の治療方針は，そのステージによって異なるため，ステージの正確な判定は重要です。ステージの判定には，CTやPETなどの医用画像が主に用いられるため，読影レポート中の情報が役立ちます。

ところが，読影レポート自体にはステージの判定が直接記載されていないことが多く¹，診療や研究の際には，人手であらためて情報抽出しなければなりません。

そこでRadNLP 2024では，肺癌のステージを自然言語処理によって読影レポートから自動判定することで，肺癌の診療や研究に役立つような手法の開発を目指します。

¹ Sexauer R et al. Towards more structure: comparing TNM staging completeness and processing time of text-based reports versus fully segmented and annotated PET/CT data of non-small-cell lung cancer. Contrast Media Mol Imaging 2018:5693058.

2. データセット

RadNLP 2024で使用する読影レポートはすべて，初回治療前の肺癌を診断したものです（治療開始後のものは含まれていません）。

また，これらの読影レポートは実際の医療機関から取得したものではなく，Radiopaedia で公開されている画像を診断して本タスクのために作成したものです（個人情報は含まれていません）²。

このため本タスクの参加者はどなたでも，複雑な申請手続きを行うことなく無料でデータセットを利用できます。

² Nakamura Y et al. Clinical Comparable Corpus Describing the Same Subjects with Different Expressions. Stud Health Technol Inform 2022:290:253-257.

3. Trackとタスク

RadNLP 2024では，英語・日本語の2か国語の読影レポートを使用します。各言語ごとに，English track, Japanese trackという独立した2つのtrackとして開催いたします:

参加登録時に，English track と Japanese track のどちらかをお選びください（両方にご参加いただくことも可能です）。

また RadNLP 2024では，sub task, main task の2つのタスクを開催いたします。両方にご参加いただいても，どちらか片方のみのご参加でも構いません:

3-1. Sub task: 文書セグメンテーション

3-1-1. 概要

[NEW!] 読影レポートを，トピックごとに以下の8つの異なる区間に分割していくタスクです:

(i) Omttable - 明らかに，陰性所見のみであるか，または肺癌のステージと無関係な内容である区間。ここでの「明らかに」とは，肺癌ステージング基準についての知識を用いなくても容易に判定できる程度を想定しています。
(ii) Measure - Omittable に該当せず，かつ主に原発巣の大きさについて述べている区間。
(iii) Estension - Omittable に該当せず，かつ原発巣の進展範囲について述べている区間。
(iv) Atelectasis - Omittable に該当せず，かつ無気肺もしくは閉塞性肺炎を示している区間。
(v) Satelliite - Omittable に該当せず，かつ原発巣とは離れた肺内悪性病変 (肺内転移や癌性リンパ管症など) を示している区間。
(vi) Lymphadenopathy - Omittable に該当せず，かつ領域リンパ節腫大を示している区間。
(vii) Pleural - Omittable に該当せず，かつ胸水，心嚢水，胸膜播種，心膜播種を示している区間。
(viii) Distant - Omittable に該当せず，かつ遠隔転移を示している区間。

より専門的には，マルチラベル文単位二値分類タスクとなります。

つまり，分割は文単位で行うものとし，あるトピックの区間が一続きでなく飛び飛びになったり，同じ文が2つ以上のトピックに該当したりすることもありえます。

回答時には，各文が上記 (i) 〜 (viii) に該当するかどうかを判定し，該当すれは「1」，該当しなければ「0」と解答してください。つまり，1文につき8個の判定を行ってください。

なお全ての文は，(i) にのみ該当するか，もしくは (ii) 〜 (viii) のうち1つまたは複数に該当するかのいずれかとなります。

3-1-2. データ

Sub Taskのデータは，以下の2種類からなります:

Sub Taskのサンプルデータは，以下から入手・閲覧いただけます:

3-1-3. 評価指標

[NEW] Sub Taskでは，以下の9種類の評価指標を算出し，このうち★印のものをリーダーボードの並べ替えに用います:

Overall micro F2.0 - F2.0 スコアをMeasure〜Distantの7ラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Inclusion micro F2.0 - F2.0 スコアをOmittableラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。ただし，このスコアのみ0を陽性・1を陰性と扱うことにご注意ください。
Measure micro F2.0 - F2.0 スコアをMeasureラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Extension micro F2.0 - F2.0 スコアをExtensionラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Atelectasis micro F2.0 - F2.0 スコアをAtelectasisラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Satellite micro F2.0 - F2.0 スコアをSatelliteラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Lymphadenopathy micro F2.0 - F2.0 スコアをLymphadenopathyラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Pleural micro F2.0 - F2.0 スコアをPleuralラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。
Distant micro F2.0 - F2.0 スコアをDistantラベルを対象として文ごとに計算して合計し，データセット全体の文数で割ったものです。

radnlp2024_sample_en_sub_task/sentences.csv

sample here

radnlp2024_sample_en_sub_task/label.csv

sample here

radnlp2024_sample_ja_sub_task/sentences.csv

radnlp2024_sample_ja_sub_task/label.csv

3-2. Main task: 肺癌ステージング

3-2-1. 概要

読影レポートごとに，T因子・N因子・M因子をそれぞれ正しく判定するタスクです。

T因子 - 原発巣の大きさや進展範囲についての評価です。T0, Tis, T1mi, T1a, T1b, T1c, T2a, T2b, T3, T4 から1つ選択してください。
N因子 - リンパ節転移の程度についての評価です。N0, N1, N2, N3 から1つ選択してください。
M因子 - 遠隔転移の程度を評価します。M0, M1a, M1b, M1c から1つ選択してください。

なお，RadNLP 2024の肺癌ステージング基準は，日本肺癌学会による肺癌取扱い規約第8版に準拠していますが，国際対がん連合 (UICC) によるTNM分類第8版とほぼ同一の基準です。

3-2-2. データ

Main Taskのデータは，以下の2種類からなります:

Main Taskのサンプルデータは，以下から入手・閲覧いただけます:

3-2-3. 評価指標

[NEW] Main Taskでは，以下の8種類の評価指標を算出し，このうち★印のものをリーダーボードの並べ替えに用います:

Joint accuracy (fine) - 読影レポートのうち，T因子・N因子・M因子のすべての予測が正解と一致したものの割合。
T accuracy (fine) - 読影レポートのうち，T因子の予測が正解と一致したものの割合。
N accuracy (fine) - 読影レポートのうち，N因子の予測が正解と一致したものの割合。
M accuracy (fine) - 読影レポートのうち，M因子の予測が正解と一致したものの割合。
Joint accuracy (coarse) - Joint accuracyを，Tis/T1mi/T1a/T1b/T1c・T2a/T2b・M1a/M1b/M1c の違いを許容して計算したもの。
T accuracy (coarse) - T accuracyを，Tis/T1mi/T1a/T1b/T1c・T2a/T2b の違いを許容して計算したもの。
N accuracy (coarse) - N accurafy (fine) に同じ。
M accuracy (coarse) - M accuracyを，M1a/M1b/M1c の違いを許容して計算したもの。

radnlp2024_sample_en_main_task/5033297.txt

radnlp2024_sample_en_main_task/label.csv

radnlp2024_sample_ja_main_task/5033297.txt

Sample here

radnlp2024_sample_ja_sub_task/label.csv

日程

~~2024-03-29: キックオフイベント~~
~~2024-07 -> 2024-08-01: 学習用・検証用データセット公開~~
~~2024-11~~ -> 2025-01-15: 参加登録〆切
~~2024-11~~ -> 2025-01: テスト用データセット公開
2025-02-01 08:59 (JST): 予測結果提出〆切
2025-02-01 09:00 (JST): 成績公開
2025-02-01 21:00 (JST): 主催者task overview paper draft 公開
2025-03-01 20:59 (JST): 参加者system paper提出〆切 (draft)
2025-05-01 20:59 (JST): 参加者system paper提出〆切 (camera ready)
2025-06-10〜13 (JST): NTCIR-18 カンファレンス (国立情報学研究所にて)

参加登録

参加登録は，以下の方法で行っていただくことができます。

1. メールアドレスをご準備のうえ，以下のリンクにアクセスしてください。

2. リンク先の注意書きをよくお読みになり，『オンライン参加登録フォーム』を開いてください。

3. 『オンライン参加登録フォーム』中の質問12で「Yes」を選択のうえ，質問13で English track, Japanese track のうち参加されるものを1つまたは2つお選びください。

* 🔶 Main task, 🔹 sub task への参加 / 不参加は，参加登録時には決めていただく必要はありません。

* いずれの track でも，運営チームやNTCIR事務局からの連絡は英語で行われますのでご注意ください。

FAQ

Q1. 🔶 Main task と 🔹 Sub task にはどういう関係がありますか?

Sub task は Main task の補助として設定しています。

前回の NTCIR-17 MedNLP-SC では，今回の Main task にあたる肺癌ステージングのみを実施しました。

しかし，当時の最先端といわれる解法を用いてもまだ成績向上の余地が残りました (つまり，Main task はそれなりに高難度でした)。

そこで今回は，読影レポート単位の教師ラベルに加えて文単位の教師ラベルを追加で提供することにより，参加者の方々により多彩な解法を試していただけると考えています。

この文単位の教師ラベルを用いたタスクが今回の Sub task となります。

Q2. 複数のチームに同時に所属することはできますか?

はい，問題ありません。同じ方が2つ以上の異なるチームに所属されていても構いません。

Q3. 🌐 English track のデータセットを 🇯🇵 Japanese track を解くのに使用すること (またはその逆) はできますか?

はい，問題ありません。片方の言語の track のデータセットを，もう片方の言語の track の解法に使用していただいても構いません。

もし使用された場合は，論文を提出される際に，その詳細について明記していただくようお願いいたします。

RadNLP 2024 は，参加者の皆さまにしていただいた工夫をもとに，新たな知見を生み出し，共有することを目的としております。ご協力いただけましたら幸いです。

Q4. 外部リソースを使用してもよいですか?

はい，問題ありません。RadNLP 2024 のデータセットとして私達が配布するデータセットのほかに，別の資源 (モデル，辞書，コーパス，データセットなど) を追加でご使用いただくことに特に制限はありません。

もし使用された場合は，論文を提出される際に，その詳細について明記していただくようお願いいたします。

なお，個人情報が含まれる資源を利用される際には，個人情報保護について十分なご配慮をお願いいたします。

Q5. 🌐 English track と 🇯🇵 Japanese track に両方参加した場合，NTCIRでの論文投稿や発表は2回必要ですか?

いいえ，1回で問題ありません。

English track と Japanese track に両方参加された場合でも，NTCIRにご投稿いただく論文は，1チームにつき1本となります。

またNTCIR conferenceでのご発表も，1チームにつき1回となります。

Q6. 🔶 Main task と 🔹 Sub task を両方解いた場合，NTCIRでの論文投稿や発表は2回必要ですか?

いいえ，1回で問題ありません。

Main task と Sub task を両方解かれた場合でも，NTCIRにご投稿いただく論文は，1チームにつき1本となります。

またNTCIR conferenceでのご発表も，1チームにつき1回となります。

上記のほかにご不明点がありましたら，お気軽にこちらからご連絡ください。

運営

Organizer

Co-chair

中村優太 Yuta Nakamura

東京大学医学部附属病院 22世紀医療センターコンピュータ画像診断学／予防医学講座

Co-chair

花岡昇平 Shouhei Hanaoka

東京大学医学部放射線医学講座

Co-chair

荒牧英治 Eiji Aramaki

奈良先端科学技術大学院大学情報科学領域ソーシャル・コンピューティング研究室

Co-chair

矢田竣太郎 Shuntaro Yada

筑波大学図書館情報メディア系情報循環分野

奈良先端科学技術大学院大学情報科学領域ソーシャル・コンピューティング研究室

Staff

神澤純 Jun Kanzawa

東京大学大学院医学系研究科生体物理医学専攻

Staff

片山僚 Akira Katayama

東京大学大学院医学系研究科生体物理医学専攻

Staff

菊地智博 Tomohiro Kikuchi

自治医科大学データサイエンスセンター

Staff

黒川遼 Ryo Kurokawa

東京大学医学部附属病院放射線科

Staff

五ノ井渉 Wataru Gonoi

東京大学医学部放射線医学講座

Staff

韓沛涛 Peitao Han

奈良先端科学技術大学院大学情報科学領域ソーシャル・コンピューティング研究室

Staff

橋本清斗 Kiyoto Hashimoto

奈良先端科学技術大学院大学情報科学領域ソーシャル・コンピューティング研究室

協力

Adviser

藤本晃司 Koji Fujimoto

京都大学大学院医学系研究科高度医用画像学講座

Adviser

Jonas Kluckert

Institute of Diagnostic and Interventional Radiology, University Hospital Zurich

Adviser

Michael Krauthammer

Department of Quantitative Biomedicine, University of Zurich

過去の shared task

私達はこれまで，読影レポートを題材とする shared task を2回開催しており，このRadNLP 2024が3回目となります:

お問い合わせ

radnlp [at] googlegroups.com までメールにてご連絡ください ([at] を半角アットマークに変換してください)。

Designed with WordPress