ICDAR 2023 Competition on Structured Text Extraction from Visually-Rich Document Images

概要

• ICDAR 2023で行われたコンペティションの一つ

• Task-1: E2E Complex Entity Linking
• このタスクは、与えられた画像のみからキーと値のペア(エンティティリンク)を抽出し、各画像のキーと値のペアをJSONファイルに保存することを目的としています。トレーニングセットには、トレーニング用のKIEアノテーションファイルと人間がチェックしたOCRアノテーションファイルの両方が提供されます。そのため、OCRアノテーションはクリーンであり、OCRタスクのグランドトゥルースとして使用することができます。タスク1のテストセットでは、OCRとKIEを含むアノテーションのない画像のみを提供します。OCRとKIEの両方のタスクをエンドツーエンドで実行するメソッドが必要です。

• Task-2: E2E Complex Entity Labeling
• エンドツーエンドの複雑なエンティティラベリングは、与えられた画像からあらかじめ定義された複数のキーテキストフィールドのテキスト(エンティティラベリング)を抽出し、各画像のテキストを必要なフォーマットのJSONファイルに保存することである。タスク2には13個の定義済みエンティティがある。トレーニングセットには、トレーニング用のKIEアノテーションファイルと人間がチェックしたOCRアノテーションファイルの両方が提供される。そのため、OCRアノテーションはクリーンであり、OCRタスクのグランドトゥルースとして使用することができる。タスク2のテストセットでは、OCRとKIEを含むアノテーションがない画像のみを提供する。OCRとKIEの両方のタスクをエンドツーエンドで実行するメソッドが必要である。

データセット例

1.jpg

label

• 表の場合は、columnとrowがkeyになったりする

結果

• Task-1

• Task-2



• Tensent OCRチームがぶっちぎり
• LayoutLMv3 と StrucTextv1 のモデルアーキテクチャをベース