Kaggle赛题解析：Benetech图表内容识别

比赛名称：Benetech - Making Graphs Accessible

使用 ML 从图形创建表格数据

比赛链接：https://www.kaggle.com/competitions/vesuvius-challenge-ink-detection

比赛类型：计算机视觉、图文描述

比赛背景

数以百万计的学生有学习、身体或视力障碍，无法阅读传统印刷品。这些学生无法访问科学、技术、工程和数学领域的大部分教育材料。存在使书面文字易于访问的技术。

比赛任务

本次比赛的目标是提取 STEM 教科书中常见的四种图表所代表的数据。您将开发一个在图形数据集上训练的自动解决方案。

• Example - Vertical Bar

x,Alberta;Ontario;Quebec;P.E.I.,vertical_bar
y,62023;50355;56288;38621,vertical_bar

• Example - Horizontal Bar

x,299;289;279;229;211;209;173;159;128;113;95;53,horizontal_bar
y,Dec;Nov;Oct;Sep;Aug;Jul;Jun;May;Apr;Mar;Feb;Jan,horizontal_bar

• Example - Histogram

x,0;5;10;15;20;25,vertical_bar
y,2.0;3.0;4.0;7.0;9.0,vertical_bar

• Example - Categorical X-Axis

x,Guest 1561;Guest 1562;Guest 1563;Guest 1564;Guest 1565;Guest 1566,dot
y,3;5;6;4;5;4,dot

• Example - Line Graph

x,0;10;20;30;40;50;60;70,line
y,2.85532;4.85973;7.02666;9.41515;11.72693;14.44788;16.70328;19.50852,line

评价指标

预测由四种科学图形（或图表）表示的数据系列：条形图、点图、折线图和散点图。

使用Benetech Competition Metric评价：

https://www.kaggle.com/code/ryanholbrook/competition-metric-benetech-mixed-match

数据描述

本次比赛的数据集包括约65,000个综合注释的科学图形，分为垂直条形图、水平条形图、点图、折线图和散点图五种。

• train/annotations/ 描述图形的注释
• train/images/ JPG训练数据
• test/images/ 测试数据
• sample_submission.csv 提交格式文件

比赛赛程

• 2023年6月5日：组队截止日期。
• 2023年6月12日：最终提交截止日期。

赛题奖金

• 第一名 - 15,000 美元
• 第二名 - 10,000 美元
• 第三名 - 8,000 美元
• 第四名 - 7,000 美元
• 第五名 - 5,000 美元
• 第六名 - 5,000 美元

解题思路

赛题需要图表内容进行识别，并文字进行组织。因此赛题可以借助OCR和图片描述的模型，是一个复杂的视觉赛题。