Kaggle赛题解析:CommonLit摘要评估

赛题名称:CommonLit - Evaluate Student Summaries

赛题类型:自然语言处理、回归

赛题任务:评估 3-12 年级学生撰写的摘要

赛题链接?:https://www.kaggle.com/competitions/commonlit-evaluate-student-summaries/

比赛背景

摘要写作是学习者的重要技能。摘要可以增强阅读理解能力,特别是对于第二语言学习者和有学习障碍的学生而言。摘要写作还促进批判性思维,是提高写作能力的最有效方法之一。然而,学生很少有足够的机会练习这项技能,因为评估和提供反馈对教师来说是一项耗时的工作。大型语言模型(LLMs)等创新技术可以改变这种状况,因为教师可以使用这些解决方案快速评估摘要。

Kaggle赛题解析:CommonLit摘要评估

比赛任务

比赛的目标是评估3-12年级学生撰写摘要的质量。您将构建一个模型,评估学生在摘要中表达主要观点和细节的能力,以及摘要中使用的语言的清晰度、准确性和流畅性。您将可以访问一系列真实学生摘要来训练您的模型。

评估指标

Submissions are scored using MCRMSE, mean columnwise root mean squared error:

赛题时间轴

  • 2023 年 10 月 4 日- 报名截止。
  • 2023 年 10 月 4 日- 团队合并截止。
  • 2023 年 10 月 11 日- 最终提交截止。

赛题数据集

该数据集包含约 24,000 份由 3-12 年级学生撰写的关于各种主题和流派的段落摘要。这些摘要的内容措辞均已打分。比赛的目标是预测未见过的主题的摘要的内容和措辞得分。

  • summaries_train.csv训练集中的摘要。
    • student_id- 学生作家的 ID。
    • prompt_id- 链接到提示文件的提示 ID。
    • text- 学生总结的全文。
    • content- 摘要的内容分数。第一个目标。
    • wording- 摘要的措辞得分。第二个目标。
  • summaries_test.csv测试集中的摘要。
  • prompts_train.csv,四个训练集提示。每个提示都包含给学生的完整总结作业。
    • prompt_id- 链接到摘要文件的提示 ID。
    • prompt_question- 要求学生回答的具体问题。
    • prompt_title- 提示的简写标题。
    • prompt_text- 完整的提示文本。
  • prompts_test.csv - 测试集提示。包含与上面相同的字段。这里的提示只是一个示例。完整的测试集有大量的提示。
  • Sample_submission.csv - 格式正确的提交文件。

赛题思路

BERT是一种预训练的深度双向转换器模型,适用于自然语言处理任务。对于本次比赛中的摘要评估任务,可以使用BERT模型结合交叉验证来完成。

https://www.kaggle.com/code/mohammad2012191/debertav3-pytorch-baseline-inference-cv-0-467

https://www.kaggle.com/code/pjmathematician/commonlit-similarity-vs-scores-simple-inference

【竞赛报名/项目咨询请加微信:mollywei007】

上一篇

英国私校入学考试CAT4怎么备考?有哪些题目类型?分数怎么看?

下一篇

CAIE分数到底分为多少等级?分数计算方法公布

你也可能喜欢

  • 暂无相关文章!

评论已经被关闭。

插入图片
返回顶部
Baidu
map