/note/tech

AIと学生に同じ課題でレポートを書かせるとどうなるか--実験結果が公開

全体として、教授の評価は、GPT-3が生成したレポートはやや技術的な印象ではあるが、文法、構文、単語の頻度の点で人間の作文を模倣できたことを示した。ご想像通り、AIのレポート作成にかかった時間は、人間の実験参加者たちよりもはるかに短かった。人間の参加者がレポート完成までにかかった時間は平均で3日間。一方のGPT-3は、3分~20分だった。

EduRefによると「人間による補助なしでも、GPT-3が提出した課題は人間の書いたものとほぼ同じ評価を受けた」という。「GPT-3のレポートに対する教授のコメントの49.2%は文法と構文に関するもので、26.2%は要点と詳細に関するものだった。主張と構成についてのコメントもあったが、それぞれわずか12.3%と10.8%だった。人間のレポート提出者に対するコメントもほぼ同じ割合だった。文法と構文に関するコメントがほぼ50%、要点と詳細に関するものが25.4%、主張に関するものはほぼ13%、構成が10.4%だ」