NGSS クラスルームにおける科学解説の AI スコアリングにおけるクラスの不均衡を解決するための、Transformer ベーベースモデルのデータ拡張およびリサンプリング戦略の探求

arXiv:2604.19754v1 Announce Type: cross 本文書：学生による科学解説の自動スコアリングは、即時で正確なフィードバックの可能性を秘めていますが、ルーブリックカテゴリーにおけるクラスの不均衡は依然として課題となっています。特に、高度な推論を捉えるカテゴリーにおけるこの問題は顕著です。本研究は、NGSS 整合性を有した学習の進行段階に基づいた物理科学の評価に学生回答に対して適用された Transformer ベーベーステキスト分類の改善に向けた拡張戦略を調査しています。データセットは、1,466 名の高 School 生徒からの回答で構成されており、これは 11 の二値符号化された分析的カテゴリーに基づいてスコアリングされました。このルーブリックは、完全な説明に必要な科学的概念を含む重要な 6 つの要素、および 5 つの一般的な不完全または不正確な概念を特定しています。SciBERT をベースラインとして使用し、我々は以下 3 つの拡張戦略を適用および評価しました：(1) GPT-4 によって生成された合成回答、(2) EASE（単語レベルの抽出とフィルタリングアプローチ）、(3) ALP（Lexicalized Probabilistic 文脈無関文文法を使用した拡張）と呼ばれる文脈レベルの抽出法。 SciBERT のファインチューニングはベースラインよりも感度（recall）を改善しましたが、拡張戦略は性能を著しく向上させ、GPT データは精度と感度を両方向上させ、ALP は最も重なる不均衡カテゴリー（5, 6, 7, 9）において完全な精度、感度、F1 スコアを達成しました。全てのルーブリックカテゴリーにおいて、EASE による拡張は、科学的概念（カテゴリー 1–6）と不正確な概念（カテゴリー 7–11）の両方において人間のスコアリングとの整合性を著しく増加させました。本研究では、学習の進行段階の整合性維持と新規レベルデータへの依存を避けるため、従来の過サンプリング手法（SMOTE）と比較しました。結果は、ターゲット指向した拡張が重度の不均衡に対処し概念のカバーを保持できることを示しており、科学教育における自動的な学習の進行段階整合性スコアリングのためのスケール可能性のあるソリューションを提供しています。

arXiv:2604.19754v1 Announce Type: cross Abstract: Automated scoring of students' scientific explanations offers the potential for immediate, accurate feedback, yet class imbalance in rubric categories particularly those capturing advanced reasoning remains a challenge. This study investigates augmentation strategies to improve transformer-based text classification of student responses to a physical science assessment based on an NGSS-aligned learning progression. The dataset consists of 1,466 high school responses scored on 11 binary-coded analytic categories. This rubric identifies six important components including scientific ideas needed for a complete explanation along with five common incomplete or inaccurate ideas. Using SciBERT as a baseline, we applied fine-tuning and test these augmentation strategies: (1) GPT-4--generated synthetic responses, (2) EASE, a word-level extraction and filtering approach, and (3) ALP (Augmentation using Lexicalized Probabilistic context-free grammar) phrase-level extraction. While fine-tuning SciBERT improved recall over baseline, augmentation substantially enhanced performance, with GPT data boosting both precision and recall, and ALP achieving perfect precision, recall, and F1 scores across most severe imbalanced categories (5,6,7 and 9). Across all rubric categories EASE augmentation substantially increased alignment with human scoring for both scientific ideas (Categories 1--6) and inaccurate ideas (Categories 7--11). We compared different augmentation strategies to a traditional oversampling method (SMOTE) in an effort to avoid overfitting and retain novice-level data critical for learning progression alignment. Findings demonstrate that targeted augmentation can address severe imbalance while preserving conceptual coverage, offering a scalable solution for automated learning progression-aligned scoring in science education.