人工的な対話生成システムの設計：オンラインファシリテーションのための事例研究

arXiv:2503.16505v4 Announce Type: replace-cross 要約：社会科学の研究における主要な課題の一つは、人間参加者を対象とした実験に伴う莫大なコストです。私たちが新たな自然言語処理（NLP）領域として特定したのは、「人工的な対話生成（Synthetic Discussion Generation: SDG）」です。これは、コスト効果のあるパイロット実験を可能にし、かつ実行・評価・設計に対して汎用的な理論枠組みを開発することを目的としています。本研究では、現在の研究において広く使用されている OpenAI GPT ファミリーといったプロプライエタリモデルの使用は、コストと能力の両方で正当化されていないことを論じます。実験结果表明，小型の量子化モデル（7B-8B）は、プロプライエタリモデルと比較して 44 倍以上の低コストで効果的なシミュレーションを生成することができます。 我々は、人間が能動的に対話を重ね合わせることで改善を行う「オンラインファシリテーション」の文脈で、この枠組みを利用しました。従来のコンテンツモデレーションとは異なり、この問題を当枠組みの下流タスクと捉えることで、人間参加者を関与させる前にその限界を明らかにすることで、一般的な結果を導き出せることを示しました。 LLM ファシリテーターにおける重要な制約として、対話において介入すべき時点を判断できないという問題点が挙げられ、これにより望ましくない頻繁な介入および、人間間の相互作用で観察されるような脱線パターンを引き起こす結果となります。また、我々は異なるファシリテーション戦略が対話のダイナミクスに一定程度の影響を与えることも発見しました。 当者の理論的な SDG 枠組みに加え、実験設計におけるコスト比較手法、利用可能なモデルとアルゴリズムの探求、オープンソース Python フレームワーク、および複数のモデルで生成された LLM 対話の大規模公開データセットも紹介します。

arXiv:2503.16505v4 Announce Type: replace-cross Abstract: A critical challenge in social science research is the high cost associated with experiments involving human participants. We identify Synthetic Discussion Generation (SDG), a novel Natural Language Processing (NLP) direction aimed at creating simulated discussions that enable cost-effective pilot experiments and develop a theoretical, task-agnostic framework for designing, evaluating, and implementing these simulations. We argue that the use of proprietary models such as the OpenAI GPT family for such experiments is often unjustified in terms of both cost and capability, despite its prevalence in current research. Our experiments demonstrate that smaller quantized models (7B-8B) can produce effective simulations at a cost more than 44 times lower compared to their proprietary counterparts. We use our framework in the context of online facilitation, where humans actively engage in discussions to improve them, unlike more conventional content moderation. By treating this problem as a downstream task for our framework, we show that synthetic simulations can yield generalizable results at least by revealing limitations before engaging human discussants. In LLM facilitators, a critical limitation is that they are unable to determine when to intervene in a discussion, leading to undesirable frequent interventions and, consequently, derailment patterns similar to those observed in human interactions. Additionally, we find that different facilitation strategies influence conversational dynamics to some extent. Beyond our theoretical SDG framework, we also present a cost-comparison methodology for experimental design, an exploration of available models and algorithms, an open-source Python framework, and a large, publicly available dataset of LLM-generated discussions across multiple models.