LaMSUM: LLM 主導型抽出要約によるハラスメント報告のVOICE の増強

arXiv:2406.15809v5 Announce Type: replace-cross 要約: 市民報告プラットフォームは、公衆と当局が性的ハラスメント事象について情報を把握するのを支えています。しかし、これらのプラットフォームで共有されるデータの量は極めて多く、個別の事例をレビューするのは困難です。そのため、多種多様なコードミックス言語を処理および理解する能力を持つ要約アルゴリズムが不可欠です。近年、大規模言語モデル（LLMs）は、要約を含む NLP タスクにおいて顕著な性能を示しています。LLM はもともと、元のテキストのパラフレーズにより生成する抽象的要約を产生しますが、LLM を介した抽出要約（元のテキストから特定のサブセットを選択する）はほとんど未探求となっています。さらに、LLM は文脈ウィンドウサイズが限られており、一度処理できるデータの量が制限されています。我々は、LaMSUM という新規のマルチレベルフレームワークを導入し、LLM を用いて大規模な事故報告集合体に対して抽出要約を生成する際に、異なる投票手法と要約を組み合わせてこれらの課題に対処します。4 つの主流な LLM（Llama, Mistral, Claude, GPT-4o）を使用した大規模な評価は、LaMSUM が最先端の抽出要約手法を上回る性能を示すことを示しました。総じて、この仕事は LLM を介した抽出要約を達成する最初の試みの一つであり、包括的な概説を提供することでステークホルダーを支援し、不要なハラスメント事象を最小化する効果的な政策の策定を可能にするでしょう。

arXiv:2406.15809v5 Announce Type: replace-cross Abstract: Citizen reporting platforms help the public and authorities stay informed about sexual harassment incidents. However, the high volume of data shared on these platforms makes reviewing each individual case challenging. Therefore, a summarization algorithm capable of processing and understanding various code-mixed languages is essential. In recent years, Large Language Models (LLMs) have shown exceptional performance in NLP tasks, including summarization. LLMs inherently produce abstractive summaries by paraphrasing the original text, while the generation of extractive summaries - selecting specific subsets from the original text - through LLMs remains largely unexplored. Moreover, LLMs have a limited context window size, restricting the amount of data that can be processed at once. We tackle these challenges by introducing LaMSUM, a novel multi-level framework combining summarization with different voting methods to generate extractive summaries for large collections of incident reports using LLMs. Extensive evaluation using four popular LLMs (Llama, Mistral, Claude and GPT-4o) demonstrates that LaMSUM outperforms state-of-the-art extractive summarization methods. Overall, this work represents one of the first attempts to achieve extractive summarization through LLMs, and is likely to support stakeholders by offering a comprehensive overview and enabling them to develop effective policies to minimize incidents of unwarranted harassment.