AIDB Daily Papers
大規模言語モデルはベクデル・テストをパスできるか?LLM生成脚本におけるジェンダーバイアスの監査
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMが生成した映画脚本における女性の表現を、ベクデル・テストとソーシャルネットワーク分析を用いて定量的に監査した。
- 人間が書いた脚本はLLM生成脚本よりもベクデル・テストをパスする確率が高かったが、一部の指標ではLLM脚本の方がバイアスが少ない場合もあった。
- LLMがメディア制作に利用される中で、物語におけるジェンダー表現のバイアスを継続的に評価する必要性が示唆された。
Abstract
As large language models (LLMs) are increasingly used in media production from journalistm to filmmaking, what impact do they have on the stories being told? Prior work has shown LLMs to perpetuate social biases, including those related to gender. We complement existing literature on gender bias in LLM outputs by auditing the network structure of LLM-generated movie screenplays through automating the Bechdel test, a popular measure of women's representation in literary and film works. We also introduce the use of social network analysis measures to further analyze representational bias in LLM-generated scripts. We evaluate screenplays generated by three state-of-the-art LLMs (GPT-5, Gemini 3 Pro, and Claude Sonnet 4.5) against 768 corresponding human-written screenplays, finding that human-written scripts are more likely to pass the Bechdel test. However, other network analyses, like centrality, homophily, and triadic relationships demonstrate that in some cases LLM-scripts have less bias, although all script types demonstrate some representational bias under most measures. We conclude by discussing the continued need for further quantitative assessments of media representations and AI-generated content.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: