关于语言模型中联想偏差和经验公平性的独立性问题

​

On the Independence of Association Bias and Empirical Fairness in
Language Models

解决问题：该论文旨在澄清“关联偏见”和“经验公平性”之间的区别，并探讨它们是否可以相互独立。这是否是一个新问题？这是一个新的问题，因为在过去的研究中，这两个概念通常被混淆在一起。

关键思路：该论文提供了一个思想实验，展示了关联偏见和经验公平性可以完全无关。此外，通过对最广泛使用的语言模型进行实证研究，论文提供了实证证据表明，偏见度量和公平度量之间没有相关性。与当前领域的研究相比，该论文的思路在于澄清和区分“关联偏见”和“经验公平性”，并提供了理论和实证证据支持这两个概念之间的独立性。

其他亮点：该论文的实验设计基于最广泛使用的语言模型，并提供了详细的实验结果和分析。此外，该论文还介绍了社会学和心理学领域的相关研究，这些研究提供了支持论文结论的理论基础。该论文没有提供开源代码，但是提供了数据集的详细信息。该论文的工作值得进一步深入研究，以探讨“关联偏见”和“经验公平性”之间的关系，以及如何更好地评估和改进语言模型的公平性。

关于作者：Laura Cabello、Anna Katrine Jørgensen和Anders Søgaard是该论文的主要作者。他们分别来自丹麦哥本哈根大学和丹麦技术大学。Laura Cabello之前的代表作包括“Measuring the Gender Bias in Contextualized Word Embeddings”，Anna Katrine Jørgensen之前的代表作包括“Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping”，Anders Søgaard之前的代表作包括“Unsupervised Cross-Lingual Information Retrieval with Monolingual Quality Estimates”。

相关研究：近期的相关研究包括“Measuring and Mitigating Stereotyping Bias in Word Embeddings”（Tolga Bolukbasi等，Google Research）和“On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”（Emily M. Bender等，University of Washington）。

论文摘要：我们提供了概念上的明确，区分了关联偏差（Caliskan等人，2022）和经验公正（Shen等人，2022），并展示了这两者可以是独立的。然而，我们的主要贡献在于展示为什么这不应该令人惊讶。为此，我们首先提供了一个思想实验，展示了关联偏差和经验公正可以完全正交。接下来，我们提供了实证证据，表明在最广泛使用的语言模型中，偏差度量和公正度量之间没有相关性。最后，我们调查了社会学和心理学文献，并展示了这些文献提供了充分的支持，以期望这些度量是不相关的。

​Read More