Meta

Meta於本周开源了FACET（FAirness in Computer Vision EvaluaTion）资料集，以供不同的电脑视觉模型来评估它们在分类、侦测、实例分割与视觉定位等任务中，可能出现的偏差或歧视，以协助模型进行改善。

FACET是由3.2万张照片所组成，内含5万个人，每一张照片都由人类专家依照与人类相关的属性手动进行标记，由专门的人类注译员负责标记人口属性，包括性别与年龄等族群特徵，肤色及发型等生理特徵，以及诸如棒球选手或医生等分类，也包含了来自SA-1B资料集中6.9万名戴口罩民众的人口属性标记。

图片来源_Meta

此一资料集可用来协助回答某些问题，像是当某些表现的刻板印象多为男性属性时，AI模型是否能提供更好的辨别；开放辞汇检测模型能否够更好地侦测到那些被认为应该更年轻一些的背包客；标准检测模型是否难以侦测或分割肤色较深的人口；以及倘若上述牵涉到的是一名卷发人口，各种问题是否会被放大。

Meta以FACET来评测该公司所开发的DINOv2模型与SEERv2模型，以及OpenAI的OpenCLIP模型，整体而言，OpenCLIP在性别上的表现优於其它模型，而DINOv2则在年龄与肤色上有较佳的判断力。

Meta AI团队指出，FACET得以更深入地发现模型於类别等级上的潜在偏差，举例来说，以性别偏见最严重的「护士」类别来说，SEERv2与OpenCLIP的偏差比DINOv2更为明显，原因可能是SEERv2主要针对未经策画的社交媒体内容进行预训练，使得资料缺乏多样性，而OpenCLIP则采用经过CLIP模型过滤的网页爬梳资料，而放大了原本即存在的职业与性别的关联性。

FACET的开源将有助於研究人员执行类似的标竿测试，以理解自己的模型中所存在的偏差，亦可用来监控为了解决公平问题而采取的缓解措施所造成的影响。…

Line日本

Line日本总部本周宣布开源自有开发的日语大型语言模型（LLM）。

Line将以Apache License 2.0授权开源其japanese-large-lm模型，除了研究用途外，也允许商业用途，包含36亿及17亿个参数2个版本，两项专案都可以在HuggingFace Hub存取。

Line自2020年11月起，即致力於针对该公司大型语言模型HyperCLOVA，启动多项构筑和应用相关研发计画。Line於2021年5月开发者大会上，首次公开2,040亿个参数训练而成的韩文版LLM HyperCLOVA，11月则公布日语特化版，拥有850亿参数，并宣称将以其发展一系列自然语言处理服务。

而本次公开的japanese-large-lm模型是和HyperCLOVA由不同部门并行开发，前者即是Massive LM团队的开发成果。团队指出，本模型是用了Line自己的日语大型Web文本为基础来训练，并利用成员自行开发的HojiChar开源函式库，来过滤大量原始码及非日语文字等杂讯，最後用了650GB资料集来训练。开发时间上，以17亿参数版本而言，在A100 硬体上花了4000 GPU时间训练而成。

研究团队也提供了本次公开的两个模型和Rinna-3.6B及OpenCALM-7B模型的准确度和困惑度（perplexity score，PPL）比较数据。…