AI模型揭示语言可影响视觉

当我们看到“玫瑰”时，大脑只是单纯在“看”吗？北京大学联合北京师范大学、山西医科大学第一医院的研究团队发现，语言不仅塑造思维，更在潜移默化中改变人们“看世界”的方式。相关研究成果15日发表于《自然·人类行为》。

语言是否影响视觉是科学界的长期争论。此次，研究团队利用人工智能（AI）模型构建“数字实验室”，将只学习图像的“纯视觉模型”与学习过图文的“视觉—语言模型”进行对比，并将其内部表征与四组健康人的大脑视觉皮层活动比对。结果显示，被语言“指导”过的AI模型，其“看世界”的方式更接近人脑。这一特征在负责语言加工的左半球尤为显著，且在使用手语的聋人中依然存在。

研究团队同时将脑卒中患者数据作为对照实验。结果表明：患者语言—视觉通路受损越严重，其视觉脑区活动越像“纯视觉模型”；当语言—视觉通路被破坏，语言对视觉的调节作用随之消失，成为“语言调节视觉”的直接证据。北京大学心理与认知科学学院及人工智能研究院教授毕彦超表示，在用AI模型理解大脑的同时，脑损伤患者的脑活动也验证了模型的机制。

“我们发现，语言在大脑视觉系统中扮演组织和调节的角色，这启发我们思考，真正的智能也许要像人脑一样，让语言去统筹感知、记忆和推理，而不是简单地并列处理多种模态。”北京大学心理与认知科学学院及人工智能研究院助理教授朱毅鑫说。