语言如何影响视觉？北大联合多团队用AI与脑科学给出答案

当我们欣赏一朵“玫瑰”时，眼中的绯红与芬芳，究竟是纯粹的视觉捕捉，还是早已被语言悄悄“定义”？近日，北京大学联合北京师范大学、山西医科大学第一医院的研究团队发现，语言不仅塑造我们的思维，也可能在潜移默化中改变我们“看世界”的方式。这项成果以《结合人工神经网络与人类脑损伤模型证据揭示语言调节人类视觉感知》为题，发表于国际期刊《自然·人类行为》（Nature Human Behaviour）。研究结合了人工智能模型与健康人群和脑卒中患者的脑影像数据，为“语言是否影响感知”这一百年未解的心理学核心问题提供了新的证据，也展示了人工智能与脑科学相互启发的研究范式。

破解百年争议的新钥匙

“语言会不会影响感知？”这是心理学、语言学乃至哲学中争论了一个多世纪的核心问题，也是人对自身研究的核心问题之一。支持者认为，语言为人类划定了理解世界的边界——“有什么词，就看见什么差别”；反对者则认为，视觉、听觉等感知系统独立于语言而运行，不受其影响。这一问题之所以难解，是因为在人类发展中，语言与视觉经验几乎总是同时出现，难以在实验中加以区分。

人工智能的发展为解开这一经典难题带来了新的契机。论文通讯作者之一、北京大学心理与认知科学学院与人工智能研究院助理教授朱毅鑫介绍：“AI模型就像一个可控的‘数字实验室’，我们可以人为决定它是否学习语言，再观察不同学习经历是否导致‘看世界’方式的差异。”研究团队比较了两类AI模型：仅学习过图像的“纯视觉模型”，与同时学图像和文字的“视觉–语言模型”。随后，将这两类模型的内部表征，与人类大脑视觉皮层在四组健康人群中的活动模式进行比对。

结果显示，视觉–语言模型与人脑视觉皮层的活动模式更为相似，尤其集中在左半球——人类语言加工的主导区域。更令人惊讶的是，这一模式在使用手语的聋人中同样存在，说明语言经验——无论是口语还是手语——都在视觉加工中留下系统性的印记。论文共同第一作者、北京大学博士生陈昊扬指出：“简单来说，被语言‘指导’过的AI视觉模型，看世界的方式更接近人脑。”

然而，AI模型与人脑的相似性，仅能证明语言与视觉加工的相关性。要确立“语言调控视觉”的因果关系，还需要更直接的证据。为此，团队将目光转向了一个特殊群体——脑卒中患者。这类患者常因病灶损伤连接语言区与视觉区的白质纤维通路，成为天然的“对照实验体”。

研究结果表明：患者语言–视觉通路受损越严重，其视觉脑区活动越接近“纯视觉模型”，当语言-视觉通路被破坏，语言对视觉的调节作用随之消失，成为“语言调节视觉”的直接证据。这一现象提示语言与视觉之间的功能联系具有方向性，而非仅仅反映共激活。

“大脑中语言区和视觉区之间的神经纤维束，就像一条‘高速公路’，而语言就是不断在大脑中进行‘暗示’的声音。毕彦超表示，当“高速公路”被脑卒中切断，语言的“暗示”无法传递，视觉加工便回归了“原始状态”。论文共同第一作者刘擘表示：“脑损伤患者的数据是无价的——他们让我们看到了人脑中语言通过与视觉皮层连接的神经通路调控视觉功能的必要性。”

跨学科研究“拧成一股绳”

研究背后，是跨学科团队的“缺一不可”。“缺了任何一方，都答不了这个难题。”毕彦超坦言，“需要新AI模型量化语言-视觉融合，需要脑成像技术看人脑活动，更需要临床团队用先进影像技术定位脑损伤位置。”

在研究过程中脑卒中患者的数据获取极具挑战。由于每位患者的病灶位置都不同，就像“指纹”一样独特，团队需要为每位患者手工标注病灶、一人一策地定制分析方案；为降低患者负担，任务设计反复优化，既要简单到患者能理解，又要有效激活视觉皮层。论文通讯作者之一山西医科大学王效春医生强调：“这项研究的完成离不开医院团队、心理学者和患者家属的信任与支持。”

传统脑科学通过各种手段记录神经活动揭示大脑结构与功能的对应，但难以精确刻画这些神经活动所“计算”的信息内容。人工智能模型的引入，使研究者能够在一个可控的“数字化认知实验室”中模拟人脑的学习与表征过程，从而探查语言如何塑造感知。论文通讯作者、北京大学心理与认知科学学院及人工智能研究院教授毕彦超指出：“我们用AI模型理解大脑，而脑损伤患者的脑活动又反过来验证了模型的机制——这让AI与脑科学真正闭合成一个实验循环，形成了脑科学研究的新范式。未来AI会越来越多地辅助脑科学研究，帮助我们探索大脑的奥秘、帮助更多的病人。”

朱毅鑫表示，这项研究的意义不仅在于AI帮助我们理解大脑，更在于大脑反过来为未来AI的前沿探索与发展提供了方向。“我们发现，语言在大脑视觉系统中扮演了组织和调节的角色。”他举例，当前大模型学“苹果”概念需海量带框图像，而人类教幼儿仅需一句“看，这是苹果”，朱毅鑫说，“这启发我们思考：真正的智能，也许需要像人脑一样——让语言去统筹感知、记忆和推理，而不是简单地并列处理多种模态。”毕彦超进一步指出：“脑科学与人工智能不是两条平行线，而是一面镜子。我们借助AI理解人脑，也让人脑的认知实验研究为AI发展照亮方向。”

“赤红”承载的爱国情怀、“黛青”蕴含的山水意境……这项研究的价值，远不止于解答学术争议。它揭示了语言在认知中的核心作用，如同“中国色”通过精准词汇体系搭建起色彩认知框架，语言为视觉加工提供了有序的“组织逻辑”，让人类能从复杂感官信息中提炼精准意义。这一人工智能与脑科学相互启发、共同前行的新范式，也体现了中国科研团队在语言、认知与智能交叉领域的持续探索，为推动人工智能与脑科学融合发展提供了新的方向。