球棒击球的脆响伴随观众的欢呼，即便错过了看到全垄打的瞬间，这样的声音也能瞬间抓住棒球迷的注意力。人类或许是视觉动物，但我们同样依靠聆听来感知周围的世界。
为了提升人工感知能力，麻省理工学院教授帕里斯·斯马拉吉斯（Paris Smaragdis，SM '97，PhD '01）致力于打造能够听懂声音、甚至超越人类听觉能力的机器。
一台具备超人听觉的机器，可以通过聆听轮胎打滑和金属碰撞的声音，迅速定位交通事故发生的位置；也可以在工业钻头穿透致密基岩挖掘地热井时，提前判断钻头是否即将损坏。
"我喜欢说，我做的事情和计算机视觉领域的人一样，只不过我做的是听觉方面的工作，"斯马拉吉斯说。他是麻省理工学院人文、艺术与社会科学学院音乐与戏剧艺术项目的教授，同时在麻省理工学院施瓦茨曼计算机学院与电气工程和计算机科学系担任联合职位。
他的研究团队探索的领域包括：用于声源分离的机器学习、能够增强人类音频环境感知的智能设备，以及帮助人们理解、操控、分析和创作音乐的更优工具。
"因为有音乐背景，我一直对研究这些想法很感兴趣。要让机器理解声音需要什么？能够聆听的机器有着巨大的应用领域，"斯马拉吉斯说。他于2025年加入麻省理工学院，同时也是音乐技术项目的成员，以及电子研究实验室的成员。
音乐的序曲
斯马拉吉斯在希腊长大，从小就开始学习古典吉他。他喜欢弹奏传统曲目，但他的音乐之路在父亲带回家一台小型合成器时迎来了转折点。
"那台小合成器有一个功能，可以让你创造自己的声音，我完全被这种可能性迷住了，"他说。
20世纪80年代，合成器在流行音乐中占据了越来越重要的地位，这更加激发了他对这项技术的痴迷。
随着学业的推进，斯马拉吉斯想要研究用合成器创作的音乐。但在当时，这并不是欧洲传统音乐学院所提供的教育路径。
于是，他进入了波士顿的伯克利音乐学院，加入了一个可以探索使用计算机和合成器来塑造和操控声音的项目。
"借助计算机和合成器，我可以创造出前所未有的全新声音，"他说。
同时，斯马拉吉斯深深沉浸在爵士融合音乐中。他在伯克利选择了贝斯作为主修专业，因为这样能让他有更多机会与爵士乐团合作演出。
"我发现贝斯在声音层面比吉他更有趣。这是一个更少被探索的领域，而我一直倾向于探索未知领域，"他说。
对未知领域的这种兴趣也延续到了他的课程学习中。他和导师理查德·布兰杰（电子制作与设计教授）一起开发了新工具，帮助人们利用计算机创作、制作和优化音乐。
在伯克利求学期间，斯马拉吉斯与麻省理工学院媒体实验室的巴里·弗尔科教授（已于2025年去世）合作，开展了一个创建音乐创作软件合成器的项目。在这个项目的基础上，斯马拉吉斯继续在弗尔科的团队中进行研究生学习，完成了硕士和博士学位，随后进行了博士后研究。
"在媒体实验室，我更多地接触到了计算机音乐中计算机的部分。那时我的关注点开始有所转移。现在我真正想做的是让计算机能够理解声音，"他说。
转向未被探索的领域
当时，媒体实验室的许多学生都在使用信号处理技术来帮助机器处理声音。斯马拉吉斯选择了一条较少被探索的路径——机器学习——以使自己与众不同。
他发现，训练机器学习模型来理解声音，能够带来传统信号处理技术无法实现的优势。
"随着时间推移，我越来越清楚地意识到，我们需要教计算机如何倾听，而不能只是告诉它们如何倾听。实际上，我们甚至不知道人类自己是如何听的，"他说。"我们没有一套词汇来解释倾听意味着什么，或者如何区分猫叫声和小提琴的声音。"
完成博士后研究后，斯马拉吉斯开始在三菱电机研究实验室工作，致力于开发能够扫描视频音轨并理解屏幕上正在发生什么的人工智能系统。
"假设你录制了一整场足球比赛，但只想看精彩片段。在计算机视觉领域，识别什么是精彩瞬间非常困难。但另一方面，如果你只聆听声音，当观众爆发出狂热欢呼时，你就会知道发生了有趣的事情，"他说。
这套系统最终被整合进了多种电子设备中，包括三菱当时正在研发的个人视频录制系统，以及交通监控系统和手机。
后来斯马拉吉斯加入了Adobe，在那里他创建了音频研究团队，开发了便于用户使用的工具，帮助艺术家、音乐人和制作人在无需太多专业知识的情况下操控声音。
"在做这项工作的过程中，我不断发现更深层的技术问题需要解决。于是我投身学术界来解决这种'痒感'，"他说。
斯马拉吉斯加入了伊利诺伊大学厄巴纳-香槛分校的教职团队，与团队将最新的机器学习技术融入音频处理系统中。
他们开发的其中一项技术利用神经网络从混合音频中分离出单独的声音。这个项目吸引了2021年纪录片迷你剧《披头士：回归》制作团队的关注。
制作团队邀请斯马拉吉斯帮助修复一些披头士的档案录音。
"那是一种与我在学术界所做工作截然不同的音频处理方式。现在，我需要做出听起来好听的效果，但不一定要在理论上说得通。我们没有一个可以优化的固定公式，"他说。
每段录音都带来了不同的挑战。例如，在其中一段片段中，约翰·列侬在演奏音乐，而保罗·麦卡特尼则在旁边胡闹，读着报纸头条，还拿乔治·哈里森开玩笑。
"我们试图找出一种能够解决所有问题的技术方案，而不是逐一单独处理每个问题，"他说。
他的贡献帮助团队在2022年获得了艾美奖，该奖项表彰非虚构或真人秀节目类别的音效剪辑成就。
协同努力
在伊利诺伊大学工作15年后，斯马拉吉斯决定加入麻省理工学院的教职团队，以应对该领域中涌现出的复杂跨学科问题。
他的团队目前专注于两个主要方向。其一，他们开发能让计算机成为音乐人更有用工具的系统。
这方面的一个项目是让机器理解如何"倾听"音乐，从而能够为音乐人提供建设性的反馈。
"我们想要增强音乐人所拥有的工具箱。我们不想用计算机来取代音乐人，"他说。
另一方面，他的团队专注于科学家和艺术家都能使用的基础工具，用于处理、分析和操控音频。
例如，他的团队最近一直在探索一些算法，这些算法能够实现复杂的信号处理，而传统的参考框架——比如采样率、帧大小或上下文窗口——不再是固定甚至是未定义的。
斯马拉吉斯表示，这意味着存在一些尚未被探索的不同计算结构，尽管它们具有实现更高效处理的潜力。
"这需要重新思考很多基础性的东西，但一旦具备了这种能力，你就能开始获得更灵活、更强大的系统，"他补充道。
他们还在探索将最新技术（如大语言模型）融入语音识别和音频增强的方法。
"AI是一个极其强大的工具，但我认为我们尚未找到将它应用于声音和音乐的理想方式，"他说。
他也很喜欢指导学生，帮助他们将自己对研究项目的构想变为现实。
由于他的学生中很少有人具备在声音领域使用计算的经验，他特别强调动手实践课程，让他们能亲眼看到、亲耳听到如何将方程式转化为实实在在的成果。
无论是用计算机还是更传统的乐器，斯马拉吉斯依然能从音乐创作中感受到激动与兴奋。在校园之外，他只要有时间就会演奏爵士贝斯，并喜欢与妻子和15岁的儿子一起探索波士顿丰富的音乐社区。
在音乐领域之外，他还参与并指导水下曲棍球——这是一项运动员佩戴潜水面罩、用球杆在泳池底部推动沉重冰球朝对方球门移动的运动。他曾在伊利诺伊大学担任水下曲棍球队的教练，并希望能尽快重启麻省理工学院的水下曲棍球俱乐部，并在校园内举办比赛。
尽管水下曲棍球可能是一项鲜为人知的运动，但它与斯马拉吉斯一生追求未被探索领域的兴趣相契合。
"我一直喜欢做与众不同的事情。如果你能创造出前所未有的新声音，这对你创造新事物的能力意味着什么？我仍然觉得这些问题完全令人着迷，"他说。
