AlDA：—个基于推理的主动设计代理
从人类大脑只跟环境交互就设计算法的方式（例如，语音和对象识别、骑自行车等）中获得灵感
音频处理算法
摘要
在本文中，我们介绍了AIDA,它是一个基于推理的主动代理，通过与人类客户端的情境交互来迭代设计个性化音频处理算法。AIDA的目标应用是每当助听器（HA）客户对其HA性能不满意时，就为HA算法的调谐参数当场提出最感兴趣的替代值。AIDA将搜索“最有趣的替代方案”解释为最优（声学）上下文感知贝叶斯试验设计的问题。在计算方面，AIDA被实现为一个主动的基于推理的代理,具有用于试验设计的期望自由能标准。这种类型的架构受大脑中有效（贝叶斯）试验设计的神经经济模型的启发，并暗示AIDA包括声音信号和用户响应的生成 类器的用户响应模型的总和。完整的AIDA代理已经在生成模型和所有任务（参数学习、声学环境分类、试验设计等）的因子图中实现。）是通过在因子图上传递变化的消息来实现的。所有的验证和确认实验和演示都可以在我们的GitHub库免费获得。
主动推理，贝叶斯试验设计，助听器，降噪，概率建模，源分离，语音增强，变分消息传递
1介绍
助听器（HA）通常配备有专门的降噪算法。这些算法是由工程师团队幵发的，他们的目标是创建一个适合任何用户在任何情况下的最佳算法。对HA算法设计采取一刀切的方法会导致两个问题，这两个问题在当今的助听器行业非常普遍。
首先，模拟所有可能的声学环境是不可行的。HA用户的日常生活多种多样，他们所经历的不同环境更是如此。给定不同的声学环境，单一的静态HA算法不可能考虑所有的可能性一一即使不考虑HA本身施加的特定约束，例如有限的计算能力和允许的处理延迟［1］。第二，听力损失是高度个人化的，并且在用户之间可能有显著差异。因此，每个HA用户都需要他们自己的、单独调整的HA算法，以补偿他们独特的听力损失情况［2,3,4］,并满足他们对参数设置的个人偏好［5］O考虑到现在HAS通常由具有许多集成参数的多个互连的数字信号处理单元组成，个性化算法的任务需要探索参数的高维捜索空间，这通常不能产生清晰的物理解释。当前最普遍的个性化方法需要HA用户亲自前往听力学家那里，由他手动调谐所有HA参数的子集。这是一项繁重的活动，不能保证为HA用户带来更好的收听体验。
从这两个问题可以清楚地看出，我们需要转向一种新的助听器算法设计方法，以增强用户的能力。理想情况下，用户应该能够控制他们自己的HA算法，并且应该能够随意更改和更新它们，而不是必须依赖与用户的生活体验相分离的长设计周期的工程师团队。
接下来的问题是，我们如何将HA算法设计从工程师手中转移到用户手中？虽然一个允许使用滑块调整HA参数的简单实现（例如，智能手机）幵发起来很简单，但即使是少量可调整的参数也会产生一个大的高维搜索空间，HA用户需要学会导航。这给用户带来了很大的负担，实质上是要求他们成为自己训练有素的听力学家。显然，这不是一项简单的任务，这种方法只适用于一小组参数，这些参数带有明确的物理解释。相反，我们希望用一个智能地建议新参数试验的代理来支持用户。在此设置中，用户的任务只是对当前HA设置进行（正面或负面）评估。基于这些评估，代理将自主地遍历搜索空间，目标是在尽可能少的尝试中为当前环境条件下的用户提出满意的参数值。
设计一个能学会有效导航参数空间的智能代理并不简单。在本文的求解方法中，我们依赖于受自由能原理（FEP）[6]启发的概率建模方法。FEP是一个最初设计用来解释生物智能代理（如人脑）可能执行的计算类型的框架。近年来，FEP也被应用于合成agent的设计「7,8,9,10]o基于FEP的代理的一个显著特点是，他们在勘探和开发之间进行动态权衡[11,12,13],这是在学习导航HA参数空间时非常需要的属性。具体地说，FEP建议智能代理应该被建模为概率模型。这些类型的模型不仅产生变量的点估计，而且通过建模完整的后验概率分布来捕捉不确定性此外，通过简单地扩展概率模型，可以自然地合并用户评估和动作。
采用基于模型的方法也比其他数据驱动的解决方案允许更少的参数，因为我们可以结合特定领域的知识，使其更适合计算受限的助听器设备。我们的方法的新颖之处在于，整个提出的系统被构建为概率生成模型，在该模型中，我们可以通过（预期的）自由能最小化来执行（主动的）推理。
在本文中，我们介绍了AIDA,它是一个基于推理的主动设计代理，用于上下文相关音频处理算法的情境开发，为用户提供她自己可控的音频处理算法。
这种方法体现了基于FEP的代理，其与声学模型结合操作，并主动学习最佳的依赖于上下文的调谐参数设置。在第2节中正式指定了问题和解决方法之后，我们做出了以下贡献：
1.在第3.1节中，我们开发了一个模块化的概率模型，该模型体现了其相应助听器算法的情境（声学）场景相关的个性化设计。
2.我们在3.2节中开发了一个基于期望自由能的智能体（AIDA）,其调整参数设置的建议在寻求更多关于用户偏好的信息（探索性智能体行为）与通过利用先前学习的偏好（开发性智能体行为）来寻求优化用户的满意度之间达到了很好的平衡。
3.声学模型和AIDA中的推理在第4节中详细阐述，并且它们的操作通过第5节中的代表性实验单独验证。此外，所有元素都通过第5.4节中的演示应用程序进行了联合验证。
我们有意将对相关工作的更彻底的审查推迟到第7节，因为我们认为在引入我们的解决方案方法后，它更相关。最后，第6节讨论了我们方法的新颖性和局限性，第8节总结了本文。
2问题陈述和建议的解决方法
2.1通过优化实现自动化助听器调谐
在本文中，我们考虑了为助听器算法的调谐参数u选择值的问题，该算法将声学输入信号x处理为输出信号y。在图1中，我们描绘了一种基于自动优化的方法来解决该问题。假设我们有一个通用的“信号质量”模型
HA输出信号y=f(x,u),作为HA输入x和参数u的函数, by a rating r(x,u) , r(y)。如果我们在一组典型的输入信号x ∈ X ,上运行这个系统，那么调谐问题就变成了优化任务
不幸的是，在商业实践中，这种优化方法并不总能带来令人满意的HA性能，原因有二。首先，文献中的信号质量模型是在来自许多用户的偏好评级的大型数据库上训练的，因此只对平均HA客户端建模，而不是对任何特定客户端建模-[14,15,16,17,18,19],其次，优化方法对一大组不同的输入信号进行平均，因此它不会处理依赖于声学环境的客户偏好。就声学环境而言，我们认为信号属性取决于环境条件，如室内、室外、车内或商场。通常，客户端对HA调优参数的偏好是高度个性化的，并且依赖于上下文。因此，需要开发一种个性化的、上下文敏感的控制器来调整HA参数u。
图2:提议的包含AIDA的情境HA设计循环的示意图。输入信号x进入助听器，并用于推断用户c的环境。基于该环境和先前的用户评估，AIDA为助听器算法提出一组新的参数u。基于输入信号、建议的参数和当前环境，助听器的输出y被确定，其在助听器算法中与环境一起使用。参数u由AIDA基于从输入信号中推断的上下文c和来自环路中用户的评估r主动优化。所有单独的子系统都代表第3节中描述的概率生成模型的一部分，其中相应的算法来自于在第4节中描述的这些模型中执行概率推理。
2.2用户在回路中的定位助听器调谐
在本文中，我们将基于图2所示的架构，开发一个个性化的、上下文感知的设计代理。与图1相反，外部世界(而不是数据库)在特定条件下产生输入信号X,-该信号由助听器算法处理以产生输出信号y。特定的人类助听器客户收听信号y,并被邀请在任何时间对助听器算法的当前性能进行二元评估rE{0,1},其中1和0分别对应于用户满意和不满意。AIDA提供了对HA调优参数的上下文感知试验。:整个系统不是离线设计过程，而是在情境条件下不断设计。HA设备本身包含基于生成声学模型中的状态推断的定制助听器算法。声学模型包含两个子模型:1)源动态模型和2)背景动态模型。
声学模型中的推断基于观察到的信号x,并产生输出y和上下文c。基于该上下文信号c和先前的用户评估r,AIDA将主动提出新的参数试验u,目标是使用户满意。从技术上讲，目标是相对于不进行参数调整，AIDA期望在未来收到更少的负面评价，详见第3.2节。
AIDA的设计是不平凡的。例如，由于事先没有针对任何特定用户的HA评级的个性化模型，AIDA将不得不根据上下文c和用户评估r即时构建这样的模型。由于系统在特定条件下运行，我们希望尽可能减少最终用户的负担。因此，大多数用户只会偶尔进行一次评估，这使得个性化HA评级’模型的学习变得复杂。
为了使这种对轻量级交互的渴望具体化，我们现在简要描述一下我们如何设想AIDA和HA客户端之间的典型交互。假设HA客户端正在与一位朋友在餐厅进行对话。在这种情况下，感兴趣的信号是朋友的语音信号，而干扰信号是环境多路重合噪声信号。
HA算法试图将输入信号x分离成其组成的语音和噪声源分量，然后将增益u应用于每个源分量，并将这些加权的源信号相加以产生输出y
如果客户对其HA的表现感到满意，她不会进行任何评估。毕竟，她正在谈话，没有必要改变HA的行为。但是，如果她不能理解她的对话伙伴，客户可能会偷偷点击她的手表或做出另一个手势来表示她对当前的HA设置不满意。作为响应，可以作为智能手表应用程序实现的AIDA将通过向助听器算法发送调谐参数更新u来即时回复，以努力解决客户当前的听力问题。
由于客户的偏好是上下文相关的，AIDA需要整合来自HA输入x的声学上下文信息。例如，HA用户可能会离开餐厅到外面散步。在外面行走会产生不同类型的背景噪声，因此需要不同的参数设置。
至关重要的是，我们希望HA客户能够在不中断任何正在进行的活动的情况下调整他们的助听器。因此，我们不会要求客户必须将视觉注意力集中在与智能手机应用程序的交互上。最多，我们希望客户轻拍一下或者做一个简单的手势，不会将任何注意力从正在进行的对话上转移开。第二个标准是，我们不希望会话伙伴注意到客户端正在与代理交互。客户实际上可能处于这样一种情况（例如，商务会议），在这种情况下，证明她的优先事项已经转移到调整她的助听器是不合适的。换句话说，交互必须是非常轻量级和隐蔽的。第三个标准是，我们希望代理从尽可能少的评估中学习。请注意，如果HAW10个调优参.数和每个参数的5个感兴趣的值（非常低、低、中、高、非常高），则有510方个（大约1000万个）参数设置。■我们不希望客户陷入无休止的反对新HA提案的循环中，因为这将导致沮丧和分散正在进行的对话的注意力。显然，这意味着不能随机选择HA参数的每次更新:我们希望代理根据所有观察到的过去信息和未来’HA行为的某些目标标准，为调整参数提岀最感兴趣的值。在4.2节中，我们将量化在这种情况下最有趣的含义。
简而言之，本文的目标是设计一个智能代理，通过一个非常轻量级的交互协议来支持用户驱动的个性化音频处理算法的情境设计。
为了完成这项任务，我们将从人类大脑仅仅通过环境交互设计算法的方式（例如，语音和对象识别、骑自行车等）中获得灵感。具体来说，我们基于主动推理（AIF）框架来设计AIDA。源于计算神经科学领域，AIF提出将大脑视为模拟感官输入的预测引擎。从形式上讲，AIF通过指定输入数据的概率生成模型来实现这一点。通过最小化自由能在该模型中执行近似贝叶斯推理，从而构成了数据处理和学习的统一过程。
为了选择调谐参数试验，给定参数设置的特定选择，AIF代理预测在不久的将来的预期自由能。AIF提供了—个单一的，统一的方法来设计AIDA的所有组件。由AIF设计代理控制的HA系统的设计涉及解决以下任务：
1.声学环境的分类
2.为HA调整参数选择声学上下文相关试验。
3.HA信号处理算法的执行（由试验参数控制）。
任务1（背景分类）涉及确定最可能的当前声学环境。基于动态环境模型（在第3.1.2节中描述），我们推断最可能的声学环境，如第4.1节所述。
任务2（试验设计）包括建议HA调整参数的替代设置。第3.2节和第4.2节分别描述了基于期望自由能最小化的用户响应模型和AIDA试验选择程序的执行。
最后，任务3（助听器算法执行）涉及针对声学信号的生成概率模型中的状态变量执行变分自由能最小化，在第3.1节中，我们描述了HA算法的生成声学模型，第4.3节描述了推断的HA算法本身。
至关重要的是，在AIF框架中，所有这三项任务都可以通过在观测的生成概率模型中变分自由能最小化来完成。由于我们可以通过概率编程语言使变分自由能最小化自动化，人类设计者剩下的唯一任务就是指定生成模型。
下一节描述模型规范。
3型号规格
在本节中，我们将展示AIDA控制的HA系统的生成模型，如图2所示。在3.1节中，我们分别描述了HA输入和输出信号x和y的生成模型。在该模型中，助听器算法遵循执行概率推理，这将在第4节中讨:论。助听器算法的一部分是推断当前声学环境的机制。在第3.2节中，我们介绍了用于推断新参数试验的代理AIDA的模型。附录B中给出了创成式模型的简明摘要，表2中给出了相应符号的概述。在本节中，我们将利用因子图来可视化桐率模型。在这篇论文中，我们主要讨论［20］中介绍的Forney-style因子图（FFG）,它采用了［21忡的符号约定。ffg通过无向图表示分解的函数，无向图的节点表示全局函数的单个因子。
这些节点由表示因子的相互自变量的边连接。在FFG中，一个节点可以连接到任意数量的边，但是边的最大度数被限制为2。附录a提供了概率建模和因子图的更详细的回顾。
其他参考
一个框架整合大脑理论2 第一章
