如何简化输入以获得更好的神经网络性能？

在过去的十年中，深度神经网络已经成为从语音识别、物体检测到自动驾驶系统等多种人工智能复杂应用的解决方案。从本质上讲，深度学习不是单一的算法，而是一系列具有多层的算法，缺乏透明度，因此很难理解错误，尤其是对于这些错误成本较高的领域来说，这是一个缺点。

这些深度神经网络的大部分复杂性来自输入数据集，用于使训练和推理更快、更高效。测量输入简单性一直是引起人工智能架构师关注的研究方向之一，旨在设计一个不仅提高性能而且注重可解释性的框架。

从输入数据中删除某些参数是了解特定输入区域或频率与输出性能的相关性的研究工作的重要组成部分。然而，大多数现有工作依赖于随机删除或利用领域知识，这使得分析网络性能的输入变得更简单。

来自高校和科技企业的研究人员团队提出了一种模型技术，用于合成重新训练**相关信息的输入。通过这一点，模型可以在不依赖先验知识的情况下达到简化输入的直觉状态。一些研究结果报告，在基于密度的异常检测中，生成图像模型通常为视觉上更简单的输入分配更高的概率密度和更低的位。

在**《当少即是多：简化输入有助于神经网络理解》中，该团队设计了 **bits，这是一个合成输入以包含更少信息而不影响输出性能的框架。

该方法通过给予预先训练的生成模型的编码位大小来衡量简单性，并减少位大小以简化输入。此外，该框架可用于分析信息内容和任务性能之间的权衡。训练神经网络后，**bits 可以充当分析工具，以了解模型使用哪些信息来做出优化的明智决策。

深度神经网络输入简化概述

输入简化的评估是在不同的环境下进行的：常规训练、数据集压缩和事后分析。上图描述了**中涵盖的任务，首先在训练期间 **bits 充当每个实例的简化器，其中数据集中的每个图像都被简化，但图像总数保持不变。

在简化输入时，该框架删除了带有注入干扰项的任务的多余信息，而在自然图像数据集上，该框架突出显示了与任务相关的信息。所选数据集包含对任务学习有用和冗余的信息，帮助研究人员评估不同数据集上的模型准确性。通过增加简化过程，研究人员注意到不同设置的输入简化和任务性能之间的权衡报告的准确性下降。

对于通过压缩来简化数据集，数据集被压缩为每个类的几个样本，同时进行简化。在此设置中，训练数据被转换为较小的合成图像集，并进一步简化以减少编码大小而不影响任务性能。

最后，对于训练后设置，**bits 可以充当用于审计流程的事后分析工具。“我们对 **bits 引导审计的探索表明，它可以提供对单个示例中模型行为的直觉，包括查找可能导致错误分类的特征，”该团队指出。

一种基于信息的方法，可简化输入，同时保持输出性能和神经网络准确性。这可以在没有任何先验知识或专业知识的情况下完成。

该框架能够消除注入的干扰因素，保持准确性，同时降低输入数据集图像的复杂性。

它可以用作分析工具来监控任务性能和输入简化之间的权衡，以检查是否有任何重要信息未被删除。