AI可解释性的挑战
在医学成像应用的可解释AI研究中，发现该领域的工作很少基于对用户与xAI系统的潜在交互的理解。大多数最先进的研究仅来自机器学习领域，仅基于研究人员对内部模型工作的哪些信息对任何特定利益相关者可能有价值的理解。这导致了现有的xAI方法可能无法满足目标用户的需求。
目前没有广泛接受的标准来确定AI算法的可解释性，缺乏评估临床医生使用AI模型的经验的研究。这使得AI供应商在考虑建立解决方案时，需要考虑可解释性的社会和心理方面。
研究发现，认知偏差会影响对最先进的xAI方法的解释，且对AI辅助病理学的期望往往是不合理的。人们倾向于选择相关且易于理解的理由来解释为什么会取得某种结果，这也适用于我们与AI和xAI系统的交互。
人工智能的可解释性技术在短期内还无法从根本上解决过度依赖人工智能的问题。当人机合作完成一项困难的任务时，人工智能的解释往往和任务本身一样复杂。这会导致人们更容易相信人工智能提供的答案，提高对人工智能的依赖度，而不是自己深入研究原文或人工智能的解释。
AI可解释性的解决方案
研究人员需要更好地理解在数字和人工智能辅助病理学的背景下，将现有方法整合到人类和人工智能之间的交互中的含义。这包括通过视频采访等方式，询问目标用户对现有xAI方法的看法和建议。
对于临床人工智能认证监管方面的开发利益相关者来说，仔细定义透明度和可解释性的要求，并意识到将其作为临床人工智能系统的组件可能产生的二阶效应非常重要。这意味着相关部门需要制定一套标准，以确保AI算法的可解释性能够满足用户的实际需求。
为了减少认知偏差的影响，AI供应商需要考虑建立解决方案可解释性的社会和心理方面。此外，教育用户了解这种对简单性的偏好可能导致的认知偏见也是非常重要的。
技术开发者可以利用简化人工智能的可解释功能的原则来激励人们减少对人工智能的过度依赖。这包括进一步简化人工智能的可解释功能，更好地帮助人们在处理复杂任务的时候找出人工智能的错误。
尽管可解释性技术在短期内还无法从根本上解决过度依赖人工智能的问题，但通过当前的可解释性方法建立信任的愿望代表了一种虚假的希望：即个人用户或受人工智能影响的用户能够通过审查解释（即特定于该单个决定的解释）来判断人工智能决策的质量。因此，强化人工智能的验证过程，确保其决策质量是必要的。
