医疗算法在预测黑人患者的健康风险中显示了严重的种族偏见（Credit: Getty Images）
据EurekAlert!：研究人员报告，一个部署于全国的医疗算法在预测黑人患者的健康风险中显示了严重的种族偏见；该算法是医疗保险业者每年为数百万人提供医疗决策信息的最大型商用工具之一。根据这一新的研究，该广泛使用的工具低估了黑人患者（而非白人患者）的健康需求。在风险评分相同时，该算法判定黑人患者比同等病情的白人要更为健康，从而减少了那些确定需要额外护理的黑人患者的数目。这些结果证明，出现这种偏差是因为该算法对健康需求的预测实际上却是对健康成本的预测。
Ruha Benjamin在相关的《视角》中写道：“…[这项]研究为技术开发的一种更具社会意识的方法做出了很大贡献，因为它们证明了一种看似良性的标签选择（即医疗成本）如何会启动一个结果有可能威胁生命的过程。”医疗机构越来越依赖算法预测来帮助识别健康风险并将资源分配给那些最需要的人。尽管在这些自动化系统中潜在的偏差是一个被承认且不断加剧的担忧，但对存在于主要为专有性商业医疗算法中偏差的独立评估一直受到限制。
Ziad Obermeyer和同事在此介绍了在全美医疗系统中广泛使用的风险预测算法的第一批评估之一。通过获取该工具的基础数据和功能，Obermeyer等人能够观察到该算法的内部运作——包括其种族性差异及其产生的方式。该算法将医疗费用作为医疗需求的代理。然而，作者认为医疗费用是一个带有种族偏见的度量。实质上，由于缺乏准入条件及存在系统性种族主义，黑人所招致的医疗成本比白人低。因此，对医疗需求的预测带有同样的偏见。
Obermeyer等人显示，用一种不同的代理所修订的算法可将种族偏见减少84%。根据这些发现，作者正在与算法的开发人员合作以减少偏差。
