1.清理数据集

         人们可能认为数据科学家将大部分时间花在编写深度学习模型上，但根据Pramudi的说法，实际情况大不相同。“90%的工作都花在处理数据上；了解数据的[性质]、监管数据的进入、清理数据……只有一小部分时间花在构建学习模型上。”

例如，对于扫描简历的公司，清理数据可能涉及删除姓名（种族偏见）、位置（地理或社会经济偏见）、性别（性别偏见）、出生日期（年龄偏见）等。这个过程被称为盲目招聘。

David表示同意：“在Vervoe，我们在构建机器学习模型之前花了两年时间收集干净的数据：两年的候选人完成评估，这些评估由人类手动评分以建立数据集。”

2.在模型准备好之前不要启动人工智能招聘

“你不能只是训练一个系统然后说'它来了！'并将其释放到世界上”，大卫说。“你必须谨慎。它接触的越多，它学到的就越多，它被证明的越多，你就越信任它。否则就是不负责任。”

Seek也有类似的方法。“我们不会不考虑后果就将某些东西放生，”Pramudi说。有时我们会推迟发布，因为我们不舒服或没有准备好。在某些情况下，我们甚至在发布后将内容撤出。”

AI模型应该有几组眼睛。对于聊天机器人等基于规则的人工智能场景，需要对问题、结果和决策树进行审核，以确保构建它们的人没有下意识地插入关于好坏的先入为主的想法。

同样，进入机器学习模型的数据应该有几个人查看，或者通过外部审计以确保它尽可能无偏见。

3.持续监控机器学习以防止招聘中的人工智能偏见

避免对机器学习采取一劳永逸的方法。必须不断监控该模型，以确保不会引入AI招聘偏见。Pramudi建议通过放入已知偏差（如性别偏差）并查看其输出结果来测试模型。“上线后持续测试和监控，并从使用它的人那里收集持续的反馈”，他说。

“一劳永逸是行不通的”，大卫同意。“你不能在代表整个世界的数据集上训练你的模型；你只能尽最大努力确保这是一个非常好的发布起点，然后从那里开始积极学习”。

4.问问自己模型是否在看正确的东西

从道德角度正确地进行机器学习从做人开始。“我们明白开发一个有助于决定是否有人被录用的系统是一项巨大的责任，”大卫说。“我们非常认真地对待这一点，并通过质疑人工智能评判候选人的方式来对待它。我们愿意在这些事情上受到审判吗？我们是否希望有人根据我们的姓氏、性别或我们在在线评估中回答问题的速度来判断我们？”

作为一项新技术，在人工智能招聘伦理、人工智能招聘偏见和数据模型治理方面，工业界或学术界都没有真正的共识。Seek制定了从精神和偏见角度评估和验证其流程和模型的内部指南，并进行了外部审计。