-
不透明
【问题】临时工越来越多地被不透明的算法所评价
临时工越来越多地被不透明的算法所评价。这使他们变得偏执。
这些系统可以为自由职业者创造一个 "无形的牢笼"。
在互联网的某个角落，你很可能已经被评级了。
这些评级帮助各种企业做出决定，比如在哪里承担风险，以及如何改善他们的运营。但是，评级是如何影响被评级的人的呢？凯洛格大学的哈蒂姆-拉赫曼(Hatim Rahman)的新研究表明，尽管这些算法不透明--事实上主要是因为这种不透明--它们正在影响被评级者。
它们正在以意想不到的方式塑造人们的行为。
管理和组织学助理教授拉赫曼调查了算法对自由职业者在线劳动平台的影响。"Rahman说："现在有很多关于未来工作的对话，以及它将是什么样子的。"这些平台是下一个前沿领域的一部分。"
像许多承诺将自由职业者与付费客户联系起来的网站（其中包括Upwork、TopCoder和TaskRabbit）一样，接受Rahman审查的网站采用了一种复杂的算法对自由职业者进行评分。潜在的客户可以根据这个分数来分类和选择潜在的雇员。
为了了解这种不透明的评估系统对自由职业者的影响，拉赫曼加入了这个平台（他将其化名为 "TalentFinder"），并对自由职业者和雇用他们的客户进行了采访。他还分析了TalentFinder的书面通讯和自由职业者讨论区的帖子。
所有与他交谈过的工人都经历了持续的偏执，担心分数可能会突然下降，而且无法解释。他们对这种恐惧的反应与其说是取决于他们的评级强度，不如说是取决于他们以前是否经历过分数的下降--关键是，他们对平台的收入依赖程度。
拉赫曼解释说，传统上，学者们将工作场所的评价描述为帮助收紧工人的 "铁笼子"，因为它们允许雇主限制行为并设定成功标准。算法评价具有不同的、潜在的破坏性影响。
"拉赫曼写道："不透明的第三方评价可以为工人创造一个'无形的笼子'，"因为他们将这种评价视为一种控制形式，但却无法解读或学习成功的标准。"
当然，正如Rahman所指出的，我们中的许多人不仅生活在这种无形的笼子里，我们还在塑造它的条条框框方面发挥了小小的作用。每当我们给亚马逊购物或Lyft司机打分时，我们都在潜在地影响他人的生计。
"使用这些平台的人基本上没有意识到他们在影响这些系统及其算法方面的作用，"他说。"它只是感觉是一种非常交易性的关系。"
让评价标准变得神秘
"TalentFinder "是同类产品中最大的平台之一。2015年，超过1200万名自由职业者在该网站上注册，还有500万名客户在100多个国家注册。客户可以从各种各样的临时工中选择，从助理到营销人员到软件工程师。2013年，当拉赫曼在TalentFinder注册开始他的研究时，该平台根据一个透明的项目评分和综合评分系统对自由职业者进行评分。项目完成后，客户会根据 "技能"、"工作质量 "和 "遵守时间表 "等多项属性，对自由职业者进行1到5分的评分。将这些分数汇总后得出项目总分，并将这些项目分数（根据每个项目的美元价值加权）合并，得出五颗星的总评分，并将其列入自由职业者的简介中。
尽管这个评估系统很直接，但它给TalentFinder带来了一个问题：自由职业者的评分全面过高，缺乏对客户有帮助的差异性。有一次，90%以上的自由职业者至少有四颗星，80%的人有接近完美的评价。
"我认为无形的笼子的比喻更广泛地适用，因为我们正在进入这个系统，在这个系统中，我们所做的一切，所说的一切，以及我们如何互动，都在向我们不一定意识到的算法提供信息。"
- 哈蒂姆-拉赫曼
解决方案：一种算法。从2015年开始，自由职业者被按1到100的等级进行评级，依据的是有意的神秘标准。
"TalentFinder在算法推出三个月后的一篇公开博文中写道："我们不透露你的分数的具体计算方法。"这样做会使一些用户更容易人为地提高他们的分数。" 新算法实施后，只有约5%的自由职业者获得了90分或以上。
为了研究新评价系统对自由职业者的影响，拉赫曼从三个方面收集了2015年至2018年的数据。与自由职业者进行的80次访谈和与客户进行的18次访谈；书面交流，包括两千多条与算法有关的TalentFinder社区讨论板信息和TalentFinder关于该主题的所有公开帖子；以及他自己作为注册客户的观察。
普遍的偏执狂
当Rahman整理他的采访和书面资料时，他被他听到的抱怨的一致性所震惊。所有与他交谈过的自由职业者都对他们的分数可能突然下降感到偏执，并对他们无法从分数的波动中学习和改进感到沮丧。
"他说："最让我吃惊的是，平台上表现最好和最有经验的自由职业者在弄清算法如何运作方面并不一定获得任何优势。"一般来说，那些在一个系统中表现良好的人能够在某种程度上弄清楚发生了什么。但在这种情况下，即使是那些分数没有变化的人也非常紧张。"
拉赫曼观察到对这种偏执和沮丧的两种不同反应。一种反应是他所说的 "实验性反应"--自由职业者试图通过试验和错误来提高他们的分数，例如，只承接合同期短的项目，或主动要求客户发送反馈。
另一种反应是，自由职业者试图通过拉赫曼所说的 "受限活动 "来保护他们的分数。自由职业者试图通过各种方式来限制他们对评估算法的接触，有时要求他们在TalentFinder上遇到的客户离开该平台进行沟通和付款，这样他们的评分就不会受到影响。其他人则什么都不做，希望这样能保持他们的评级。
如何建立人人都能信任的人工智能
拉赫曼分离出两个主要因素，决定了哪些自由职业者进行了试验，哪些从平台上撤下来或干脆什么都不做：自由职业者对平台收入的依赖程度，以及他们的分数是否下降。
这取决于自由职业者的分数是高还是低。
高度依赖平台的高评分自由职业者根据他们最近是否看到分数下降来选择他们的策略。那些看到分数下降的人尝试了提高分数的策略；如果他们的分数没有下降，他们就会限制他们在平台上的活动，以保护他们的分数。对平台依赖度低的高绩效者限制了他们在 TalentFinder 上的时间，无论他们是否经历过分数下降。
对于分数较低的自由职业者，他们对平台的依赖似乎决定了他们走哪条路。如果他们依赖平台，即使分数继续波动，他们也会进行实验。如果他们不觉得与收入挂钩，他们就会逐渐限制自己的活动。
Rahman 解释说，与传统工作环境相比，这些平台上的工人职位感觉更不稳定，因为确实如此。虽然典型的雇主评估主要是为了帮助员工改进，但由 TalentFinder 等网站上的算法促进的评估主要是为了帮助平台自动化从庞大的人才库中挑选“最佳”员工的工作，从而满足其客户.
“对于平台来说，关键在于优化整体动态；他们的主要目标不是帮助员工改进，”拉赫曼说。“对于人们的日常生活体验，尤其是当他们依靠平台工作时，这可能会非常令人沮丧和困难。”
住在笼子里——并塑造它
自从进行这项研究后，Rahman 说他越来越了解我们大多数人生活在其中的各种隐形笼子。例如，他指出最近的报告详细说明了从我们的电视和真空吸尘器到我们用于医疗处方
和汽车保险的智能手机应用程序如何收集我们的数据并使用它以我们基本上不可见的方式训练专有算法.
“我认为，当我们进入这个系统时，隐形笼子的比喻更广泛地适用，在这个系统中，我们所做的一切、所说的以及我们互动的方式都被输入到我们不一定意识到的算法中，”他说。
他指出，有些人比其他人更自由地退出这些平台；这一切都归结为他们对他们的依赖程度。他说，未来研究的一个富有成果的领域可能是检查种族、性别和收入等特征与对平台及其算法评估的依赖之间的关系。例如，重要的是要了解来自某些种族群体的个人是否更有可能在租用公寓、开设信用卡或加入健康保险之前被算法“评估”（并可能被列入黑名单）。
“将这种隐形笼子的比喻带到最前沿的希望是让人们意识到这种现象，并希望以一种人们可以与之相关的方式，”拉赫曼说。“当然，即使我们意识到这一点，鉴于这些系统的复杂性及其算法的变化速度，也很难知道该怎么做。”
立法开始对仍然很大程度上不受监管的领域进行一些监督。2020 年加利福尼亚州消费者隐私法案是美国最强有力的此类立法，确立了在线用户了解、删除和选择退出个人数据收集的权利。2018 年，欧盟通过了更加激进的立法到同样的目的。“这是一个令人振奋的迹象，”拉赫曼说，“但仅靠监管远非万能药。”
作者：哈蒂姆·拉赫曼 凯洛格管理学院
-
不透明
工作场所中AI决策带来的风险和思考
原文标题：Research is proving that leadership stereotypes are too stubborn to be eliminated by AI
新西兰总理哈辛达·阿尔德恩和旧金山市长伦敦·布里德等女性领导人因面对COVID-19大流行迅速采取行动而获得表彰。
但是，男性被推选为世界各地的政府领导人的人数要大得多。
这种差距并不仅限于政治领导。2019年，《福布斯》评选出100位美国"最具影响力领袖"，其中99位是男性。
缺乏多样性并不限于性别。一项针对非盈利性行业首席执行官的调查发现，87%的被调查者自认为白人。
作为领导中心的执行和学术主任，我研究就业歧视和包容。我见过许多组织希望有一个过程，从识别领导者中消除偏见。投资者希望投资于拥有多元化劳动力的企业，员工希望在不同的组织中工作。
我的研究表明，依靠数据分析来消除人类在选择领导者时的偏见是无济于事的。
AI不是万无一失的
雇主越来越依赖算法来确定谁通过应用程序门户进行面试。
正如劳工权利学者Ifeoma Ajunwa所写的那样，"算法决策是21世纪的民权问题”
2020年2月，美国众议院教育和劳工委员会召开了题为"工作的未来：保护数字时代工人公民权利"的听证会。
雇佣算法创建一个不提供透明度且不受监视的选择过程。从申请程序中被打动的申请人——或者正如Ajunwa所指的，"算法上是黑盒子的"——几乎没有法律保护。
例如，据报道，2014 年，亚马逊开始开发一个基于计算机的程序，以确定提交工作的最佳简历。其理念是自动化流程并提高效率，就像它处理业务的其他方面一样。
然而，通过使用计算机模型来观察过去10年提交的简历的模式来选择最好的，计算机自学了从男性简历被推荐为包括"妇女"一词的简历，如在妇女俱乐部或组织中。据报道，亚马逊随后放弃了该项目。
尽管历史偏见往往在不经意间内置于算法中并反映人类偏见，但菲利普·尼科尔斯最近的学术研究已经查明了可能故意操纵底层算法以造福第三方的另一个威胁。
无意或无意地检测算法偏差的能力是极其困难的，因为它可能发生在 AI 开发的任何阶段，从数据收集到建模。
因此，尽管组织可以基于对领导特质的研究和分析获得领导力分析工具，但白人男性领袖的刻板印象根深蒂固，有时甚至会由那些自己多元化的人长期存在。不能仅仅通过开发选择引线的算法来消除这一点。
面试后
构建这些算法的数据呈指数级增长。
一家视频面试服务，HireVue，自夸其能够在一次30分钟的面试中检测数千个数据点，从句子结构到面部动作，以确定与其他申请人的就业能力。
想象一下，当前雇主有机会不断收集数据，以确定其员工的领导潜力和晋升。例如，工作场所的摄像头可以全天收集面部表情，尤其是在进出工作场所时。
数据越来越多地不仅在工作日或工作期间收集，而且在下班期间收集。在最近的一篇文章中，Leora Eisenstadt教授确定了工作场所计划，这些程序收集了大量有关员工从Facebook帖子和 Fitbit 使用中的下班行为的数据，例如，对将来使用数据没有透明度。然后，雇主们利用这些数据来绘制相关性来预测工作场所的成功。
正如艾森施塔特指出的，大多数工人"可能会因为这样一种观念而感到恼火，即他们对啤酒的品味、对独立摇滚的热爱和对《华盛顿邮报》的偏爱，以及数千个其他变量，都可以用来决定职业发展机会、领导潜力和未来职业成功。
然而，这种潜力今天存在于工作场所，法律根本无法赶上那些想知道其雇员晋升和领导力投资的雇主收集和利用的大量数据。
在许多情况下，员工同意收集元数据，而没有彻底了解这些数据可以揭示的内容，以及如何使用它来帮助或阻碍职业生涯。
朱莉·曼宁·马吉德是IUPUI商法教授
扫一扫 加微信
hrtechchina
