-
评价
【问题】临时工越来越多地被不透明的算法所评价
临时工越来越多地被不透明的算法所评价。这使他们变得偏执。
这些系统可以为自由职业者创造一个 "无形的牢笼"。
在互联网的某个角落，你很可能已经被评级了。
这些评级帮助各种企业做出决定，比如在哪里承担风险，以及如何改善他们的运营。但是，评级是如何影响被评级的人的呢？凯洛格大学的哈蒂姆-拉赫曼(Hatim Rahman)的新研究表明，尽管这些算法不透明--事实上主要是因为这种不透明--它们正在影响被评级者。
它们正在以意想不到的方式塑造人们的行为。
管理和组织学助理教授拉赫曼调查了算法对自由职业者在线劳动平台的影响。"Rahman说："现在有很多关于未来工作的对话，以及它将是什么样子的。"这些平台是下一个前沿领域的一部分。"
像许多承诺将自由职业者与付费客户联系起来的网站（其中包括Upwork、TopCoder和TaskRabbit）一样，接受Rahman审查的网站采用了一种复杂的算法对自由职业者进行评分。潜在的客户可以根据这个分数来分类和选择潜在的雇员。
为了了解这种不透明的评估系统对自由职业者的影响，拉赫曼加入了这个平台（他将其化名为 "TalentFinder"），并对自由职业者和雇用他们的客户进行了采访。他还分析了TalentFinder的书面通讯和自由职业者讨论区的帖子。
所有与他交谈过的工人都经历了持续的偏执，担心分数可能会突然下降，而且无法解释。他们对这种恐惧的反应与其说是取决于他们的评级强度，不如说是取决于他们以前是否经历过分数的下降--关键是，他们对平台的收入依赖程度。
拉赫曼解释说，传统上，学者们将工作场所的评价描述为帮助收紧工人的 "铁笼子"，因为它们允许雇主限制行为并设定成功标准。算法评价具有不同的、潜在的破坏性影响。
"拉赫曼写道："不透明的第三方评价可以为工人创造一个'无形的笼子'，"因为他们将这种评价视为一种控制形式，但却无法解读或学习成功的标准。"
当然，正如Rahman所指出的，我们中的许多人不仅生活在这种无形的笼子里，我们还在塑造它的条条框框方面发挥了小小的作用。每当我们给亚马逊购物或Lyft司机打分时，我们都在潜在地影响他人的生计。
"使用这些平台的人基本上没有意识到他们在影响这些系统及其算法方面的作用，"他说。"它只是感觉是一种非常交易性的关系。"
让评价标准变得神秘
"TalentFinder "是同类产品中最大的平台之一。2015年，超过1200万名自由职业者在该网站上注册，还有500万名客户在100多个国家注册。客户可以从各种各样的临时工中选择，从助理到营销人员到软件工程师。2013年，当拉赫曼在TalentFinder注册开始他的研究时，该平台根据一个透明的项目评分和综合评分系统对自由职业者进行评分。项目完成后，客户会根据 "技能"、"工作质量 "和 "遵守时间表 "等多项属性，对自由职业者进行1到5分的评分。将这些分数汇总后得出项目总分，并将这些项目分数（根据每个项目的美元价值加权）合并，得出五颗星的总评分，并将其列入自由职业者的简介中。
尽管这个评估系统很直接，但它给TalentFinder带来了一个问题：自由职业者的评分全面过高，缺乏对客户有帮助的差异性。有一次，90%以上的自由职业者至少有四颗星，80%的人有接近完美的评价。
"我认为无形的笼子的比喻更广泛地适用，因为我们正在进入这个系统，在这个系统中，我们所做的一切，所说的一切，以及我们如何互动，都在向我们不一定意识到的算法提供信息。"
- 哈蒂姆-拉赫曼
解决方案：一种算法。从2015年开始，自由职业者被按1到100的等级进行评级，依据的是有意的神秘标准。
"TalentFinder在算法推出三个月后的一篇公开博文中写道："我们不透露你的分数的具体计算方法。"这样做会使一些用户更容易人为地提高他们的分数。" 新算法实施后，只有约5%的自由职业者获得了90分或以上。
为了研究新评价系统对自由职业者的影响，拉赫曼从三个方面收集了2015年至2018年的数据。与自由职业者进行的80次访谈和与客户进行的18次访谈；书面交流，包括两千多条与算法有关的TalentFinder社区讨论板信息和TalentFinder关于该主题的所有公开帖子；以及他自己作为注册客户的观察。
普遍的偏执狂
当Rahman整理他的采访和书面资料时，他被他听到的抱怨的一致性所震惊。所有与他交谈过的自由职业者都对他们的分数可能突然下降感到偏执，并对他们无法从分数的波动中学习和改进感到沮丧。
"他说："最让我吃惊的是，平台上表现最好和最有经验的自由职业者在弄清算法如何运作方面并不一定获得任何优势。"一般来说，那些在一个系统中表现良好的人能够在某种程度上弄清楚发生了什么。但在这种情况下，即使是那些分数没有变化的人也非常紧张。"
拉赫曼观察到对这种偏执和沮丧的两种不同反应。一种反应是他所说的 "实验性反应"--自由职业者试图通过试验和错误来提高他们的分数，例如，只承接合同期短的项目，或主动要求客户发送反馈。
另一种反应是，自由职业者试图通过拉赫曼所说的 "受限活动 "来保护他们的分数。自由职业者试图通过各种方式来限制他们对评估算法的接触，有时要求他们在TalentFinder上遇到的客户离开该平台进行沟通和付款，这样他们的评分就不会受到影响。其他人则什么都不做，希望这样能保持他们的评级。
如何建立人人都能信任的人工智能
拉赫曼分离出两个主要因素，决定了哪些自由职业者进行了试验，哪些从平台上撤下来或干脆什么都不做：自由职业者对平台收入的依赖程度，以及他们的分数是否下降。
这取决于自由职业者的分数是高还是低。
高度依赖平台的高评分自由职业者根据他们最近是否看到分数下降来选择他们的策略。那些看到分数下降的人尝试了提高分数的策略；如果他们的分数没有下降，他们就会限制他们在平台上的活动，以保护他们的分数。对平台依赖度低的高绩效者限制了他们在 TalentFinder 上的时间，无论他们是否经历过分数下降。
对于分数较低的自由职业者，他们对平台的依赖似乎决定了他们走哪条路。如果他们依赖平台，即使分数继续波动，他们也会进行实验。如果他们不觉得与收入挂钩，他们就会逐渐限制自己的活动。
Rahman 解释说，与传统工作环境相比，这些平台上的工人职位感觉更不稳定，因为确实如此。虽然典型的雇主评估主要是为了帮助员工改进，但由 TalentFinder 等网站上的算法促进的评估主要是为了帮助平台自动化从庞大的人才库中挑选“最佳”员工的工作，从而满足其客户.
“对于平台来说，关键在于优化整体动态；他们的主要目标不是帮助员工改进，”拉赫曼说。“对于人们的日常生活体验，尤其是当他们依靠平台工作时，这可能会非常令人沮丧和困难。”
住在笼子里——并塑造它
自从进行这项研究后，Rahman 说他越来越了解我们大多数人生活在其中的各种隐形笼子。例如，他指出最近的报告详细说明了从我们的电视和真空吸尘器到我们用于医疗处方
和汽车保险的智能手机应用程序如何收集我们的数据并使用它以我们基本上不可见的方式训练专有算法.
“我认为，当我们进入这个系统时，隐形笼子的比喻更广泛地适用，在这个系统中，我们所做的一切、所说的以及我们互动的方式都被输入到我们不一定意识到的算法中，”他说。
他指出，有些人比其他人更自由地退出这些平台；这一切都归结为他们对他们的依赖程度。他说，未来研究的一个富有成果的领域可能是检查种族、性别和收入等特征与对平台及其算法评估的依赖之间的关系。例如，重要的是要了解来自某些种族群体的个人是否更有可能在租用公寓、开设信用卡或加入健康保险之前被算法“评估”（并可能被列入黑名单）。
“将这种隐形笼子的比喻带到最前沿的希望是让人们意识到这种现象，并希望以一种人们可以与之相关的方式，”拉赫曼说。“当然，即使我们意识到这一点，鉴于这些系统的复杂性及其算法的变化速度，也很难知道该怎么做。”
立法开始对仍然很大程度上不受监管的领域进行一些监督。2020 年加利福尼亚州消费者隐私法案是美国最强有力的此类立法，确立了在线用户了解、删除和选择退出个人数据收集的权利。2018 年，欧盟通过了更加激进的立法到同样的目的。“这是一个令人振奋的迹象，”拉赫曼说，“但仅靠监管远非万能药。”
作者：哈蒂姆·拉赫曼 凯洛格管理学院
扫一扫 加微信
hrtechchina
