美国科技作家凯茜·奥尼尔:#Facebook# 通过不断优化算法,引发用户冲突来赚钱

  • 麻省理工科技评论
  • 2022-11-22 23:32:37
【美国科技作家凯茜·奥尼尔:Facebook 通过不断优化算法,引发用户冲突来赚钱】

2008 年金融危机 初期,凯茜·奥尼尔(Cathy O’Neil)还在金融行业工作。她亲身体验了人们有多么信任算法,以及这造成了多大的破坏。

她沮丧地跳到科技行业,但她发现了类似的事情:从业者对定向广告和抵押贷款支持证券(MBS,Mortgage-Backed Security)风险评估模型抱有同样的盲目相信。所以她离开了。

“我不认为我们当时所做的事情是值得信赖的,”她说。

一种“身为同谋”的情绪,促使她撰写了一本有关大数据对社会造成负面影响的书。

这本书于 2016 年出版,打破了“算法是客观的”的主流观点,她用一个又一个例子揭示了算法如何加剧社会上的不平等。

凯茜说,在她的书出版之前,“人们并没有真正理解算法,他们不是预测,而是分类……这不是一个数学问题,而是一个政治问题,一个信任问题。”

凯茜试图证明许多算法都依赖历史数据进行训练和识别模式,并且还针对特定的“成功概念”进行优化:“像你这样的人在过去是成功的,所以(它)倾向于预测你在未来会成功。”或者“像你这样的人曾经是失败的,所以你未来也很可能是失败者。”

这似乎是一种明智的方法。但凯茜揭示了这些算法是如何以显著的、具有破坏性的方式崩溃的。

例如在监狱系统中,有的算法被设计用于预测犯人再次被捕的概率,这可能会导致不公平的结果,而且它通常针对有色人种、穷人、“瘾君子”、生活在糟糕社区的人、或者那些存在心理问题的人。

麻省理工科技评论 》:从算法到羞耻感,这是一个不小的跨越。你是如何将这两点联系起来的?

凯茜·奥尼尔:我研究了算法武器化背后的力量。它通常基于这样一种观点:你的学识不足以质疑算法背后的、科学的数学公式。这本身就是是一种羞辱。

戳链接查看详情:美国科技作家凯茜·奥尼尔:Facebook通过不断优化算法,引发用户冲突来赚钱
美国科技作家凯茜·奥尼尔:#Facebook# 通过不断优化算法,引发用户冲突来赚钱