Amazon-ansatte snyder AI-evaluering med bullshit-arbejde — og det er viralt af en grund

En ny Version2-artikel afslører noget fascinerende og foruroligende på samme tid: Amazon-ansatte har systematisk lært at producere 'bullshit-arbejde' for at score bedre i virksomhedens AI-evalueringer.

AI-systemer bruges i stigende grad til at måle medarbejdernes produktivitet og kvalitet. Men medarbejderne har fundet hullet: Hvis du producerer indhold der scorer godt på AI-metrikkerne, er det ligegyldigt om det faktisk er nyttigt.

Hvad er bullshit-arbejde?

Begrebet stammer fra sociologen David Graeber og beskriver arbejde der ikke skaber reel værdi men blot ser ud som om det gør. I Amazon's tilfælde handler det om at generere output der opfylder AI-evaluatørernes kriterier uden egentlig at bidrage til virksomhedens mission.

Det er et klassisk eksempel på Goodharts lov: Når et mål bliver en måling, holder det op med at være et godt mål.

Hvad siger det om AI?

Historien er gået viralt fordi den berører en fundamental bekymring ved AI-systemer: De er svære at narre, men ikke umulige. Og når de bruges som evalueringsredskaber, kan de skabe perverse incitamenter.

For virksomheder der implementerer AI-baseret performancemåling er dette en vigtig lektie: Vær forsigtig med hvad du måler, for det er præcis det dine medarbejdere vil optimere for.