A Real Reason Tech küzd az algoritmikus elfogultsággal


A gépek rasszistaak? Az algoritmusok és a mesterséges intelligencia természeténél fogva sérül? A Facebook, a Google és a Twitter politikai torzításokkal rendelkezik? Ezek a válaszok bonyolultak.

De ha a kérdés az, hogy a technológiai ipar elégséges-e az ilyen torzítások kezelésére, az egyszerű válasz nem.

VEZETETT VÉLEMÉNY

RÓL RŐL

Yaël Eisenstat egykori CIA tiszt, Biden alelnök nemzeti biztonsági tanácsadója és az ExxonMobil CSR vezetője. 2018 júniusától novemberig a Facebook-on a Választások Integritás Műveletek vezetője volt.

Figyelmeztetések arra, hogy az AI és a gépi tanulási rendszereket „rossz adatok” segítségével képezik. A leggyakrabban megfogalmazott megoldás az, hogy biztosítsák, hogy az emberek a rendszereket elfogulatlan adatokkal képezzék, ami azt jelenti, hogy az embereknek el kell kerülniük az elfogultságokat. De ez azt jelentené, hogy a technológiai vállalatok képzik a mérnökeiket és az adatkutatóikat a kognitív torzítás megértéséről, valamint arról, hogyan „harcolni”. Megállt-e valaki, hogy megkérdezze, vajon az emberek, akik táplálják a gépeket, valóban megértik, hogy mi az oka?

Olyan cégek, mint a Facebook – az egykori munkáltatóm – a Google és a Twitter – többször támadtak meg különböző elfogultságú algoritmusok ellen. Ezekre a törvényes félelmekre reagálva vezetőik megígérték, hogy belső ellenőrzéseket végeznek, és állítják, hogy küzdenek ezzel az exponenciális fenyegetéssel. Az emberek nem tudják teljes mértékben elkerülni az elfogultságot, mivel számtalan tanulmány és kiadvány mutatott rá. Ellenkező esetben ragaszkodunk egy intellektuálisan tisztességtelen és lusta válaszhoz egy nagyon valós problémához.

A Facebook-on töltött hat hónapban, ahol a vállalat üzleti integritási részlegében a Global Elections Integrity Ops vezetőjeként vettem részt, számos témakörben vettem részt. Nem tudtam senkit, aki szándékosan akarta beépíteni az elfogultságukat a munkájukba. De nem találtam senkit sem, aki valóban tudta, hogy mit jelent az elfogultság elleni küzdelemnek valódi és módszertani módon.

Több mint egy évtizede CIA tisztként dolgoztam, és több hónapos képzésen és rutinszerű továbbképzésen mentem át a feltételezések ellenőrzésére és a kognitív torzítások megértésére szolgáló strukturális módszerekkel. Ez az egyik legfontosabb készség a hírszerző tisztek fejlesztésére. Az elemzőknek és a munkatársaknak meg kell erősíteniük a feltételezések tesztelésének képességét, és meg kell tenniük a kellemetlen és gyakran időigényes munkát, hogy az események elemzése során szigorúan értékeljék saját torzításait. Meg kell vizsgálniuk az információk nyújtóinak elfogultságait – eszközöket, külföldi kormányokat, médiát, ellenfeleket – a gyűjtőknek.

Ez a fajta képzés hagyományosan a kritikus elemző gondolkodást igénylő területeken van fenntartva, és a legjobb tudásom és tapasztalatom szerint a technikai területeken kevésbé gyakori. Míg a technológiai vállalatoknak gyakran kötelező erejű „elfogultsági” képzése van, hogy segítsen a sokszínűség és a befogadás kérdéseiben, nem láttam ilyen képzést a kognitív elfogultság és a döntéshozatal területén, különös tekintettel arra, hogy hogyan kapcsolódik a termékek és folyamatok építéséhez és biztosításához.

A Facebook kollégáim által körülvett ötletek alapján semmi olyan dolog, amit évek óta csináltam – strukturált analitikai technikák, bizonyítékok mérlegelése, nem következtetésekre ugrás, kihívásokkal teli feltételezések – normális gyakorlat volt, még akkor sem, ha a megoldás megoldására került sor. az általuk épített termékek valós következményei. A „gyors mozgás” kultúra nagyrészt ezeknek a technikáknak ellentétes, mivel fontos döntések esetén lassítani kell.

Számos látszólag kicsi, de a Facebook-on töltött idejükre vonatkozó példák azt mutatják, hogy ezek a vállalatok a jó értelemben vett szándék ellenére hiányoznak a hajóról. A 2018-as amerikai félidős választások előkészítése során megkérdeztük csapatainktól, hogy fennáll-e olyan kockázat, hogy politikai hirdetéseink integritásának politikájában vádat kapunk egy konzervatív elfogultságról. A javasolt megoldások némelyike ​​azt mutatta, hogy fogalmuk sincs arról, hogyan lehet ténylegesen azonosítani vagy mérni az elfogultságot. Az egyik programmenedzser azt javasolta, hogy egyenesen összehasonlítsunk adatokat arról, hogy hány liberális vagy konzervatív hirdetést utasítottak el – egyik más elemző vagy PM nem jelezte ezt problémásnak. Úgy tűnt, hogy az ötletben rejlő hibákra vonatkozó magyarázataim nem serkentik őket, hogy ez valójában nem bizonyítja az elfogultság hiányát.

Más gyakorlatokban a munkavállalók néha hibásan írják le a hirdetéseket saját sajátos elfogultságuk alapján. Egy szembetűnő példában egy társult tévesen osztályozta az LGBT-hirdetést, amelyet egy konzervatív csoport vezetett az LGBT-ellenes hirdetésként. Amikor rámutattam, hogy a konzervatív csoportok véleményeiről az LGBT-kérdésekkel kapcsolatos feltevései helytelen címkézést eredményeztek, az én válaszomat a lánc felfelé és lefelé fordult. Ezeket a hibás jellemzéseket az emberi szemlélők és a gépeket egyaránt kiképző kézikönyvek tartalmazzák.

Ezek a hibák, amikor a helyes dolgot próbálják tenni. De megmutatják, hogy a szakképzett mérnökök és az adatkutatók korrekciós torzítással való ellátása szélesebb körben naiv és vezetői szinten bizonytalan.

Úgy vélem, hogy a korábbi Facebook munkatársaim közül sokan alapvetően jobb helyet szeretnének tenni a világnak. Kétségtelen, hogy úgy érzik, hogy olyan építési termékekről van szó, amelyeket teszteltek és elemeztek annak érdekében, hogy biztosítsák, hogy ne tartsák fenn a legcsekélyebb torzításokat. A vállalat azonban saját szigetelt buborékot hozott létre, amelyben alkalmazottai a világra vonatkozó észlelése számos, a Szilícium-völgy technológiai és innovációs színtérén belüli elfogultság eredménye.

Éppen ezért kell a technológiai iparnak ténylegesen befektetnie a valódi kognitív elfogultsági képzésbe, és fel kell hatalmaznia az igazi szakértőket, hogy foglalkozzanak ezzel a kérdéssel, szemben a sűrűséggel. A torzítás elleni küzdelem munkát végez. Noha nem várom el, hogy a vállalatok ugyanolyan szigorú képzésen dolgozzák munkatársaikat, hogy egy konkrét lépés lenne a tudatosság növelése a kognitív korlátokról a workshopokon és a képzésen keresztül.

Tavaly, amikor Svédországban egy workshopon vettem részt, egy tréner egy tipikus tesztet indított. Amint felemelte a csúszkát, tudtam, hogy ez egy kognitív torzítás; az agyam megrántotta a trükköt. Mégis kritikus gondolkodási készségem és elemző integritásom ellenére még mindig a „mintázati torzítás” nevű csapdába esett, ahol a mintákat látjuk. Néhány hónappal később egy New York-i képzett intelligencia- és biztonsági elemző csoportnak adott műhelyben mindannyian bias csapdákra esett.

Függetlenül attól, hogy képzett vagy szakképzett lehet, 100 százalékos ember dönt a kognitív elfogultságtól. Daniel Khaneman munkája, amely az emberi racionalitás feltevéseit vitatja, a viselkedési közgazdaságtan és a heurisztika más elméleteiben is arra a pontra vezet, hogy az emberek nem tudják leküzdeni az elfogultság minden formáját. Kritikus azonban a lelassítás és a megtanulás, hogy ezek a csapdák – valamint annak felismerése és kihívása. Mivel az emberek továbbra is mindent megtanítanak a gyűlöletbeszéd online megállításától kezdve a politikai hirdetések címkézéséig a tisztességesebb és méltányosabb felvételi és promóciós gyakorlatokig, az ilyen munka kulcsfontosságú.

A probléma túlzott mértékűvé válása – ami önmagában a rendelkezésre állás torzulásának eredménye – a probléma nagy része. A Facebook-on töltött időmben csalódott voltam az azonnali ugrás az „adatokra”, mint minden kérdés megoldására. Ez az impulzus gyakran elhomályosította a szükséges kritikai gondolkodást annak biztosítása érdekében, hogy a megadott információk ne legyenek megrontva a megerősítés, a minta vagy más kognitív torzítások kérdéseivel.

Nem mindig van szigorú adat-vezérelt válasz az emberi természetre. A meggyőződés, hogy az adatkészlet egyszerű futtatása minden kihívásra és minden elfogultságra megoldódik, problematikus és myopikus. Az algoritmikus, gépi és AI-torzítás elleni küzdelem érdekében az emberi intelligenciát be kell építeni a megoldásokba, ellentétben az úgynevezett „tiszta” adatok túlzott támaszkodásával.

Bár vannak olyan pozitív jelek, hogy az iparág olyan valós megoldásokat keres, mint például az IBM Research munkája a diszkrimináció csökkentésére, amely már szerepel egy képzési adatállományban, az ilyen erőfeszítések nem oldják meg az emberi természetet. A javasolt javítások némelyike ​​magában foglalja az algoritmusok újbóli megvizsgálását, vagy a gépbe betáplált adatok frissítését. De még mindig az emberek fejlesztik a mögöttes rendszereket. Az előítéletek elkerülése az egyértelmű megértése nélkül, ami valóban azt jelenti, elkerülhetetlenül kudarcot vall.

WIRED vélemény közzéteszi a külső közreműködők által írt darabokat, és számos nézőpontot képvisel. További vélemények itt. Küldj egy op-ed véleményt a következő címre: Opinion@wired.com


Nagyszerű WIRED történetek