Ouderlijk toezicht: 'kunstmatige intelligentie' die wordt gebruikt om babysitters te beoordelen op basis van hun sociale-mediamanagement
Toen Jessie Battaglia op zoek ging naar een nieuwe oppas voor haar een jaar oude zoon, wilde ze meer informatie dan ze kon krijgen van een criminele achtergrondcontrole, opmerkingen van ouders en een persoonlijk interview.
Dus wendde ze zich tot Predictim, een online service die "geavanceerde kunstmatige intelligentie" gebruikt om de persoonlijkheid van een babysitter te beoordelen, en zijn scanners richtte op de duizenden Facebook-, Twitter- en Instagram-berichten van een kandidaat.
Het systeem bood een geautomatiseerde "risicobeoordeling" van een 24-jarige kandidaat, waarbij ze zei dat ze een "zeer laag risico" had om een drugsmisbruiker te zijn. Maar het gaf een iets hogere risicobeoordeling - een twee van de vijf - voor pesten, intimidatie, "respectloos" zijn en een "slechte instelling" hebben.
Het systeem legde niet uit waarom het die beslissing had genomen. Maar Battaglia, die had geloofd dat de oppas betrouwbaar was, kreeg plotseling last van twijfel.
"Sociale media tonen iemands karakter, " zei Battaglia, 29, die in de buurt van Los Angeles woont. "Dus waarom kwam ze naar een twee en niet naar een?"
Predictim biedt ouders dezelfde playbook die tientallen andere technologiebedrijven aan werkgevers over de hele wereld verkopen: kunstmatige intelligentiesystemen die iemands spraak, gezichtsuitdrukkingen en online geschiedenis analyseren met beloften van het onthullen van de verborgen aspecten van hun privéleven.
De technologie verandert de manier waarop sommige bedrijven personeel aanprijzen, aannemen en beoordelen, en biedt werkgevers een ongeëvenaarde kijk op sollicitanten via een nieuwe golf van invasieve psychologische beoordeling en surveillance.
Het technologiebedrijf Fama zegt dat het AI gebruikt om de sociale media van werknemers te polsen naar 'toxisch gedrag' en hun bazen te waarschuwen. En het recruitment-technologiefirma HireVue, dat samenwerkt met bedrijven zoals Geico, Hilton en Unilever, biedt een systeem dat de toon, woordkeuze en gezichtsbewegingen van sollicitanten tijdens video-interviews automatisch analyseert om hun vaardigheden en gedrag in het werk te voorspellen. (Kandidaten worden aangemoedigd om te glimlachen voor het beste resultaat.)
Maar critici zeggen dat Predictim en soortgelijke systemen hun eigen gevaren presenteren door geautomatiseerde en mogelijk levensveranderende beslissingen vrijwel ongecontroleerd te maken.
De systemen zijn afhankelijk van black-box-algoritmen die weinig details geven over hoe ze de complexiteit van iemands innerlijke leven hebben gereduceerd tot een berekening van deugd of schade. En zelfs als de technologie van Predictim invloed heeft op het denken van ouders, blijft deze volledig onbewezen, grotendeels onverklaarbaar en kwetsbaar voor rustige vooroordelen over hoe een geschikte babysitter moet delen, kijken en spreken.
Er is deze "gekke rush om de kracht van AI te grijpen om allerlei beslissingen te nemen zonder te zorgen dat het verantwoording aflegt aan de mens", zegt Jeff Chester, de uitvoerend directeur van het Center for Digital Democracy, een groep die technologie bepleit. "Het is alsof mensen de digitale Kool-Aid hebben gedronken en denken dat dit een geschikte manier is om ons leven te sturen."
De scans van Predictim analyseren de volledige geschiedenis van de sociale media van een babysitter, die voor veel van de jongste kinderen het grootste deel van hun leven aankan. En de sitters krijgen te horen dat ze een groot nadeel zullen hebben voor de competitieve banen als ze weigeren.
Predictim's chef en mede-oprichter Sal Parsa zei dat het bedrijf, vorige maand gelanceerd als onderdeel van de University of California in Berkeley's SkyDeck tech incubator, ethische vragen over het gebruik van de technologie serieus neemt. Ouders, zei hij, zouden de beoordelingen moeten zien als een metgezel die "al dan niet de feitelijke kenmerken van de persoon weergeeft".
Maar het gevaar van het inhuren van een problematische of gewelddadige babysitter, voegde hij eraan toe, maakt de AI een noodzakelijk hulpmiddel voor elke ouder die zijn of haar kind veilig wil houden.
"Als u op zoek bent naar misbruikende babysitters op Google, ziet u nu honderden resultaten", zei hij. "Er zijn mensen die geestelijk ziek zijn of gewoon slecht geboren zijn. Ons doel is om alles te doen om ze tegen te houden."
Een Predictim-scan begint bij $ 24, 99 en vereist de naam en het e-mailadres van een babysitter en haar toestemming om brede toegang tot haar sociale media-accounts te delen. De babysitter kan weigeren, maar een ouder wordt op de hoogte gebracht van haar weigering en in een e-mail krijgt de oppas te horen: "de geïnteresseerde ouder kan je pas inhuren als je dit verzoek hebt gedaan."
De executives van Predictim zeggen dat ze taalverwerkingsalgoritmen en een beeldherkenningssoftware gebruiken die bekend staat als "computer vision" om de Facebook-, Twitter- en Instagram-berichten van babysitters te beoordelen op aanwijzingen over hun offline leven. De ouder krijgt het rapport uitsluitend en hoeft de persoon die de resultaten geeft niet te vertellen.
Ouders zouden vermoedelijk zelf naar de sociale media-accounts van hun kinderen kunnen kijken. Maar de door de computer gegenereerde rapporten beloven een grondige inspectie van jarenlange online activiteiten, opgedreven tot een enkel cijfer: een bedwelmend eenvoudige oplossing voor een onpraktische taak.
De risicoclassificaties zijn onderverdeeld in verschillende categorieën, waaronder expliciete inhoud en drugsmisbruik. De startup heeft ook geadverteerd dat haar systeem babysitters kan beoordelen op andere persoonlijkheidskenmerken, zoals beleefdheid, het vermogen om met anderen samen te werken en 'positiviteit'.
Het bedrijf hoopt de multibillion-dollar "ouderlijke outsourcing" -industrie op te krikken en is begonnen met reclame via betaalde sponsoring van ouderschap en "mummy" -blogs. De marketing van het bedrijf is sterk gericht op het vermogen om verborgen geheimen bloot te leggen en 'de nachtmerrie van elke ouder' te voorkomen, daarbij verwijzend naar criminele zaken, waaronder die van een babysitter uit Kentucky die eerder dit jaar werd aangeklaagd wegens een ernstige verwonding aan een meisje van acht maanden oud.
"Hadden de ouders van het kleine meisje die door deze oppas geblesseerd waren Predictim kunnen gebruiken als onderdeel van hun onderzoeksproces, " een bedrijfsmarketingdocument zegt, "dan zouden ze haar nooit alleen hebben gelaten met hun dierbare kind."
Maar tech-experts zeggen dat het systeem zelf rode vlaggen op de markt brengt, inclusief de zorgen dat het de angst van ouders op zich neemt om persoonlijkheidsscans van ongeteste nauwkeurigheid te verkopen.
Ze vragen zich ook af hoe de systemen worden getraind en hoe kwetsbaar ze kunnen zijn om de vage betekenissen van het gebruik van sociale media door sitters verkeerd te begrijpen. Voor alle, behalve de scans met het hoogste risico, krijgen de ouders alleen een suggestie van twijfelachtig gedrag en geen specifieke frases, links of details om zelf te beoordelen.
Toen de scan van een babysitter werd gesignaleerd voor mogelijk pestgedrag, zei de zogende moeder die erom vroeg, dat ze niet kon vertellen of de software een oud filmcitaat, songtekst of andere zin had gespot in tegenstelling tot de daadwerkelijke pesttaal.
Maar Predictim zegt toch dat het zich opmaakt voor een landelijke uitbreiding. Executives op Sittercity, een online babysitter-marktplaats die door miljoenen ouders wordt bezocht, zeiden begin volgend jaar een pilootprogramma op te zetten dat de geautomatiseerde beoordelingen van Predictim zal opvouwen in de huidige reeks screenings en achtergrondcontroles van de site.
"Het vinden van een oppas kan met heel wat onzekerheid komen", zegt Sandra Dainora, productmanager van Sittercity, die gelooft dat tools zoals deze binnenkort "standaardvaluta" zouden kunnen worden voor het online vinden van zorgverleners. "Ouders zijn altijd op zoek naar de beste oplossing, het meeste onderzoek, de beste feiten."
The Washington Post