In haar derde blog voor het Britse mediadata en -softwarebedrijf Mediatel geeft professor Karen Nelson-Field een overzicht van vijf kwaliteitsrichtlijnen voor op aandacht gebaseerde bereikmetingen. Volgens haar is het belangrijk om aan de leverancier van aandachtdata te vragen of dat het menselijke datawaarnemingen zijn die het model voeden, of dat de data in een natuurlijke setting worden gemeten en of de inschatting van de kijkrichting accuraat is. Verder zijn ook privacy en testen of het model werkt in verschillende condities belangrijk. Screenforce heeft haar blog vertaalt.

Betere stenen voor een beter huis
Nu de reclame-industrie bezig is met het bouwen van een op aandacht gebaseerde bereikeconomie is het belangrijk dat we richtlijnen opstellen over welk soort onderzoek de juiste data oplevert. In een recente blog van bereikonderzoek expert Brian Jacobs gebruikt hij de analogie van ‘betere bouwstenen bij het bouwen van huizen’. Hij stelt dat de media-industrie niet alleen een beter huis wil maar dat je voor een beter huis ook betere stenen nodig hebt. Het is logisch dat je als een huis bouwt met slechte stenen het huis eerder om zal vallen. Dat spreekt mij aan. De media-industrie is het eens dat er een beter huis moet komen en we zijn het eens dat aandachtmetingen daarbij een oplossing vormen. Maar, zoals door mij voorspeld zijn recent, in het kielzog van de snel groeiende populariteit van aandachtmetingen, veel leveranciers opgestaan. Sommige daarvan zijn goed, andere niet.

Achterstand, verwarring en angst voor verandering
Waarom is dit belangrijk? Meer aanbieders zijn goed voor een zich ontwikkelende bedrijfstak maar alleen maar als de producten die ze leveren betrouwbaar en effectief zijn. We hebben het over onderzoek data en niet over waspoeder. Als een waspoeder niet goed wast kies je een ander merk. Wanneer onderzoek data slecht zijn loop je het risico van besmette systemen en nutteloze resultaten. Slechte data zetten ons op een achterstand, zorgen voor verwarring en zullen zorgen voor angst voor verandering. We moeten voorzichtig zijn met simulatiemodellen die beweren dat ze aandacht meten en kritisch zijn over verwachtingen die niet realistisch zijn. We moeten richtlijnen definiëren voor hoe we de betrouwbaarheid kunnen vergelijken van de verschillende aandacht datamodellen die worden aangeboden door de verschillende leveranciers.

Vijf essentiële vragen
Begin met de volgende vragen, als je leverancier ze niet kan beantwoorden dan probeert hij je waarschijnlijk slechte bouwstenen te verkopen:

1. Zijn het menselijke datawaarnemingen die het model voeden?
Je kan alleen goed meten of dat een persoon aandacht besteed aan reclame als je gebruikt maakt van een camera die gericht is op het gezicht van die persoon. Analyse van de Javascript data binnen een browser levert dat inzicht niet. De zogenaamde ‘Advanced viewabilty’ data zijn nog steeds apparaat data. Menselijke datawaarnemingen vertellen een verhaal dat een apparaat niet kan vertellen. Zelfs als we de data verzamelen bij een panel dan blijkt nog steeds dat 20% van de verzamelde views 0% aandacht hebben gekregen.

2. Worden de data op een privacy beveiligde manier verzameld?
Vertrouwen is essentieel wanneer het om menselijke data gaat. Zorg dat je bij het verzamelen van proefpersonen een duidelijke opt-in en opt-uit hanteert. Plus databeveiliging en duidelijke afspraken over hoe lang je de data bewaart. Er zijn nu al malware apps actief die zich voordoen als eye-tracking metingen. We verplaatsen het bereikonderzoek letterlijk in het oog van de respondent en hebben daarom een ethische verplichting om een juist geïnformeerd panel op te zetten wiens data veilig zijn en worden gekoesterd.

3. Worden de data in een natuurlijke setting gemeten?
Mensen moet zich in een natuurlijke omgeving bevinden om natuurlijk gedrag te vertonen. Ze gedragen zich daarentegen onnatuurlijk, waarbij ze zich harder concentreren, in een onnatuurlijke omgeving. Je krijgt de meest accurate bereikdata wanneer de kijker wordt blootgesteld aan de reclame in een volledig normale setting. Vraag aan de leverancier of de data zijn verzameld op een echt, niet alleen realistisch, platform. Verzameld via een passieve camera en niet via een bril. Of de meting kalibratie vrij is, geen apparaat dat eerst moet worden fijn gesteld omdat de uitkomsten anders niet nauwkeurig zijn. En in de normale omgeving zijn verzameld, niet in het laboratorium.

4. Is de inschatting van de kijkrichting accuraat?
Blikrichting modellen onthullen waar een persoon naar kijkt en om deze blikrichting accuraat te meten moeten deze modellen gevoed worden met uitgebreide trainingsdata. Nieuwe modellen en modellen die weinig toegang hebben gekregen tot trainingsdata zijn minder accuraats. Eis transparantie, ‘granulariteit’ (detaildata) en continuïteit van de leverancier. Doe je dat niet dan weet je niet of dat er aandacht is besteed aan de reclame. Het ligt niet voor de hand dat leveranciers specifieke details over millimeter afwijkingen zullen melden maar vraag specifiek naar:

Granulariteit – Kan het model onderscheid maken tussen ogen op de reclame versus ogen op het scherm?
Voortdurende verbetering – Wordt het model steeds verbeterd op basis van een reeks van verschillende data, met name wanneer platforms hun productaanbod regelmatig vernieuwen?
Individueel niveau data – Worden de data op een geaggregeerd of op een individueel niveau getraind?
Verzamel condities – Worden de data in een natuurlijke setting verzameld en wordt er ook op data aggregatie (edge processing) gecontroleerd?
Validatie – Wordt er gecheckt of dat het model meet wat het beweert te meten? En is er bekend of het model een aantal inherente afwijkingen heeft?

5. Werkt het model ook onder verschillende condities
Een aandachtmeting is niet goed als de meting niet net zo precies is in verschillende condities. Als het steeds dezelfde base-line resultaten laat zien over verschillende condities dan kun je de techniek gebruiken om op een grote schaal voorspellingen te doen over de aandacht voor reclame in de toekomst. Bijvoorbeeld vraag aan de leverancier of het model dezelfde patronen laat zien qua uitkomsten in verschillende landen, over verschillende platforms, reclameformats, apparaten, type proefpersonen en over langere tijd. Wanneer er grote verschillen zijn per conditie dan is er vaak wat mis.

Nieuw Colosseum
In de eerste eeuw voor Christus schreef Marcus Vitruvius Pollio, een Romeinse bouwkundige, dat de praktijk van de architectuur gebaseerd moet zijn op regels en principes. Zowel ideologisch als praktisch. Hij formuleerde de wetten van orde, compositie, beweging, symmetrie, gepastheid en economie. Deze regels zouden voorkomen dat gebouwen vroegtijdig in verval raken. Vitruvius zijn advies is vele eeuwen gevolgd en zijn werk vormt nog steeds de basis voor veel universitaire bouwkunde opleidingen over de hele wereld. Nu de reclame-industrie bezig is met het bouwen van een op aandacht gebaseerde bereikeconomie is het belangrijk dat de richtlijnen over welk soort onderzoek de juiste data oplevert blijven volgen. Als architect van de aandachteconomie geloof ik dat zolang we de richtlijnen menselijk, privacygevoelig, natuurlijk, accuraat en consistent blijven toepassen, de aandachteconomie een lang leven zal lijden. Dat zou zo maar een nieuw Colosseum kunnen zijn.

—
Professor Karen Nelson-Field is mediawetenschapper en oprichter van onderzoeksbureau Amplified Intelligence. Ze schijft een maandelijkse blog voor Mediatel News waarin ze uitlegt hoe merken aandacht kunnen toepassen om hun online reclames beter te meten en om hun digitale ecosysteem beter in te richten. Deze tekst is een vertaling door Screenforce van de blog van Karen Nelson-Field voor Mediatel.