Wow! Ved at interviewe personer i to timer kan man med 85% nøjagtighed forudsige deres handlinger to uger frem...

Det her er ret vildt: Ved at interviewe 1052 mennesker i dybden i to-timers interviews var forskere, vha. Generativ AI, i stand til at forudsige deres handlinger to uger frem med 85% præcision. Med alle mulige andre metoder man har forsøgt i tidens løb er man aldrig kommet højere end 70%. 

I praksis interviewede man personerne med udgangspunkt i nogle ret standard-ting, men med individuelle, opfølgende spørgsmål til deltagernes svar, så man bedre fik fat i, hvad der egentlig interesserer dem, osv. Og så gik man to parallelle veje:

Første vej: Man transskriberede interviewet og lavede en "persona"-agtig ting i AI'en baseret på dette. Og spurgte, hvad folk villle gøre 14 dage senere i givne situationer, etc.

Anden vej: Man spurgte folk 14 dage senere, hvordan de havde opført sig, reageret på ting, osv.

Og der var som nævnt 85% præcision i AI'ens forudsigelser. Og det var en AI, der foretog selve to-timers interviewsene... hvilket også er tankevækkende. 

Hvordan udspurgte AI'en  så de 1052 personer? Her er et udklip fra rapporten:

"We benchmark these agents using canonical social science measures such as the General Social Survey (GSS; 20), the Big Five Personality Inventory (21), five well-known behavioral economic games (e.g., the dictator game, a public goods game) (22-25), and five social science experiments with control and treatment conditions that we sampled from a recent large-scale replication effort (26-31)."

Link til den videnskabelige artikel: https://arxiv.org/pdf/2411.10109

Og her teksten fra det nyhedsbrev, hvor jeg læste det, som udlægger det meget fint (og kort):

Here's a mind-bending stat: AI agents can now predict your behavior with 85% accuracy - matching how well you can predict your own responses two weeks later 🤯

Stanford and Google DeepMind just trained 1,000 AI agents through an elegantly simple approach: deep, meaningful conversations.

Not demographic data. Not personality profiles. Just two-hour interviews about life experiences, beliefs, and values.

The implications are profound: - Traditional demographic modeling: 71% accuracy - Standard persona descriptions: 70% accuracy - Interview-based approach: 85% accuracy

But here's what fascinates me most: These agents aren't just pattern-matching. They're developing nuanced understanding of human decision-making, maintaining accuracy even when substantial portions of interview data are removed.

This signals a fundamental shift in how we approach behavioral modeling:

Moving beyond A/B testing to complex scenario simulation

Understanding the 'why' behind decisions, not just the 'what'

Reducing bias across political ideology, race, and gender

Opening new frontiers in customer behavior prediction

The future isn't in demographic checkboxes - it's in rich, contextual understanding of human behavior at scale.