De ce au dat greș sondajele electorale? Tips&tricks despre cum citim critic sondajele și cum le comparăm corect între ele (noiembrie 2024)

Articol redactat în 20 noiembrie 2024 și actualizat în 21 și 25 noiembrie 2024.

Mergi până la capăt pentru partea interesantă 🙂

Later edit 25.11: IZI data nu realizează sondaje electorale însă contextul ultimelor zile și inacuratețea sondajele au devenit un subiect de interes național prin influența lor asupra votanților și non-votanților. Contextul socio-politic atrage responsabilitatea echipei IZI data de a oferi câteva informații esențiale pentru o informare corectă și completă a celor care nu sunt de specialitate, precum și recredibilizarea sondajelor riguros realizate și adaptate zilelor noastre.

Later edit 25.11: Asigurarea reprezentativității unui eșantion este atât o știință, cât și o artă deoarece oamenii de știință știu că, pe lângă respectarea by the book a rețetei, e necesar să se adapteze la condițiile mediului și să ofere un rezultat corect.

Reprezentativitatea unui eșantion are rolul de OGLINDĂ a populației studiate.

Articolul de mai jos pornește (cu rezerve) de la prezumția că rezultatele nu au fost manipulate în mod voluntar. Detaliem mai jos, dpdv metodologic, explicații despre motivele pentru care această oglindă s-a dovedit a fi deformată:

Articol redactat în 20 noiembrie 2024:

📊 𝗔𝘁𝗲𝗻𝘁̦𝗶𝗲 𝗹𝗮 𝗦𝗼𝗻𝗱𝗮𝗷𝗲𝗹𝗲 𝗘𝗹𝗲𝗰𝘁𝗼𝗿𝗮𝗹𝗲!

În ultimele săptămâni, observăm o avalanșă de sondaje electorale din partea mai multor case de sondare. Deși poate părea tentant să comparăm aceste rezultate, este esențial să fim conștienți de faptul că metodologiile utilizate nu sunt identice.

🔍 De ce este important să discutăm sondaje politice?

Fiecare metodă de sondare poate influența drastic rezultatele și genera date care NU sunt comparabile.

📞 𝐢𝐧𝐭𝐞𝐫𝐯𝐢𝐮𝐫𝐢𝐥𝐞 𝐭𝐞𝐥𝐞𝐟𝐨𝐧𝐢𝐜𝐞 = CATI (Computer Assisted Telephone Interviewing) pot ajunge la mai multe categorii de persoane, asigurând o reprezentativitate mai bună în rândul populației nedigitalizate, însă au dezavantaje legate de erorile umane, imposibilitatea respondentului de a vedea listele complete precum le vede în viața reală pe buletinele de vot. Astfel, răspunsul său depinde de ceea ce îi citește operatorul de interviu. Un alt dezavantaj poate fi senzația de intruzivitate precum și disponibilitate de timp a respondenților și astfel omiterea din selecție a persoanelor active profesional / ocupate.

🌐 𝐢𝐧𝐭𝐞𝐫𝐯𝐢𝐮𝐫𝐢𝐥𝐞 𝐨𝐧𝐥𝐢𝐧𝐞 = CAWI (Computer Assisted Web Interviewing) pot ajunge doar la populația digitalizată și nu asigură tuturor șanse egale de includere în eșantion. Un alt dezavantaj îl constituie auto-selecția, tind să participe cei cu opinii puternice sau extreme, însă maniera bine gândită de pre-recrutare poate să anuleze acest efect prin diverse tehnici de promovare a sondajului și 𝑎𝑢𝑡𝑜-𝑠𝑒𝑙𝑒𝑐𝑡̦𝑖𝑒 𝑖𝑛𝑐𝑙𝑢𝑧𝑖𝑣𝑎̆. Dintre avantaje, interviurile online pot asigura o acuratețe și o sinceritate mai mare a răspunsurilor, asigurând anonimat. Atenția respondentului este nealterată de factorul uman și completarea depinde de ritmul respondentului, ceea ce contribuie la acuratețea și credibilitatea datelor.

🍎 🍐 𝐍𝐮 𝐜𝐨𝐦𝐩𝐚𝐫𝐚 𝐦𝐞𝐫𝐞 𝐜𝐮 𝐩𝐞𝐫𝐞!

Articol redactat în 20 noiembrie 2024:
Fiecare 𝐦𝐞𝐭𝐨𝐝𝐚̆ 𝐝𝐞 𝐞𝐬̦𝐚𝐧𝐭𝐢𝐨𝐧𝐚𝐫𝐞 poate influența drastic rezultatele și genera date care NU sunt comparabile.

În presă găsim 4* sondaje electorale în ultima lună și 10* sondaje în ultimele două luni. Deși e tentant să comparăm aceste rezultate, este esențial să fim conștienți de diferențe.

🎲 𝐄𝐬̦𝐚𝐧𝐭𝐢𝐨𝐧𝐚𝐫𝐞 𝐚𝐥𝐞𝐚𝐭𝐨𝐫𝐢𝐞: respondenții sunt selectați complet aleatoriu din întreaga populație (în studiile online din populația digitalizată), oferind fiecărei persoane o șansă egală de a fi inclusă. Asigură reprezentativitatea eșantionului, reducând riscul de bias sistematic.

🎯 𝐄𝐬̦𝐚𝐧𝐭𝐢𝐨𝐧𝐚𝐫𝐞 𝐭𝐚𝐫𝐠𝐞𝐭𝐚𝐭𝐚̆ (sau eșantionare deliberată): Respondenții sunt aleși pe baza unor criterii specifice. Poate fi utilizată pentru a obține informații detaliate despre un segment specific al populației.

În concluzie, eșantionarea aleatorie vizează reprezentativitatea generală, în timp ce eșantionarea targetată se concentrează pe un grup specific.

🗳️ În context electoral, atât chestionarele telefonice, cât și cele online pot asigura selecție aleatorie. Doar cele telefonice pot asigura reprezentativitate națională pe segmentul populației nedigitalizate, în timp ce chestionarele online o pot asigura în rândul utilizatorilor de internet (cei aprox. 12 milioane de români).

Interpretarea eronată a acestor date poate duce la concluzii false despre preferințele alegătorilor. Însă compararea corectă, în context, a mai 𝐦𝐮𝐥𝐭𝐨𝐫 𝐬𝐨𝐧𝐝𝐚𝐣𝐞, 𝐧𝐞 𝐨𝐟𝐞𝐫𝐚̆ 𝐦𝐚𝐢 𝐦𝐮𝐥𝐭𝐚̆ 𝐜𝐥𝐚𝐫𝐢𝐭𝐚𝐭𝐞 𝐝𝐞𝐜𝐚̂𝐭 𝐢𝐧𝐭𝐞𝐫𝐩𝐫𝐞𝐭𝐚𝐫𝐞𝐚 𝐮𝐧𝐮𝐢 𝐮𝐧𝐢𝐜 𝐬𝐨𝐧𝐝𝐚𝐣.

Later edit din 21 noiembrie 2024:

𝐂𝐮𝐦 𝐟𝐨𝐫𝐦𝐮𝐥𝐞𝐳 𝐜𝐨𝐫𝐞𝐜𝐭 𝐨 𝐢̂𝐧𝐭𝐫𝐞𝐛𝐚𝐫𝐞 𝐞𝐥𝐞𝐜𝐭𝐨𝐫𝐚𝐥𝐚̆?

O întrebare corect formulată are și variante de răspuns complete și corecte:

•⁠ ⁠listă completă (!) de candidați

•⁠ ⁠variante de răspuns incluzive cu cei care nu știu (!) / nu s-au decis / vor anula votul

•⁠ ⁠randomizarea (!) variantelor de răspuns, ordinea influențează alegerea

NU comparați între ele sondaje electorale ce au liste de lungimi diferite!

Intenționat sau din eroare umană, unele sondaje sunt prin design nedrepte cu candidații.

Exemplu: Așa cum o pizza împărțită în 9 bucăți nu seamănă (!) cu o pizza împărțită în 14 bucăți. Așa și o listă de 9 candidați + varianta “alții” NU generează procente comparabile cu o lista completă cu toți candidații.

Later edit din 25 noiembrie 2024:

Importanța TikTok:

Reprezentativitate digitală: Sondajele electorale din noiembrie 2024 au ratat platforma TikTok. Vrem să subliniem faptul că panelul IZI data (total panel = 31.963 de respondenți) cuprinde și utilizatori de TikTok (date recente din omnibusul IZI data, perioadă colectare 12-14 noiembrie 2024: sunt 58% utilizatori de TikTok în mediul urban).

Cum “zice cartea”?

Eșantionarea și implicit canalele de recrutare (inclusiv online) a populației (inclusiv cea digitalizată) este necesar să asigure oglindirea populației totale și să replice comportamentul lor din viața reală. Dacă 9 milioane de oameni se informează de pe TikTok atunci recrutarea este necesar să includă și utilizatori de TikTok, inclusiv pe cei care se informează exclusiv sau preponderent din TikTok.

Încă de la lansarea IZI data în 2019, am decis să fim actuali și să ținem pasul cu vremurile.

Astfel, cu toate că panelul nostru include un număr suficient de utilizatori de TikTok pentru asigurarea reprezentativității digitale, echipa IZI data a decis în 25 Noiembrie să recruteze inclusiv direct din TikTok pentru a include în panel și persoane care se informeză exclusiv sau preponderent din TikTok. O altă motivație este și aceea că pe această platformă comportamentul de consum de informație și implicit profilul oamenilor este diferit.

📉 “Cine mai completează sondaje?”

Despre profilul celor care completează chestionarele: pe lângă cele menționate mai sus, chiar și lungimea chestionarului și ușurința completării influențează profilul celor care acceptă invitația la sondaj.

Cum facem noi (dintotdeauna) la IZI data si cum NU FAC sondajele politice?

• motivăm respondenții să participe (sondajele politice nu oferă motivații respondenților)
  • de fiecare dată alocăm o recompensă materială/financiară suficient de atractivă pentru a determina toate categoriile socio-demografice să participe. Recompensa trebuie să aibă un caracter neutru.
    • așa NU: un premiu constând într-un plin de benzină o să atragă doar șoferi și omite să atragă multe dintre celelalte categorii socio-demografice;
  • adaugăm un incentive emoțional și/ sau intelectual (subiect intrigant/interesant, dar NICIODATA nu spunem direct subiectul sondajului pentru că se creează bias de recrutare)
    • ex: dacă respondenții știu că sondajul este despre vot, NU vor răspunde invitației cei nehotărâți sau ezitanți, vom avea doar un eșantion de oameni care în mod obișnuit votează sau, poate, pe cei care votează tradițional. Acest principiu poate, de asemenea, justifica inacuratețea sondajelor de la turul 1 al alegerilor prezidențiale 2024.
    • un alt exemplu, dar din zona comercială: dacă vreau să fac un studiu despre consumul de pufuleți, o să fac invitația către un studiu despre obiceiuri alimentare. Dacă respondenții știu că este despre pufuleți fie vom recruta doar heavy users de pufuleți, fie vom avea falși consumatori de pufuleți atrași de valoarea premiului.
• nu descurajăm completarea prin chestionare prea lungi și neprietenoase în completare.
  • Durata de atenție a scăzut semnificativ în ultimii anii, chestionarele lungi plictisesc și determină abandon. Cei motivați să meargă până la capat vor fi puțini și cu siguranță diferiți de restul. Un studiu reprezentativ își propune să fie o oglindă a tuturor. Un chestionar lung și plictisitor este “suportabil” doar pentru câțiva, astfel că obținem o oglindă deformată.

❓Ați observat că în presă, de multe ori, lipsesc date despre metodologie? Pot părea banale sau plictisitoare, dar sunt esențiale pentru o interpretare corectă și completă.

📉 Ce putem face?

Analizați cu atenție sursa și metodologia fiecărui sondaj. Puneți datele în context. Cât despre noi, sociologii, putem doar să facem eforturi continue de a rămâne actualizați la comportamentul curent al oamenilor și să ajustăm metodologiile și tehnicile de recrutare și eșantionare la zilele noastre.

______________________________________________________________________________________

*IZI data nu realizează sondaje electorale, însă credem că cercetarea poate să fie simplă și corectă, dacă creștem capacitatea de a citi, înțelege, crea și comunica datele eficient. Articolul prezent nu acoperă exhaustiv teoria metodologiilor și eșantionarea sondajelor de opinie.