Angka dari hasil survei mudah dikutip dan sulit diperiksa. Karena itu, kemampuan membaca cara sebuah survei dikerjakan lebih berguna daripada menghafal angkanya. Yang diperlukan bukan latar belakang statistik, hanya kebiasaan menanyakan lima hal yang sama setiap kali.
Siapa yang ditanya, dan bagaimana mereka dipilih
Ini pertanyaan terpenting, dan yang paling sering hilang dari pemberitaan. Survei yang respondennya dipilih secara acak dari populasi berbeda sifatnya dari jajak pendapat yang diisi siapa saja yang kebetulan melihat tautannya. Yang kedua menggambarkan siapa yang mengisi, bukan gambaran masyarakat.
Kalau sebuah laporan tidak menjelaskan cara pengambilan sampelnya, itu bukan kekurangan kecil. Tanpa informasi itu, angkanya tidak bisa dinilai sama sekali.
Berapa orang, dan berapa margin kesalahannya
Setiap survei berbasis sampel punya rentang ketidakpastian. Kalau margin kesalahannya sekitar tiga persen, maka selisih dua persen antara dua pilihan bukan selisih yang bisa dipastikan — keduanya berada dalam rentang yang saling menimpa.
Di sinilah banyak berita menjadi menyesatkan tanpa berbohong: menulis “unggul tipis” untuk selisih yang sebenarnya tidak berbeda secara berarti.
Kapan datanya diambil
Survei menggambarkan keadaan pada saat pengambilan data, bukan pada saat diterbitkan. Jarak antara keduanya kadang beberapa minggu, dan dalam rentang itu bisa terjadi banyak hal. Tanggal pengambilan data selalu lebih penting daripada tanggal rilis.
Bagaimana pertanyaannya disusun
Susunan kalimat mengubah jawaban. Pertanyaan yang menyebutkan satu pilihan lebih dulu, yang memuat kata bermuatan, atau yang menyertakan alasan di dalam pertanyaannya sendiri akan menghasilkan angka berbeda dari pertanyaan netral tentang hal yang sama.
Laporan survei yang dapat dipercaya biasanya melampirkan naskah pertanyaannya. Kalau hanya kesimpulannya yang dibagikan, Anda diminta memercayai tanpa bisa memeriksa.
Siapa yang membiayai
Pembiayaan tidak otomatis membuat hasil menjadi salah, dan menuduh demikian juga tidak adil. Tetapi pembiayaan adalah informasi yang berhak diketahui pembaca, terutama ketika pihak yang membiayai punya kepentingan atas hasilnya. Lembaga yang terbuka soal ini justru menunjukkan kepercayaan pada metodenya sendiri.
Kebiasaan yang paling berguna
Jangan menilai dari satu survei. Beberapa survei dari lembaga berbeda yang menunjukkan arah serupa jauh lebih meyakinkan daripada satu angka yang mencolok. Dan ketika sebuah hasil terasa sangat berbeda dari yang lain, kemungkinan pertama yang perlu dipertimbangkan bukan bahwa keadaan berubah drastis, melainkan bahwa ada yang berbeda pada cara survei itu dikerjakan.
