Infografis
Suara.com - Pendiri Saiful Mujani Research and Consulting, Saiful Mujani, menjelaskan cara membaca hasil survei.
Saiful mengatakan setiap survei pasti ada error dalam hubungannya dengan populasi karena survei berbasis sampel bukan populasi.
"Besarnya error tergantung sebagian dari ukuran sampel, tapi juga bisa karena non-sampling error seperti tidak disiplin atas SOP. Tidak di-SOP-in atas SOP, misalnya penggantian responden di lapangan karena responden awal tak ditemukan atau menolak diwawancarai," kata Saiful di Twitter.
Dari ribuan survei yang SMRC lakukan, kata dia, tidak pernah semua responden awal dapat diwawancarai karena berbagai sebab.
Itu sebabnya, kata Saiful, dikenal dengan respond rate: respondent yang dapat diwawancarai dibagi total sampel awal. Hasilnya selalu kurang dari 100 persen.
Kalau ada survei yang respond rate 100 persen, kata dia, itu sangat mungkin menyalahi SOP. Khusus untuk DKI, respond rate ini menjadi masalah serius bagi surveyor.
Dibanding warga pedesaan, warga perkotaan umumnya lebih sibuk dan karena itu tak mudah ditemui untuk wawancara. Banyak yang tidak berada di alamat.
"Warga kita juga cenderung diwawancarai itu mengganggu waktu mereka maka menolak diwawancarai. Warga perkotaan DKI terutama banyak kelas menengah atasnya, dan mereka nggak mudah diakses pewawancara. Yang muncul tak jarang hanya pembantunya, atau anjingnya menggonggong. Warga pedesaan atau kelas bawah lebih mudah diakses," katanya.
Ketika responden tak bisa diakses banyak lembaga yang menerapkan penggantian responden. Ini sumber error.
Walau cara memilih pengganti secara random dan diupayakan mendekati demografi responden awal, tetap saja pengganti itu tak bisa mewakili.
Lebih masalah lagi untuk mencari pengganti responden kelas menengah atas karena penggantinya juga harus dari kelas itu, dan itu sulit.
Dalam konteks itu penggantian dilakukan secara sembarang, siapa saja yang bisa dieawancarai. Ini sumber error.
Saiful mengatakan tidak semua lembaga survei menjelaskan soal respond rate ini.
Kalau responden tak dapat diakses karena berbagai alasan, jangan diganti. Pengalaman Saiful, tanpa ganti hasilnya lebih baik, mendekati populasi.
Maka ukuran sampel harus dibuat lebih banyak untuk antisipasi kekurangan sampel akibat respond rate yang rendah.
Di DKI, pengalaman SMRC respond rate antara 50-60 persen. Nasional sekitar 70-80 persen.
"Pollster juga ada yang sering ngawur dalam membuat judgement dalam membaca akurasi," katanya.
Margin of error katakanlah +/- 5 persen, maka perbedaan hasil dalam rentang itu harus dinilai sama baik. Tapi ada yang bilang misalnya, ada yang bilang selisih 1 persen lebih akurat hasilnya dari 2 persen padahal keduanya sama2 dalam error margin.
Perbedaan itu sesungguhnya tidak signifikan secara ilmiah, dan karena itu tidak ada dasar ilmiahnya untuk klaim yang satu lebih baik dari yang lain.
Hasil survei yang tidak benar bila perbedaannya di luar margin of error. Dan itu terjadi pada beberapa survei putaran pertama Jakarta.
"Berarti ada kesalahan di luar sampling error. Sumber non-sampling error itu bisa karena soal etik atau integritas, atau soal kompetensi, atau keduanya. Karena tadi kelas menengah atas tidak mudah diakses. Kalau soal etik berat masalahnya. Kalau soal kompetensi masih bisa diurus. Suruh belajar lagi," katanya.
SMRC Saiful Mujani merupakan salah satu lembaga yang baru-baru ini merilis hasil survei jelang pilkada putaran kedua.
Menurut data SMRC, bila pemilihan gubernur dan wakil gubernur putaran kedua diadakan ketika survei dilakukan, pasangan Basuki Tjahaja Purnama (Ahok)-Djarot Syaiful Hidayat mendapat dukungan sekitar 46,9 persen, sementara pasangan Anies Baswedan-Sandiaga Salahuddin Uno mendapat dukungan sekitar 47,9 persen. Responden yang menyatakan belum tahu sekitar 5,2 persen.
Selisih dukungan antara kedua pasangan hanya sekitar satu persen. Ini tidak signifikan secara statistik. Namun begitu, tren dukungan pada masing-masing calon berbeda. Dalam sebulan terakhir, dukungan kepada Ahok-Djarot naik 3,1 persen, sementara Anies-Sandi turun 2,8 persen.
