Lebih masalah lagi untuk mencari pengganti responden kelas menengah atas karena penggantinya juga harus dari kelas itu, dan itu sulit.
Dalam konteks itu penggantian dilakukan secara sembarang, siapa saja yang bisa dieawancarai. Ini sumber error.
Saiful mengatakan tidak semua lembaga survei menjelaskan soal respond rate ini.
Kalau responden tak dapat diakses karena berbagai alasan, jangan diganti. Pengalaman Saiful, tanpa ganti hasilnya lebih baik, mendekati populasi.
Maka ukuran sampel harus dibuat lebih banyak untuk antisipasi kekurangan sampel akibat respond rate yang rendah.
Di DKI, pengalaman SMRC respond rate antara 50-60 persen. Nasional sekitar 70-80 persen.
"Pollster juga ada yang sering ngawur dalam membuat judgement dalam membaca akurasi," katanya.
Margin of error katakanlah +/- 5 persen, maka perbedaan hasil dalam rentang itu harus dinilai sama baik. Tapi ada yang bilang misalnya, ada yang bilang selisih 1 persen lebih akurat hasilnya dari 2 persen padahal keduanya sama2 dalam error margin.
Perbedaan itu sesungguhnya tidak signifikan secara ilmiah, dan karena itu tidak ada dasar ilmiahnya untuk klaim yang satu lebih baik dari yang lain.
Hasil survei yang tidak benar bila perbedaannya di luar margin of error. Dan itu terjadi pada beberapa survei putaran pertama Jakarta.