Daftar Donatur Palestina
Oleh
Refrinal
Praktisi Riset Pemasaran dan Strategi
Beberapa waktu yang lalu media nasional baik online maupun offline memuat hasil survei Indobarometer tentang penanganan banjir oleh tiga Gubernur DKI Jakarta, yaitu Joko Widodo (JKW), Basuki Tjahaya Purnama (Ahok) dan Anies Baswedan (ABW). Hasil kesimpulannya bahwa gubernur terbaik dalam mengatasi banjir adalah Ahok (42 persen), Jokowi (25 persen) dan ABW (4,1 persen).
Yang kemudian memunculkan headline ‘Anies Baswedan Gubernur Terburuk Tangani DKI’ di Media Indonesia Online Edisi 17 Februari 2020 https://m.mediaindonesia.com/read/detail/290485-survei-sebut-anies-baswedan-gubernur-terburuk-tangani-dki dan Kompas Online dengan Tajuk ‘Mayoritas Publik Nilai Ahok Paling Berhasil Tangani Banjir Jakarta’ https://amp.kompas.com/nasional/read/2020/02/16/16594321/survei-indo-barometer-mayoritas-publik-nilai-ahok-paling-berhasil-tangani dan atas dasar hasil survei tersebut Kompas memuat ‘Ketua DPRD memberikan saran pada Anies’ https://megapolitan.kompas.com/read/2020/02/17/20495841/ahok-dinilai-paling-berhasil-tangani-banjir-ini-saran-ketua-dprd-dki?page=all
Survei Indobarometer tersebut dilakukan 34 Provinsi di Indonesia dengan 1.200 responden, margin of error (MoE) 2,83 persen dan selang kepercayaan 95 persen.
Maka atas ini izinkan saya mencoba memaparkan sesat logika dan sesat metodologi pada survei yang dilakukan oleh lembaga survei milik Muhammad Qodari ini, dengan mengabaikan politisasi atas hasil survei tersebut, yang sangat menyudutkan Anies Baswedan sebagai Gubernur DKI saat ini.
Dalam sebuah aktivitas riset, hal pertama yang dilakukan sebuah lembaga riset adalah menyusun metodologi dan framework, dan dalam metodologi terdapat frame-sampling, coverage area, perhitungan margin of error (MoE) dan selang kepercayaan.
Frame-sampling disusun sedemikian ketat dengan quality controll berlapis agar tidak terjadi kesalahan sampling pada randomisasi dan memastikan bahwa proses screening (filterisasi) responden dilakukan sesuai dengan standar yang telah ditetapkan.
Ketatnya proses screening, eksekusi frame-sampling dan quality controll menjadi jaminan bahwa pada selang kepercayaan tersebut, maka potensi kesalahan pada kesimpulan sebesar Margin of Error (MoE), dan hal inilah yang diabaikan oleh Indobarometer dalam melakukan survei ini, terlepas dari survei-survei lain yang pernah dilakukan oleh lembaga ini.
Indobarometer seharusnya memahami bahwa ketika melakukan penilaian atas penanganan banjir Jakarta, maka responden yang dipilih untuk diwawancarai adalah orang yang berdomisili di Jakarta.
Dan untuk memperbandingkan kinerja ketiga gubernur Indobarometer harus dapat memastikan dalam screening, apakah responden yang dipilih untuk diwawancarai berdomisili di Jakarta pada masa pemerintahan ketiga gubernur tersebut.
Jika tidak, maka secara faktual seharusnya terscreening. Maka dalam pemahaman praktikal responden dalam survei ini adalah penduduk DKI dan memiliki KTP DKI, tinggal di Jakarta pada masa ketiga gubernur tersebut memerintah, dan berada di Jakarta pada saat banjir dan pasca-banjir. Sehingga seluruh pertanyaan dapat dijawab secara objektif.
Screening lain pada survei ini seharusnya adalah responden batal (terscreening) jika ternyata adalah pejabat DKI, ASN, Pengurus Parpol dan Pejabat serta Pegawai BUMN dilingkungan Pemprov DKI Jakarta, sedemikian rupa sehingga hasil dari survei tersebut objektif dan kesahihan hasilnya dapay dipertanggung-jawabkan secara akademis maupun praktis.
Kesesatan Indobarometer dalam melakukan survei ini sangat sistemik dan fatal, karena dilakukan di seluruh provinsi di Indonesia yang hampir tidak mengalami secara langsung proses penanganan banjir di Jakarta, lalu bagaimana mereka dapat membuat penilaian?
Beda halnya jika judul survei adalah evaluasi terhadap 100 hari Pemerintahan Jokowi – Amin (misalnya) maka mungkin masih bisa diterima. Pertanyaan lain, lalu bagaimana frame-sampling ke 1.200 orang di 34 provinsi tersebut? Siapa saja mereka? Bagaimana profilingnya? Tentu harus dipaparkan dengan jelas sebelum memaparkan hasil akhir.
Banyak lembaga riset politik, walau tidak seluruhnya, selalu menjual kata ‘Margin of Error, Selang Kepercayaan dan Multi-stage Random Sampling’ untuk mengelabui publik bahwa survei-survei tersebut telah dilakukan dengan standar yang tinggi.
Padahal yang terjadi adalah sebaliknya, tanpa standar, melanggar hampir seluruh rambu statistik, sesat metodologi, sesat logika dan seterusnya, namun publik lebih sering terpukau oleh hasil dan menjadikannya sebagai acuan.
Terlebih sangat disayangkan media-media nasional seperti Kompas dan Media Indonesia kemudian memuat begitu saja hasil survei tersebut tanpa memeriksa business process yang terjadi.
Dan terlebih sangat disayangkan, hasil riset 1.200 orang tersebut kemudian dijadikan sebagai dasar oleh DPRD DKI Jakarta untuk menilai kinerja Gubernur DKI Jakarta. Padahal bisa jadi dari 1.200 responden tersebut, jika dianulir yang merupakan warga DKI mungkin tak lebih dari 50 orang.
Yang perlu diperiksa kembali apakah responden ‘secuil’ itu memenuhi kriteria responden? Dan tentu sangat memalukan dan semakin memalukan jika hasil riset ‘sepencilan’ warga DKI tersebut dilakukan tanpa quality controll oleh lembaga independent.
Maka jika mengacu pada standar-standar statistik pada survei dan riset, hasil riset Indobarometer tentang penanganan banjir di DKI dengan memperbandingkan kinerja tiga gubernur ini seharusnya dianulir karena cacat secara ilmiah dan secara faktual tidak dapat diterima.
Dan jika melihat metodologi yang dilakukan maka klaim atas margin of error dan selang kepercayaan pun seharusnya batal secara akademis, dan berpeluang menjadi margin of error 100 persen dengan selang kepercayaan nol persen.
Lembaga-lembaga riset politik perlu melakukan upgrading dan development atas metodologi yang dilakukan selama ini, dan melibatkan para ahli statistik dan universitas untuk menyusun ulang metodologi dan memeriksa hasil sebuah survei sebelum dipublikasikan.
Tentunya dengan menyatakan, hasil survei tersebut telah ditelaah dan disupervisi sebelumnya oleh para pakar statistik, sehingga kredibilitas dan kesahihan hasil sebuah survei dapat dipertanggungjawabkan secara akademis dan faktual.
Demikian pun masyarakat perlu banyak belajar untuk memahami sebuah hasil survei dan tidak serta merta menjadikan hasil sebuah survei sebagai acuan untuk melakukan prejudice atas seseorang sebelum hasil riset tersebut divalidasi dan disupervisi oleh para ahli statitik dan universitas.
RSCM (Jakarta), 18 Februari 2020
Pukul 07.47 WIB
(*)
