Memvisualisasikan ketidakpastian

16 Memvisualisasikan ketidakpastian

Salah satu aspek yang paling menantang dari visualisasi data adalah visualisasi ketidakpastian. Ketika kita melihat titik data yang diambil di lokasi tertentu, kita cenderung menafsirkannya sebagai representasi yang tepat dari nilai data yang sebenarnya. Sulit untuk membayangkan bahwa suatu titik data sebenarnya bisa terletak di suatu tempat itu belum diambil. Namun skenario ini ada di mana-mana dalam visualisasi data. Hampir setiap set data yang kami kerjakan memiliki beberapa ketidakpastian, dan apakah dan bagaimana kami memilih untuk mewakili ketidakpastian ini dapat membuat perbedaan besar dalam seberapa akurat audiens kami memahami makna data.

Dua pendekatan yang umum digunakan untuk menunjukkan ketidakpastian adalah bar kesalahan dan pita kepercayaan.Pendekatan ini dikembangkan dalam konteks publikasi ilmiah, dan mereka membutuhkan sejumlah pengetahuan ahli untuk ditafsirkan dengan benar. Namun mereka tepat dan efisien dalam ruang. Dengan menggunakan bilah kesalahan, misalnya, kami dapat menunjukkan ketidakpastian dari banyak estimasi parameter yang berbeda dalam satu grafik. Namun, bagi audiens yang awam, strategi visualisasi yang menciptakan kesan intuitif yang kuat tentang ketidakpastian akan lebih disukai, bahkan jika itu datang dengan mengorbankan akurasi visualisasi yang berkurang atau tampilan data yang kurang padat. Opsi di sini termasuk framing frekuensi, di mana kami secara eksplisit menggambar berbagai skenario yang mungkin dalam perkiraan proporsi, atau animasi yang menggilir berbagai skenario yang mungkin.

16.1 Membingkai probabilitas sebagai frekuensi

Sebelum kita dapat membahas bagaimana memvisualisasikan ketidakpastian, kita perlu mendefinisikan apa itu sebenarnya. Kita secara intuitif dapat memahami konsep ketidakpastian dengan paling mudah dalam konteks peristiwa masa depan. Jika saya akan melempar koin saya tidak tahu sebelumnya apa hasilnya. Hasil akhirnya tidak pasti. Saya juga bisa tidak pasti tentang peristiwa di masa lalu. Jika kemarin saya melihat keluar dari jendela dapur saya tepat dua kali, sekali jam 8 pagi dan sekali jam 4 sore, dan saya melihat mobil merah diparkir di seberang jalan jam 8 pagi tapi tidak jam 4 sore, maka saya bisa menyimpulkan mobil itu pergi di beberapa titik selama delapan -jendela tapi saya tidak tahu persis kapan. Bisa jadi pukul 8:01 pagi, 9:30 pagi, 2 siang, atau waktu lain selama delapan jam itu.

Secara matematis, kami menangani ketidakpastian dengan menggunakan konsep probabilitas. Definisi probabilitas yang tepat sangat rumit dan jauh melampaui ruang lingkup buku ini. Namun kita dapat dengan sukses bernalar tentang probabilitas tanpa memahami semua seluk beluk matematika.Untuk banyak masalah relevansi praktis, cukup untuk memikirkan frekuensi relatif. Asumsikan Anda melakukan semacam uji coba acak, seperti membalik koin atau menggulung dadu, dan mencari hasil tertentu (misalnya, kepala atau menggulung enam). Anda dapat menyebut keberhasilan hasil ini , dan kegagalan hasil lainnya .Kemudian, probabilitas keberhasilan kira-kira diberikan oleh sebagian kecil kali Anda akan melihat hasil itu jika Anda mengulangi uji coba acak berulang kali. Sebagai contoh, jika hasil tertentu terjadi dengan probabilitas 10%, maka kami berharap bahwa di antara banyak percobaan berulang bahwa hasil akan terlihat pada sekitar satu dari sepuluh kasus.

Memvisualisasikan satu probabilitas adalah sulit. Bagaimana Anda memvisualisasikan peluang menang dalam lotere, atau peluang menggulung enam dengan dadu yang adil? Dalam kedua kasus, probabilitasnya adalah angka tunggal. Kita bisa memperlakukan angka itu sebagai jumlah dan menampilkannya menggunakan salah satu teknik yang dibahas dalam Bab 6 , seperti grafik batang atau plot titik, tetapi hasilnya tidak akan sangat berguna. Kebanyakan orang tidak memiliki pemahaman intuitif tentang bagaimana nilai probabilitas diterjemahkan menjadi kenyataan yang dialami. Menampilkan nilai probabilitas sebagai bar atau titik yang ditempatkan pada garis tidak membantu masalah ini.

Kita dapat membuat konsep probabilitas menjadi nyata dengan membuat grafik yang menekankan aspek frekuensi dan ketidakpastian uji coba acak, misalnya dengan menggambar kotak warna yang berbeda dalam pengaturan acak. Dalam Gambar 16.1 , saya menggunakan teknik ini untuk memvisualisasikan tiga probabilitas yang berbeda, peluang keberhasilan 1%, peluang keberhasilan 10%, dan peluang kesuksesan 40%. Untuk membaca gambar ini, bayangkan Anda diberi tugas memilih kotak yang gelap dengan memilih kotak sebelum Anda dapat melihat kotak mana yang akan menjadi gelap dan mana yang akan menjadi terang. (Jika Anda mau, Anda bisa memikirkan memetik kotak dengan mata tertutup.) Secara intuitif, Anda mungkin akan mengerti bahwa tidak mungkin untuk memilih satu kotak gelap dalam kasus kebetulan 1%. Demikian pula, itu masih sangat tidak mungkin untuk memilih kotak gelap dalam kasus kesempatan 10%. Namun, dalam kasus kebetulan 40% kemungkinan tidak terlihat begitu buruk. Gaya visualisasi ini, di mana kami menunjukkan hasil potensial tertentu, disebut visualisasi hasil diskrit, dan tindakan memvisualisasikan probabilitas sebagai frekuensi disebut framing frekuensi.Kami membingkai sifat probabilistik hasil dalam hal frekuensi hasil yang mudah dipahami.

Gambar 16.1: Memvisualisasikan probabilitas sebagai frekuensi. Ada 100 kotak di setiap kotak, dan setiap kotak mewakili keberhasilan kegagalan dalam beberapa uji coba acak. Peluang keberhasilan 1% setara dengan satu kotak gelap dan 99 kotak cahaya, peluang keberhasilan 10% setara dengan sepuluh kotak gelap dan 90 kotak, dan peluang keberhasilan 40% setara dengan 40 kotak gelap dan 60 kotak cahaya. Dengan menempatkan secara acak kotak gelap di antara kotak cahaya, kita dapat menciptakan kesan visual tentang keacakan yang menekankan ketidakpastian hasil dari satu percobaan tunggal.

Jika kita hanya tertarik pada dua hasil yang terpisah, sukses atau gagal, maka visualisasi seperti Gambar 16.1 berfungsi dengan baik. Namun, seringkali kita berhadapan dengan skenario yang lebih kompleks di mana hasil dari uji coba acak adalah variabel numerik. Satu skenario umum adalah prediksi pemilu, di mana kami tertarik tidak hanya pada siapa yang akan menang, tetapi juga seberapa banyak. Mari kita perhatikan contoh hipotetis pemilu mendatang dengan dua partai, partai kuning dan partai biru. Asumsikan Anda mendengar di radio bahwa pihak biru diprediksi memiliki keunggulan satu poin persentase daripada pihak kuning, dengan margin kesalahan 1,76 poin persentase. Apa yang diceritakan informasi ini tentang hasil pemilu? Sudah menjadi sifat manusia untuk mendengar "pesta biru akan menang," tetapi kenyataannya lebih rumit. Pertama, dan yang paling penting, ada berbagai hasil yang berbeda. Partai biru bisa berakhir dengan unggul dua persen poin atau partai kuning bisa menang dengan setengah persen poin. Kisaran hasil yang mungkin dengan kemungkinan yang terkait disebut distribusi probabilitas, dan kita dapat menggambarkannya sebagai kurva halus yang naik dan kemudian jatuh di atas kisaran hasil yang mungkin (Gambar 16.2 ). Semakin tinggi kurva untuk hasil tertentu, semakin besar kemungkinan hasilnya. Distribusi probabilitas terkait erat dengan histogram dan kepadatan kernel yang dibahas dalam Bab 7 , dan Anda mungkin ingin membaca kembali bab itu untuk menyegarkan ingatan Anda.

Gambar 16.2: Prediksi hipotetis tentang hasil pemilu. Pihak biru diperkirakan menang atas pihak kuning sekitar satu poin persentase (diberi label "perkiraan terbaik"), tetapi prediksi itu memiliki margin kesalahan (di sini ditarik sehingga mencakup 95% dari kemungkinan hasil, 1,76 poin persentase di salah satu arah dari estimasi terbaik). Area yang diarsir dengan warna biru, setara dengan 87,1% dari total, mewakili semua hasil di mana biru akan menang. Demikian juga, area yang diarsir dengan warna kuning, sesuai dengan 12,9% dari total, mewakili semua hasil di mana kuning akan menang. Dalam contoh ini, biru memiliki peluang 87% untuk memenangkan pemilihan.

Dengan melakukan beberapa perhitungan, kita dapat menghitung bahwa sebagai contoh buatan kita, peluang kemenangan pihak kuning adalah 12,9%. Jadi peluang menang kuning sedikit lebih baik daripada skenario peluang 10% yang ditunjukkan pada Gambar 16.1 . Jika Anda menyukai partai biru, Anda mungkin tidak terlalu khawatir, tetapi partai kuning memiliki cukup kesempatan untuk menang sehingga mereka mungkin saja sukses. Jika Anda membandingkan Gambar 16.2 dengan Gambar 16.1 , Anda mungkin menemukan bahwa Gambar 16.1 menciptakan perasaan yang jauh lebih baik dari ketidakpastian dalam hasil, meskipun area yang diarsir dalam Gambar 16.2 secara akurat mewakili probabilitas menang biru atau kuning. Ini adalah kekuatan visualisasi hasil diskrit. Penelitian dalam persepsi manusia menunjukkan bahwa kita jauh lebih baik dalam memahami, menghitung, dan menilai frekuensi relatif dari objek diskrit — selama jumlah totalnya tidak terlalu besar — ​​daripada kita menilai ukuran relatif dari area yang berbeda.

Kita dapat menggabungkan sifat hasil diskrit dari Gambar 16.1 dengan distribusi kontinu seperti pada Gambar 16.2dengan menggambar dotplot kuantil (Kay et al. 2016 ) .Dalam dotplot kuantil, kami membagi luas total di bawah kurva ke dalam unit berukuran rata dan menggambar setiap unit sebagai lingkaran. Kami kemudian menumpuk lingkaran sedemikian rupa sehingga pengaturannya kira-kira mewakili kurva distribusi asli (Gambar 16.3 ).

Gambar 16.3: Representasi dotplot kuantitas dari distribusi hasil pemilu Gambar 16.2 . (a) Distribusi yang lancar diperkirakan dengan 50 titik yang mewakili peluang 2% masing-masing. Enam titik kuning dengan demikian sesuai dengan peluang 12%, cukup dekat dengan nilai sebenarnya dari 12,9%. (B) Distribusi halus diperkirakan dengan 10 titik masing-masing mewakili peluang 10%. Satu titik kuning dengan demikian sesuai dengan peluang 10%, masih dekat dengan nilai sebenarnya. Plot titik kuantil dengan jumlah titik yang lebih kecil cenderung lebih mudah dibaca, jadi dalam contoh ini, versi 10-titik mungkin lebih disukai daripada versi 50-titik.

Sebagai prinsip umum, dotplot kuantil harus menggunakan jumlah titik yang kecil hingga sedang. Jika ada terlalu banyak titik, maka kita cenderung menganggapnya sebagai sebuah kontinum daripada sebagai individu, unit diskrit. Ini meniadakan keuntungan dari plot diskrit. Gambar 16.3menunjukkan varian dengan 50 titik (Gambar 16.3 a) dan dengan sepuluh titik (Gambar 16.3 b). Sementara versi dengan 50 titik lebih akurat menangkap distribusi probabilitas sebenarnya, jumlah titik terlalu besar untuk dengan mudah membedakan satu per satu. Versi dengan sepuluh titik lebih cepat menyampaikan peluang relatif untuk menang biru atau kuning. Satu keberatan terhadap versi sepuluh-titik mungkin karena itu tidak terlalu tepat. Kami sedang merepresentasikan peluang kemenangan kuning dengan 2,9 poin persentase. Namun, sering berguna untuk memperdagangkan beberapa presisi matematika untuk persepsi manusia yang lebih akurat tentang visualisasi yang dihasilkan, khususnya ketika berkomunikasi dengan audiens awam. Visualisasi yang benar secara matematis tetapi tidak dirasakan dengan benar tidak begitu berguna dalam praktiknya.

16.2 Memvisualisasikan ketidakpastian estimasi titik

Pada Gambar 16.2 , saya menunjukkan "estimasi terbaik" dan "margin of error," tetapi saya tidak menjelaskan apa sebenarnya jumlah ini atau bagaimana mereka dapat diperoleh. Untuk memahami mereka dengan lebih baik, kita perlu mengambil jalan memutar cepat ke konsep dasar pengambilan sampel statistik. Dalam statistik, tujuan utama kami adalah untuk mempelajari sesuatu tentang dunia dengan melihat sebagian kecil darinya. Untuk melanjutkan dengan contoh pemilihan, anggap ada banyak daerah pemilihan yang berbeda dan warga dari masing-masing daerah akan memilih partai biru atau kuning. Kami mungkin ingin memprediksi bagaimana setiap distrik akan memberikan suara, serta rata-rata keseluruhan suara di seluruh kabupaten ( rata - rata ). Untuk membuat prediksi sebelum pemilihan, kami tidak dapat mensurvei setiap warga negara di setiap distrik tentang bagaimana mereka akan memilih.Sebagai gantinya, kami harus melakukan jajak pendapat terhadap sekelompok warga di subkumpulan kabupaten dan menggunakan data itu untuk mendapatkan tebakan terbaik.Dalam bahasa statistik, set total suara yang mungkin dari semua warga di semua distrik disebut populasi, dan subset dari warga dan / atau distrik yang kami jajak pendapat adalah sampel. Populasi mewakili keadaan dunia yang sebenarnya, dan sampelnya adalah jendela kita menuju dunia itu.

Kami biasanya tertarik pada jumlah tertentu yang merangkum properti penting populasi. Dalam contoh pemilihan, ini bisa menjadi hasil suara rata-rata di seluruh kabupaten atau standar deviasi di antara hasil-hasil kabupaten. Kuantitas yang menggambarkan populasi disebut parameter, dan mereka umumnya tidak diketahui. Namun, kami dapat menggunakan sampel untuk membuat perkiraan tentang nilai parameter yang sebenarnya, dan ahli statistik menyebut dugaan tersebut sebagai perkiraan. Sampel rata-rata (atau rata-rata) adalah perkiraan untuk rata-rata populasi, yang merupakan parameter. Estimasi nilai parameter individual juga disebut estimasi titik, karena masing-masing dapat diwakili oleh suatu titik pada suatu garis.

Gambar 16.4 menunjukkan bagaimana konsep-konsep utama ini saling terkait satu sama lain. Variabel bunga (misalnya, hasil suara di setiap kabupaten) memiliki beberapa distribusi dalam populasi, dengan rata-rata populasi dan standar deviasi populasi. Sampel akan terdiri dari serangkaian pengamatan spesifik. Jumlah pengamatan individu dalam sampel disebut ukuran sampel. Dari sampel kita dapat menghitung rata-rata sampel dan standar deviasi sampel, dan ini umumnya akan berbeda dari rata-rata populasi dan standar deviasi. Akhirnya, kita dapat mendefinisikan distribusi sampling, yang merupakan distribusi estimasi yang akan kita dapatkan jika kita mengulangi proses pengambilan sampel berkali-kali. Lebar distribusi sampling disebut kesalahan standar, dan ini memberitahu kita seberapa akurat perkiraan kami. Dengan kata lain, kesalahan standar memberikan ukuran ketidakpastian terkait dengan estimasi parameter kami. Sebagai aturan umum, semakin besar ukuran sampel, semakin kecil kesalahan standar dan semakin kecil ketidakpastian estimasi.

Gambar 16.4: Konsep utama sampling statistik. Variabel minat yang kita pelajari memiliki beberapa distribusi yang benar dalam populasi, dengan mean populasi yang sebenarnya dan standar deviasi. Setiap sampel hingga dari variabel itu akan memiliki mean sampel dan standar deviasi yang berbeda dari parameter populasi. Jika kita mengambil sampel berulang kali dan menghitung rata-rata setiap waktu, maka rata-rata yang dihasilkan akan didistribusikan sesuai dengan distribusi sampel rata-rata. Kesalahan standar memberikan informasi tentang lebar distribusi sampling, yang memberi tahu kami tentang seberapa tepatnya kami memperkirakan parameter yang diminati (di sini, rata-rata populasi).

Sangat penting bahwa kita tidak membingungkan standar deviasi dan kesalahan standar. Deviasi standar adalah properti dari populasi. Ini memberi tahu kita berapa banyak penyebaran yang ada di antara pengamatan individu yang bisa kita lakukan. Sebagai contoh, jika kita mempertimbangkan populasi dari distrik-distrik pemilihan, deviasi standar memberi tahu kita betapa berbedanya distrik-distrik yang berbeda satu sama lain. Sebaliknya, kesalahan standar memberi tahu kita seberapa tepatnya kita telah menentukan taksiran parameter. Jika kami ingin memperkirakan hasil pemilihan rata-rata di semua kabupaten, kesalahan standar akan memberi tahu kami seberapa akurat perkiraan kami untuk rata-rata.

Semua ahli statistik menggunakan sampel untuk menghitung estimasi parameter dan ketidakpastiannya. Namun, mereka terbagi dalam bagaimana mereka mendekati perhitungan ini, menjadi Bayesians dan frequentist. Bayesian berasumsi bahwa mereka memiliki pengetahuan sebelumnya tentang dunia, dan mereka menggunakan sampel untuk memperbarui pengetahuan ini. Sebaliknya, frequentist berusaha membuat pernyataan yang tepat tentang dunia tanpa memiliki pengetahuan sebelumnya. Untungnya, ketika datang untuk memvisualisasikan ketidakpastian, Bayesian dan frequentist umumnya dapat menggunakan jenis strategi yang sama. Di sini, pertama saya akan membahas pendekatan frequentist dan kemudian menggambarkan beberapa masalah khusus yang unik untuk konteks Bayesian.

Frequentists paling sering memvisualisasikan ketidakpastian dengan bar kesalahan. Sementara bar kesalahan dapat berguna sebagai visualisasi ketidakpastian, mereka bukan tanpa masalah, seperti yang sudah saya singgung di Bab 9(lihat Gambar 9.1 ). Mudah bagi pembaca untuk bingung tentang apa yang ditampilkan oleh bilah galat. Untuk menyoroti masalah ini, pada Gambar 16.5 saya menunjukkan lima penggunaan bar kesalahan yang berbeda untuk dataset yang sama. Dataset berisi peringkat pakar batang cokelat, yang diberi peringkat pada skala dari 1 hingga 5, untuk batang cokelat yang diproduksi di sejumlah negara yang berbeda. Untuk Gambar 16.5, saya telah mengekstraksi semua peringkat untuk batang cokelat yang diproduksi di Kanada. Di bawah sampel, yang ditampilkan sebagai bagan garis titik-titik gugup, kita melihat mean sampel plus / minus standar deviasi sampel, mean sampel plus / minus kesalahan standar, dan 80%, 95%, dan 99% interval kepercayaan.Kelima bar kesalahan berasal dari variasi dalam sampel, dan semuanya terkait secara matematis, tetapi semuanya memiliki arti yang berbeda. Dan mereka juga secara visual sangat berbeda.

Gambar 16.5: Hubungan antara sampel, rata-rata sampel, standar deviasi, kesalahan standar, dan interval kepercayaan, dalam contoh peringkat cokelat. Pengamatan (ditampilkan sebagai titik-titik hijau gelisah) yang membentuk sampel mewakili peringkat ahli dari 125 batang coklat dari produsen di Kanada, dinilai pada skala dari 1 (tidak menyenangkan) hingga 5 (elit). Titik oranye besar mewakili rata-rata peringkat. Baris kesalahan menunjukkan, dari atas ke bawah, dua kali standar deviasi, dua kali standar kesalahan (standar deviasi rata-rata), dan interval kepercayaan rata-rata 80%, 95%, dan 99%. Sumber data: Brady Brelinski, Manhattan Chocolate Society

Setiap kali Anda memvisualisasikan ketidakpastian dengan bar kesalahan, Anda harus menentukan jumlah dan / atau tingkat kepercayaan apa yang diwakili oleh bar kesalahan.

Kesalahan standar kira-kira diberikan oleh standar deviasi sampel dibagi dengan akar kuadrat dari ukuran sampel, dan interval kepercayaan dihitung dengan mengalikan kesalahan standar dengan nilai-nilai kecil dan konstan. Misalnya, interval kepercayaan 95% memperpanjang kira-kira dua kali kesalahan standar di kedua arah dari rata-rata. Oleh karena itu, sampel yang lebih besar cenderung memiliki kesalahan standar yang lebih sempit dan interval kepercayaan, bahkan jika standar deviasinya sama. Kita dapat melihat efek ini ketika kita membandingkan peringkat untuk cokelat batangan dari Kanada dengan cokelat dari Swiss (Gambar 16.6 ).Peringkat rata-rata dan standar deviasi sampel dapat dibandingkan antara batang cokelat Kanada dan Swiss, tetapi kami memiliki peringkat untuk 125 batang Kanada dan hanya 38 batang Swiss, dan akibatnya interval kepercayaan di sekitar rata-rata jauh lebih luas dalam kasus batang Swiss.

Gambar 16.6: Interval kepercayaan melebar dengan ukuran sampel yang lebih kecil. Batang coklat dari Kanada dan Swiss memiliki peringkat rata-rata yang sebanding dan standar deviasi yang sebanding (ditunjukkan dengan batang kesalahan hitam sederhana). Namun, lebih dari tiga kali lebih banyak bar Kanada dinilai sebagai bar Swiss, dan oleh karena itu interval kepercayaan (ditunjukkan dengan bar kesalahan dengan warna dan ketebalan yang berbeda yang digambar di atas satu sama lain) secara substansial lebih luas untuk rata-rata peringkat Swiss daripada untuk rata-rata peringkat Kanada. Sumber data: Brady Brelinski, Manhattan Chocolate Society

Pada Gambar 16.6 , saya menunjukkan tiga interval kepercayaan yang berbeda secara bersamaan, menggunakan warna yang lebih gelap dan garis yang lebih tebal untuk interval yang mewakili tingkat kepercayaan yang lebih rendah. Saya menyebut visualisasi ini sebagai bilah kesalahan bertingkat . Pemeringkatan membantu pembaca memahami bahwa ada berbagai kemungkinan yang berbeda.Jika saya menunjukkan bar kesalahan sederhana (tanpa penilaian) kepada sekelompok orang, kemungkinan setidaknya beberapa dari mereka akan melihat bar kesalahan secara deterministik, misalnya mewakili minimum dan maksimum data. Atau, mereka mungkin berpikir bar kesalahan menggambarkan kisaran perkiraan parameter yang mungkin, yaitu, estimasi tidak pernah bisa berada di luar bar kesalahan. Jenis-jenis kesalahan persepsi ini disebut kesalahan konstruktif deterministik. Semakin kita dapat meminimalkan risiko kesalahan konstruktif deterministik, semakin baik visualisasi ketidakpastian kita.

Bilah galat mudah digunakan karena bilah ini memungkinkan kami menampilkan banyak perkiraan dengan ketidakpastiannya sekaligus. Oleh karena itu, mereka biasanya digunakan dalam publikasi ilmiah, di mana tujuan utamanya biasanya untuk menyampaikan sejumlah besar informasi kepada audiens ahli. Sebagai contoh dari jenis aplikasi ini, Gambar 16.7 menunjukkan peringkat cokelat rata-rata dan interval kepercayaan terkait untuk cokelat yang diproduksi di enam negara yang berbeda.

Gambar 16.7: Nilai rata-rata rasa cokelat dan interval kepercayaan terkait untuk batang cokelat dari produsen di enam negara yang berbeda. Sumber data: Brady Brelinski, Manhattan Chocolate Society

Saat melihat Gambar 16.7 , Anda mungkin bertanya-tanya apa yang dikatakannya tentang perbedaan dalam peringkat rata-rata. Peringkat rata-rata batangan Kanada, Swiss, dan Austria lebih tinggi dari rata-rata batangan AS, tetapi mengingat ketidakpastian dalam peringkat rata-rata ini, apakah perbedaan dalam rata-rata signifikan ? Kata "signifikan" di sini adalah istilah teknis yang digunakan oleh ahli statistik. Kami menyebut perbedaan signifikan jika dengan beberapa tingkat kepercayaan kami dapat menolak asumsi bahwa perbedaan yang diamati disebabkan oleh pengambilan sampel secara acak. Karena hanya sejumlah terbatas batang Kanada dan AS yang dinilai, penilai dapat secara tidak sengaja mempertimbangkan lebih banyak batang Kanada yang lebih baik dan lebih sedikit batang AS yang lebih baik, dan peluang acak ini mungkin terlihat seperti keunggulan peringkat sistematis Kanada daripada batang AS.

Menilai signifikansi dari Gambar 16.7 sulit, karena baik nilai rata-rata Kanada dan nilai rata-rata AS memiliki ketidakpastian. Ketidakpastian kedua masalah untuk pertanyaan apakah sarana berbeda. Buku teks statistik dan tutorial online kadang-kadang menerbitkan aturan praktis tentang cara menilai signifikansi sejauh mana bar kesalahan dilakukan atau tidak tumpang tindih. Namun, aturan praktis ini tidak dapat diandalkan dan harus dihindari. Cara yang benar untuk menilai apakah ada perbedaan dalam peringkat rata-rata adalah dengan menghitung interval kepercayaan untuk perbedaan tersebut. Jika interval kepercayaan tersebut mengecualikan nol, maka kita tahu perbedaannya signifikan pada tingkat kepercayaan masing-masing. Untuk dataset peringkat cokelat, kami melihat bahwa hanya bilah dari Kanada yang memiliki peringkat signifikan lebih tinggi daripada bilah dari AS (Gambar 16.8 ). Untuk bar dari Swiss, interval kepercayaan 95% pada perbedaan hampir tidak termasuk nilai nol. Dengan demikian, perbedaan antara peringkat rata-rata batang coklat AS dan Swiss hampir tidak signifikan pada tingkat 5%. Akhirnya, tidak ada bukti sama sekali bahwa bar Austria secara sistematis memiliki peringkat rata-rata yang lebih tinggi daripada bar AS.

Gambar 16.8: Nilai rata-rata rasa cokelat untuk produsen dari lima negara yang berbeda, relatif terhadap nilai rata-rata batang coklat AS. Cokelat Kanada memiliki peringkat yang secara signifikan lebih tinggi daripada cokelat AS Untuk empat negara lainnya tidak ada perbedaan yang signifikan dalam peringkat rata-rata ke AS pada tingkat kepercayaan 95%.Tingkat kepercayaan telah disesuaikan untuk beberapa perbandingan menggunakan metode Dunnett. Sumber data: Brady Brelinski, Manhattan Chocolate Society

Pada gambar sebelumnya, saya telah menggunakan dua jenis bar kesalahan, bertingkat dan sederhana. Lebih banyak variasi dimungkinkan. Sebagai contoh, kita dapat menggambar bar kesalahan dengan atau tanpa tutup di bagian akhir (Gambar 16.9 a, c versus Gambar 16.9 b, d).Ada kelebihan dan kekurangan untuk semua pilihan ini. Baris kesalahan bergradasi menyoroti keberadaan rentang yang berbeda sesuai dengan tingkat kepercayaan yang berbeda.Namun, sisi lain dari informasi tambahan ini ditambahkan noise visual. Bergantung pada seberapa kompleks dan padatnya informasi angka, bar kesalahan sederhana mungkin lebih baik daripada yang dinilai. Apakah menggambar palang kesalahan dengan atau tanpa tutup merupakan masalah selera pribadi. Sebuah cap menyoroti di mana tepatnya bar kesalahan berakhir (Gambar 16.9 a, c), sedangkan bar kesalahan tanpa tutup memberi penekanan yang sama pada seluruh rentang interval (Gambar 16.9 b, d). Juga, sekali lagi, tutup menambahkan noise visual, jadi pada gambar dengan banyak bar kesalahan menghilangkan tutup mungkin lebih disukai.

Gambar 16.9: Nilai rata-rata rasa cokelat untuk produsen dari empat negara yang berbeda, relatif terhadap nilai rata-rata batang coklat AS.Setiap panel menggunakan pendekatan berbeda untuk memvisualisasikan informasi ketidakpastian yang sama. (a) Baris kesalahan bergradasi dengan batas. (B) Bar kesalahan dinilai tanpa batas. (C) Bar kesalahan interval tunggal dengan cap. (D) Bar kesalahan interval tunggal tanpa batas. (E) Kepercayaan strip. (f) Distribusi kepercayaan.

Sebagai alternatif untuk bar kesalahan kita bisa menarik strip kepercayaan yang secara bertahap memudar menjadi tidak ada (Gambar 16.9 e). Strip kepercayaan lebih baik menyampaikan bagaimana kemungkinan nilai yang berbeda, tetapi sulit untuk dibaca. Kami harus mengintegrasikan secara visual berbagai nuansa warna untuk menentukan di mana tingkat kepercayaan tertentu berakhir. Dari Gambar 16.9 e kita dapat menyimpulkan bahwa peringkat rata-rata untuk cokelat batangan Peru secara signifikan lebih rendah daripada cokelat batangan AS, namun ini tidak terjadi.Masalah serupa muncul ketika kami menunjukkan distribusi kepercayaan eksplisit (Gambar 16.9 f). Sulit untuk secara visual mengintegrasikan area di bawah kurva dan untuk menentukan di mana tepatnya tingkat kepercayaan yang diberikan tercapai. Masalah ini dapat sedikit diatasi, dengan menggambar dotplot kuantil seperti pada Gambar 16.3 .

Untuk gambar 2D sederhana, bar kesalahan memiliki satu keuntungan penting daripada tampilan ketidakpastian yang lebih kompleks: Mereka dapat dikombinasikan dengan banyak jenis plot lainnya. Untuk hampir semua visualisasi yang kami miliki, kami dapat menambahkan beberapa indikasi ketidakpastian dengan menambahkan bar kesalahan.Sebagai contoh, kita dapat menunjukkan jumlah dengan ketidakpastian dengan menggambar plot bar dengan bar kesalahan (Gambar 16.10 ). Jenis visualisasi ini biasanya digunakan dalam publikasi ilmiah. Kita juga bisa menggambar bar kesalahan di sepanjang arah x dan y dalam plot pencar (Gambar 16.11 ).

Gambar 16.10: Isi lemak mentega rata-rata dalam susu dari empat breed sapi. Baris kesalahan menunjukkan +/- satu kesalahan standar rata-rata.Visualisasi jenis ini sering terlihat dalam literatur ilmiah. Meskipun secara teknis mereka benar, mereka tidak mewakili variasi dalam setiap kategori atau ketidakpastian sampel berarti sangat baik. Lihat Gambar 7.11 untuk variasi isi lemak mentega di dalam masing-masing ras. Sumber Data: Catatan Kinerja Kanada untuk Sapi Perah Murni

Gambar 16.11: Pendapatan rata-rata dibandingkan usia rata-rata untuk 67 negara di Pennsylvania. Baris kesalahan mewakili interval kepercayaan 90%. Sumber data: Survei Komunitas Amerika Lima Tahun 2015

Mari kita kembali ke topik frequentist dan Bayesians. Kaum frekuensi sering menilai ketidakpastian dengan interval kepercayaan, sedangkan Bayesian menghitung distribusi posterior dan interval yang kredibel. Distribusi posterior Bayesian memberi tahu kita seberapa besar perkiraan parameter spesifik diberikan data input. Interval kredibel menunjukkan rentang nilai di mana nilai parameter diharapkan dengan probabilitas yang diberikan, yang dihitung dari distribusi posterior. Sebagai contoh, interval kredibel 95% sesuai dengan pusat 95% dari distribusi posterior. Nilai parameter sebenarnya memiliki peluang 95% untuk berbaring di interval kredibel 95%.

Jika Anda bukan ahli statistik, Anda mungkin akan terkejut dengan definisi saya tentang interval yang kredibel. Anda mungkin berpikir bahwa itu sebenarnya definisi interval kepercayaan. Bukan itu. Interval kredibel Bayesian memberi tahu Anda di mana parameter sebenarnya kemungkinan berada dan interval kepercayaan sering memberitahu Anda tentang di mana parameter sebenarnya kemungkinan tidak ada. Sementara perbedaan ini mungkin tampak seperti semantik, ada perbedaan konseptual yang penting antara kedua pendekatan. Di bawah pendekatan Bayesian, Anda menggunakan data dan pengetahuan Anda sebelumnya tentang sistem yang diteliti (disebut prior ) untuk menghitung distribusi probabilitas (posterior) yang memberi tahu Anda di mana Anda dapat mengharapkan nilai parameter yang sebenarnya terletak. Sebaliknya, di bawah pendekatan frequentist, Anda pertama-tama membuat asumsi bahwa Anda berniat untuk membantah. Asumsi ini disebut hipotesis nol , dan seringkali hanya asumsi bahwa parameter sama dengan nol (misalnya, tidak ada perbedaan antara dua kondisi). Anda kemudian menghitung probabilitas bahwa pengambilan sampel acak akan menghasilkan data yang mirip dengan apa yang diamati jika hipotesis nol itu benar.Interval kepercayaan adalah representasi dari probabilitas ini.Jika interval kepercayaan yang diberikan mengecualikan nilai parameter di bawah hipotesis nol (yaitu, nilai nol), maka Anda dapat menolak hipotesis nol pada tingkat kepercayaan itu.Sebagai alternatif, Anda dapat menganggap interval kepercayaan sebagai interval yang menangkap nilai parameter sebenarnya dengan kemungkinan yang ditentukan di bawah pengambilan sampel berulang (Gambar 16.12 ).Jadi, jika nilai parameter sebenarnya adalah nol, interval kepercayaan 95% hanya akan mengecualikan nol dalam 5% sampel yang dianalisis.

Gambar 16.12: Interpretasi frekuensi dari interval kepercayaan. Interval kepercayaan (CI) paling baik dipahami dalam konteks pengambilan sampel berulang. Untuk setiap sampel, interval kepercayaan tertentu mencakup atau mengecualikan parameter sebenarnya, di sini mean. Namun, jika kami sampel berulang kali, maka interval kepercayaan (ditampilkan di sini adalah 68% interval kepercayaan, sesuai dengan rata-rata sampel +/- kesalahan standar) termasuk rata-rata sebenarnya sekitar 68% dari waktu.

Untuk meringkas, interval Bayesian yang kredibel membuat pernyataan tentang nilai parameter yang benar dan interval kepercayaan sering membuat pernyataan tentang hipotesis nol. Namun dalam praktiknya, perkiraan Bayesian dan frequentist sering kali sangat mirip (Gambar 16.13 ). Satu keuntungan konseptual dari pendekatan Bayesian adalah bahwa ia menekankan pemikiran tentang besarnya suatu efek, sedangkan pemikiran yang kerap menekankan pada perspektif biner dari efek apakah ada atau tidak.

Gambar 16.13: Perbandingan interval kepercayaan sering dan interval kredibel Bayesian untuk peringkat rata-rata cokelat. Kami melihat bahwa kedua pendekatan menghasilkan hasil yang sama tetapi tidak persis sama.Secara khusus, perkiraan Bayesian menampilkan sejumlah kecil penyusutan, yang merupakan penyesuaian estimasi parameter paling ekstrem terhadap rata-rata keseluruhan. (Catat bagaimana perkiraan Bayesian untuk Swiss sedikit bergerak ke kiri dan perkiraan Bayesian untuk Peru sedikit bergerak ke kanan relatif terhadap estimasi masing-masing yang sering.) Estimasi yang sering dan interval kepercayaan yang ditampilkan di sini identik dengan hasil untuk 95% kepercayaan diri ditunjukkan pada Gambar 16.7 .

Interval kredibel Bayesian menjawab pertanyaan: "Di mana kita mengharapkan nilai parameter yang sebenarnya terletak?" Interval kepercayaan frekuensi yang sering menjawab pertanyaan: "Seberapa yakin kita bahwa nilai parameter sebenarnya bukan nol?"

Tujuan utama estimasi Bayesian adalah untuk mendapatkan distribusi posterior. Oleh karena itu, Bayesia umumnya memvisualisasikan seluruh distribusi daripada menyederhanakannya menjadi interval yang kredibel. Dalam hal visualisasi data, oleh karena itu, semua pendekatan untuk memvisualisasikan distribusi yang dibahas dalam Bab 7 , 8 , dan 9 berlaku. Secara khusus, histogram, plot kerapatan, plot kotak, biola, dan plot ridgeline semuanya umum digunakan untuk memvisualisasikan distribusi posterior Bayesian.Karena pendekatan-pendekatan ini telah dibahas secara panjang lebar dalam bab-bab spesifiknya, saya di sini hanya akan menunjukkan satu contoh, menggunakan plot ridgeline untuk menunjukkan distribusi posterior peringkat cokelat rata-rata Bayesian (Gambar 16.14 ). Dalam kasus khusus ini, saya telah menambahkan shading di bawah kurva untuk menunjukkan daerah yang ditentukan probabilitas posterior.Sebagai alternatif untuk shading, saya juga bisa menggambar dotplot kuantil, atau saya bisa menambahkan bar kesalahan bergradasi di bawah setiap distribusi. Plot Ridgeline dengan error bar di bawahnya disebut setengah mata, dan plot biola dengan error bar disebut plot mata (Bab 5.6 ).

Gambar 16.14: Distribusi posterior Bayesian dari nilai rata-rata batang coklat, ditunjukkan sebagai plot ridgeline. Titik-titik merah mewakili median dari setiap distribusi posterior. Karena sulit untuk mengubah distribusi kontinu menjadi daerah kepercayaan spesifik dengan mata, saya telah menambahkan naungan di bawah setiap kurva untuk menunjukkan pusat 80%, 95%, dan 99% dari setiap distribusi posterior.

16.3 Memvisualisasikan ketidakpastian kurva cocok

Dalam Bab 14 , kami membahas bagaimana menunjukkan tren dalam dataset dengan menyesuaikan garis lurus atau kurva ke data. Estimasi tren ini juga memiliki ketidakpastian, dan merupakan kebiasaan untuk menunjukkan ketidakpastian dalam garis tren dengan pita kepercayaan (Gambar 16.15 ). Pita kepercayaan memberi kita berbagai garis fit yang berbeda yang akan kompatibel dengan data.Ketika siswa menemukan band kepercayaan untuk pertama kalinya, mereka sering terkejut bahwa bahkan garis lurus yang sempurna menghasilkan pita kepercayaan yang melengkung. Alasan untuk kelengkungan adalah bahwa garis lurus dapat bergerak dalam dua arah yang berbeda: ia dapat bergerak ke atas dan ke bawah (yaitu, memiliki interept yang berbeda), dan dapat berputar (yaitu, memiliki lereng yang berbeda). Kita dapat secara visual menunjukkan bagaimana pita kepercayaan muncul dengan menggambar satu set garis pas alternatif yang dihasilkan secara acak dari distribusi posterior parameter fit. Ini dilakukan pada Gambar 16.16 , yang menunjukkan 15 alternatif yang dipilih secara acak. Kami melihat bahwa meskipun setiap garis lurus sempurna, kombinasi lereng dan penyadapan yang berbeda dari setiap garis menghasilkan bentuk keseluruhan yang terlihat seperti pita kepercayaan.

Gambar 16.15: Panjang kepala versus massa tubuh untuk blue jays pria, seperti pada Gambar 14.7 . Garis biru lurus mewakili kecocokan linear terbaik untuk data, dan pita abu-abu di sekitar garis menunjukkan ketidakpastian dalam kecocokan linier. Band abu-abu mewakili tingkat kepercayaan 95%. Sumber data: Keith Tarvin, Oberlin College

Gambar 16.16: Panjang kepala versus massa tubuh untuk blue jays jantan.Berbeda dengan Gambar 16.15 , garis-garis biru lurus sekarang mewakili alternatif yang sama-sama cocok diambil secara acak dari distribusi posterior. Sumber data: Keith Tarvin, Oberlin College

Untuk menggambar pita kepercayaan, kita perlu menentukan tingkat kepercayaan, dan seperti yang kita lihat untuk bar kesalahan dan probabilitas posterior, dapat bermanfaat untuk menyoroti berbagai tingkat kepercayaan. Ini membawa kita ke pita kepercayaan bertingkat, yang menunjukkan beberapa tingkat kepercayaan sekaligus (Gambar 16.17 ). Pita kepercayaan bertingkat meningkatkan rasa ketidakpastian pada pembaca, dan memaksa pembaca untuk menghadapi kemungkinan bahwa data mungkin mendukung garis tren alternatif yang berbeda.

Gambar 16.17: Panjang kepala versus massa tubuh untuk blue jays laki-laki. Seperti dalam kasus bar kesalahan, kita bisa menggambar pita kepercayaan bertingkat untuk menyoroti ketidakpastian dalam estimasi.Sumber data: Keith Tarvin, Oberlin College

Kami juga dapat menggambar pita kepercayaan untuk kecocokan kurva non-linear. Pita kepercayaan semacam itu terlihat bagus tetapi bisa sulit untuk diartikan (Gambar 16.18). Jika kita melihat Gambar 16.18 a, kita mungkin berpikir bahwa pita kepercayaan muncul dengan menggerakkan garis biru ke atas dan ke bawah dan mungkin sedikit merusaknya.Namun, seperti Gambar 16.18 b mengungkapkan, pita kepercayaan mewakili keluarga kurva yang semuanya sedikit lebih goyah daripada keseluruhan paling cocok yang ditunjukkan pada bagian (a). Ini adalah prinsip umum kecocokan kurva non-linear. Ketidakpastian bersesuaian tidak hanya dengan pergerakan kurva naik dan turun tetapi juga untuk peningkatan kegoyahan.

Gambar 16.18: Efisiensi bahan bakar versus perpindahan, untuk 32 mobil (model 1973-74). Setiap titik mewakili satu mobil, dan garis-garis halus diperoleh dengan memasang garis regresi kubik dengan 5 knot. (a) Spline paling pas dan pita kepercayaan diri. (B) Alternatif cocok kemungkinan ditarik dari distribusi posterior. Sumber data: Trend Motor, 1974.

16.4 Plot hasil hipotetis

Semua visualisasi statis dari ketidakpastian mengalami masalah yang membuat pemirsa dapat menginterpretasikan beberapa aspek dari visualisasi ketidakpastian sebagai fitur deterministik dari data (deterministic construal error). Kita dapat menghindari masalah ini dengan memvisualisasikan ketidakpastian melalui animasi, dengan bersepeda melalui sejumlah plot yang berbeda tetapi kemungkinan besar sama.Jenis visualisasi ini disebut plot hasil hipotetis (Hullman, Resnick, dan Adar 2015 ) atau HOP. Sementara HOP tidak dimungkinkan dalam media cetak, mereka bisa sangat efektif dalam pengaturan online di mana visualisasi animasi dapat disediakan dalam bentuk video GIF atau MP4. HOP juga dapat bekerja dengan baik dalam konteks presentasi lisan.

Untuk mengilustrasikan konsep HOP, mari kembali lagi ke peringkat cokelat. Ketika Anda berdiri di toko kelontong berpikir untuk membeli cokelat, Anda mungkin tidak peduli tentang tingkat rasa rata-rata dan ketidakpastian terkait untuk kelompok-kelompok tertentu dari cokelat batangan. Alih-alih, Anda mungkin ingin mengetahui jawaban atas pertanyaan yang lebih sederhana, seperti: Jika saya mengambil cokelat batangan buatan Kanada dan AS secara acak, manakah di antara keduanya yang harus saya harapkan rasanya lebih enak? Untuk sampai pada jawaban atas pertanyaan ini, kita dapat secara acak memilih bar Kanada dan AS dari dataset, membandingkan peringkat mereka, mencatat hasilnya, dan kemudian mengulangi proses ini berkali-kali. Jika kami melakukan ini, kami akan menemukan bahwa dalam sekitar 53% dari kasus bar Kanada akan peringkat lebih tinggi, dan dalam 47% kasus baik bar AS peringkat lebih tinggi atau dua bar terikat. Kami dapat menunjukkan proses ini secara visual dengan bersepeda di antara beberapa undian acak ini dan menunjukkan peringkat relatif dari dua batang untuk setiap undian (Gambar 16.19 / Gambar 16.20 ).

Gambar 16.19: (untuk edisi cetak) Skema plot hasil hipotetis untuk peringkat batang cokelat batang produksi Kanada dan AS. Setiap bilah hijau vertikal mewakili peringkat untuk satu batang, dan setiap panel menunjukkan perbandingan dua batang yang dipilih secara acak, masing-masing dari pabrikan Kanada dan pabrikan AS. Dalam plot hasil hipotetis yang sebenarnya, tampilan akan berputar di antara panel plot yang berbeda alih-alih menunjukkannya berdampingan.

Gambar 16.20: (untuk edisi online) Plot hasil hipotetis untuk peringkat cokelat batangan Kanada dan batangan buatan AS. Setiap bilah hijau vertikal mewakili peringkat untuk satu bilah. Animasi siklus melalui kasus yang berbeda dari dua bar yang dipilih secara acak, masing-masing dari produsen Kanada dan produsen AS.

Sebagai contoh kedua, pertimbangkan variasi bentuk di antara garis tren yang mungkin sama pada Gambar 16.18 b.Karena semua garis tren diplot di atas satu sama lain, kami terutama memahami keseluruhan area yang dicakup oleh garis tren, yang mirip dengan pita kepercayaan. Menganggap trendline individu itu sulit. Dengan mengubah angka ini menjadi HOP, kita dapat menyoroti garis tren individu satu per satu (Gambar 16.21 / Gambar 16.22 ).

Gambar 16.21: (untuk edisi cetak) Skema plot hasil hipotetis untuk efisiensi bahan bakar versus perpindahan. Setiap titik mewakili satu mobil, dan garis-garis halus diperoleh dengan memasang garis regresi kubik dengan 5 knot. Setiap baris di setiap panel mewakili satu hasil fit alternatif, diambil dari distribusi posterior parameter fit. Dalam plot hasil hipotetis yang sebenarnya, tampilan akan berputar di antara panel plot yang berbeda alih-alih menunjukkannya berdampingan.

Gambar 16.22: (untuk edisi online) Plot hasil hipotetis untuk efisiensi bahan bakar versus perpindahan. Setiap titik mewakili satu mobil, dan garis-garis halus diperoleh dengan memasang garis regresi kubik dengan 5 knot.Animasi berputar melalui berbagai hasil kecocokan alternatif yang diambil dari distribusi posterior dari parameter kecocokan.

Saat menyiapkan HOP, Anda mungkin bertanya-tanya apakah lebih baik melakukan pergantian yang keras antara hasil yang berbeda (seperti pada slide proyektor) atau lebih tepatnya menghidupkan dari satu hasil ke yang berikutnya (mis., Perlahan-lahan deformasi trendline untuk satu hasil sampai terlihat seperti trendline untuk hasil lain). Sementara ini sampai batas tertentu merupakan pertanyaan terbuka yang terus diteliti, beberapa bukti menunjukkan bahwa transisi yang lancar membuat lebih sulit untuk menilai tentang probabilitas yang diwakili (Kale et al. 2018 ) . Jika Anda mempertimbangkan menjiwai di antara hasil, Anda mungkin ingin setidaknya membuat animasi ini sangat cepat, atau memilih gaya animasi di mana hasil memudar masuk dan keluar daripada merusak dari satu ke yang lain.

Ada satu aspek penting yang perlu kita perhatikan ketika menyiapkan HOP: Kita perlu memastikan bahwa hasil yang kita tunjukkan mewakili distribusi sebenarnya dari hasil yang mungkin. Kalau tidak, HOP kami bisa agak menyesatkan.Sebagai contoh, kembali ke kasus peringkat cokelat, jika saya memilih secara acak sepuluh batang cokelat hasil dan di antaranya batang AS diberi peringkat lebih tinggi daripada batang Kanada dalam tujuh kasus, maka HOP akan secara keliru menciptakan kesan bahwa batang AS cenderung memiliki peringkat lebih tinggi daripada bar Kanada. Kami dapat mencegah masalah ini baik dengan memilih sejumlah besar hasil, sehingga bias pengambilan sampel tidak mungkin, atau dengan memverifikasi dalam beberapa bentuk bahwa hasil yang ditampilkan sesuai. Ketika membuat Gambar 16.19 / Gambar 16.20 , saya memverifikasi bahwa berapa kali bar Kanada ditampilkan menang, mendekati persentase sebenarnya dari 53%.

Referensi

Kay, M., T. Kola, J. Hullman, dan S. Munson. 2016. “Kapan (Ish) Is My Bus? Visualisasi Ketidakpastian yang Berpusat pada Pengguna di Sehari-hari, Sistem Prediktif Seluler. ”Konferensi CHI tentang Faktor Manusia dalam Sistem Komputer , 5092–5103. doi: 10.1145 / 2858036.2858558 .

Hullman, J., P. Resnick, dan E. Adar. 2015. “Plot Hasil Hipotetis Mengalahkan Bar Galat dan Plot Biola untuk Inferensi Tentang Keandalan Pemesanan Variabel.” PLOS ONE 10: e0142444. doi: 10.1371 / journal.pone.0142444 .

Kale, A., F. Nguyen, M. Kay, dan J. Hullman. 2018. “Plot Hasil Hipotetis Membantu Pengamat yang Tidak Terlatih Menilai Tren dalam Data Ambigu.” Transaksi IEEE pada Visualisasi dan Grafik Komputer . doi: 10.1109 / TVCG.2018.2864909