6 Jenis Bias AI Yang Harus Diketahui Semua Orang – Menuju AI — Teknologi, Sains, dan Rekayasa Terbaik

Pengarang: Ed Shee

Keadilan

Di blog saya sebelumnya, kami melihat perbedaan antara Bias, Fairness, dan Explainability di AI. Saya menyertakan pandangan tingkat tinggi tentang apa itu Bias tetapi kali ini kita akan membahas lebih detail.

Bias muncul dalam pembelajaran mesin dalam berbagai bentuk. Yang penting untuk dipertimbangkan adalah bahwa melatih model pembelajaran mesin sangat mirip dengan membesarkan anak.

Foto oleh MI PAM di Unsplash

Ketika seorang anak berkembang, mereka menggunakan indera seperti pendengaran, penglihatan, dan sentuhan untuk belajar dari dunia di sekitar mereka. Pemahaman mereka tentang dunia, pendapat mereka, dan keputusan yang akhirnya mereka buat semuanya sangat dipengaruhi oleh pendidikan mereka. Misalnya, seorang anak yang tumbuh dan hidup dalam komunitas seksis mungkin tidak pernah menyadari ada sesuatu yang bias dalam cara mereka memandang gender yang berbeda. Model pembelajaran mesin persis sama. Alih-alih menggunakan indra sebagai input, mereka menggunakan data — data yang *kami* berikan kepada mereka! Inilah mengapa sangat penting untuk mencoba dan menghindari bias dalam data yang digunakan untuk melatih model pembelajaran mesin. Mari kita lihat lebih dekat beberapa bentuk bias paling umum dalam pembelajaran mesin:

Bias Historis

Saat mengumpulkan data untuk melatih algoritme pembelajaran mesin, mengambil data historis hampir selalu merupakan tempat termudah untuk memulai. Namun, jika kita tidak berhati-hati, sangat mudah untuk memasukkan bias yang ada dalam data historis.

Ambil Amazon, misalnya; Pada tahun 2014 mereka mulai membangun sistem untuk menyaring pelamar kerja secara otomatis. Idenya adalah untuk memberi makan sistem ratusan CV dan membuat kandidat teratas dipilih secara otomatis. Sistem ini dilatih pada aplikasi pekerjaan selama 10 tahun dan hasilnya. Masalah? Sebagian besar karyawan di Amazon adalah laki-laki (terutama dalam peran teknis). Algoritme mempelajari bahwa, karena ada lebih banyak pria daripada wanita di Amazon, pria adalah kandidat yang lebih cocok dan secara aktif mendiskriminasi aplikasi non-pria. Pada tahun 2015 seluruh proyek harus dibatalkan.

Contoh Bias

Bias sampel terjadi ketika data pelatihan Anda tidak secara akurat mencerminkan susunan penggunaan model Anda di dunia nyata. Biasanya satu populasi sangat terwakili atau kurang terwakili.

Saya baru-baru ini melihat ceramah dari David Keene dan dia memberikan contoh bias sampel yang sangat bagus.

Saat melatih sistem ucapan-ke-teks, Anda memerlukan banyak klip audio bersama dengan transkripsi yang sesuai. Di mana lebih baik untuk mendapatkan banyak data ini daripada buku audio? Apa yang salah dengan pendekatan itu?

Nah, ternyata sebagian besar buku audio dinarasikan oleh pria kulit putih yang berpendidikan tinggi, paruh baya. Tidak mengherankan, perangkat lunak pengenalan suara yang dilatih menggunakan pendekatan ini berkinerja buruk jika pengguna berasal dari latar belakang sosial-ekonomi atau etnis yang berbeda.

Sumber: https://www.pnas.org/content/117/14/7684

Bagan di atas menunjukkan tingkat kesalahan kata [WER] untuk sistem pengenalan suara dari perusahaan teknologi besar. Anda dapat dengan jelas melihat bahwa semua algoritme berkinerja buruk untuk suara hitam vs suara putih.

Label Bias

Banyak data yang diperlukan untuk melatih algoritme ML perlu diberi label sebelum berguna. Anda sebenarnya sering melakukan ini sendiri ketika Anda masuk ke situs web. Diminta untuk mengidentifikasi kotak yang berisi lampu lalu lintas? Anda sebenarnya mengonfirmasi sekumpulan label untuk gambar itu untuk membantu melatih model pengenalan visual. Namun, cara kami melabeli data sangat bervariasi dan inkonsistensi dalam pelabelan dapat menimbulkan bias ke dalam sistem.

Gambar oleh Penulis

Bayangkan Anda melatih sebuah sistem dengan melabeli singa menggunakan kotak-kotak pada gambar di atas. Anda kemudian menunjukkan sistem Anda gambar ini:

Gambar oleh Penulis

Mengganggu, ia tidak dapat mengidentifikasi singa yang sangat jelas dalam gambar. Dengan melabeli wajah saja, Anda secara tidak sengaja membuat bias sistem terhadap gambar singa yang menghadap ke depan!

Bias Agregasi

Terkadang kami menggabungkan data untuk menyederhanakannya, atau menyajikannya dengan cara tertentu. Hal ini dapat menyebabkan bias terlepas dari apakah itu terjadi sebelum atau setelah membuat model kita. Perhatikan grafik ini, misalnya:

Gambar oleh Penulis

Ini menunjukkan bagaimana kenaikan gaji berdasarkan jumlah tahun bekerja dalam suatu pekerjaan. Ada korelasi yang cukup kuat di sini bahwa semakin lama Anda bekerja, semakin banyak Anda dibayar. Sekarang mari kita lihat data yang digunakan untuk membuat agregat ini:

Kami melihat bahwa untuk atlet, kebalikannya adalah benar. Mereka dapat memperoleh gaji tinggi di awal karir mereka saat mereka masih di puncak fisik mereka tetapi kemudian turun saat mereka berhenti bersaing. Dengan menggabungkan mereka dengan profesi lain, kami membuat algoritme kami menjadi bias terhadap mereka.

Bias Konfirmasi

Sederhananya, bias konfirmasi adalah kecenderungan kita untuk mempercayai informasi yang menegaskan keyakinan kita yang ada atau membuang informasi yang tidak. Secara teoritis, saya dapat membangun sistem ML paling akurat yang pernah ada, tanpa bias baik dalam data maupun pemodelan, tetapi jika Anda akan mengubah hasil berdasarkan “firasat” Anda sendiri, maka itu tidak masalah.

Bias konfirmasi sangat lazim dalam aplikasi pembelajaran mesin di mana tinjauan manusia diperlukan sebelum tindakan apa pun diambil. Penggunaan AI dalam perawatan kesehatan telah membuat dokter mengabaikan diagnosis algoritmik karena tidak sesuai dengan pengalaman atau pemahaman mereka sendiri. Seringkali ketika diselidiki, ternyata para dokter belum membaca literatur penelitian terbaru yang menunjukkan gejala, teknik, atau hasil diagnosis yang sedikit berbeda. Pada akhirnya, hanya ada begitu banyak jurnal penelitian yang dapat dibaca oleh satu dokter (terutama saat menyelamatkan nyawa penuh waktu) tetapi sistem ML dapat mencerna semuanya.

Bias Evaluasi

Foto oleh Arnaud Jaegers di Unsplash

Bayangkan Anda sedang membangun model pembelajaran mesin untuk memprediksi jumlah pemilih di seluruh negeri selama pemilihan umum. Anda berharap, dengan mengambil serangkaian fitur seperti usia, profesi, pendapatan, dan keberpihakan politik, Anda dapat memprediksi secara akurat apakah seseorang akan memilih atau tidak. Anda membangun model Anda, menggunakan pemilihan lokal Anda untuk mengujinya, dan sangat senang dengan hasil Anda. Tampaknya Anda dapat memprediksi dengan benar apakah seseorang akan memilih atau tidak 95% dari waktu.

Saat pemilihan umum bergulir, Anda tiba-tiba sangat kecewa. Model yang Anda habiskan selama bertahun-tahun untuk merancang dan menguji hanya benar 55% dari waktu — kinerjanya hanya sedikit lebih baik daripada tebakan acak. Hasil yang buruk adalah contoh dari bias evaluasi. Dengan hanya mengevaluasi model Anda pada orang-orang di area lokal Anda, Anda secara tidak sengaja merancang sistem yang hanya berfungsi dengan baik untuk mereka. Daerah lain di negara ini, dengan pola pemungutan suara yang sama sekali berbeda, belum diperhitungkan dengan benar, bahkan jika mereka disertakan dalam data pelatihan awal Anda.

Kesimpulan

Anda sekarang telah melihat enam cara berbeda yang bias memengaruhi pembelajaran mesin. Meskipun ini bukan daftar yang lengkap, ini akan memberi Anda pemahaman yang baik tentang cara paling umum di mana sistem ML akhirnya menjadi bias. Jika Anda tertarik untuk membaca lebih lanjut, saya akan merekomendasikan makalah ini dari Mehrabi et al.

6 Jenis Bias AI yang Harus Diketahui Semua Orang awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI