Pembelajaran Mendalam – Menuju AI — Publikasi AI dan Teknologi Terkemuka di Dunia

Penulis (s): Olga Chernytska

Awalnya diterbitkan di Towards AI the World’s Leading AI and Technology News and Media Company. Jika Anda sedang membangun produk atau layanan terkait AI, kami mengundang Anda untuk mempertimbangkan untuk menjadi sponsor AI. Di Towards AI, kami membantu menskalakan AI dan startup teknologi. Biarkan kami membantu Anda melepaskan teknologi Anda kepada massa.

Belajar Menerapkan Makalah: Panduan Pemula

Petunjuk langkah demi langkah tentang cara memahami makalah Deep Learning dan menerapkan pendekatan yang dijelaskan.

Sumber: https://arxiv.org/abs/1608.00367

Mampu mengimplementasikan karya ilmiah terbaru adalah keterampilan yang sangat kompetitif bagi seorang Data Scientist. Karena tidak banyak orang yang bisa melakukannya.

Jika Anda ingin menjadi seorang pemikir, memahami apa yang terjadi di dalam kotak hitam, meningkatkan kreativitas Anda, atau menjadi pengembang pertama yang membawa penelitian ilmiah terkini ke dalam bisnis — postingan ini cocok untuk Anda.

Hari ini kita akan membahas bagaimana memilih kertas yang “baik” untuk memulai, yang akan relatif mudah bagi seorang pemula; kami akan meninjau struktur kertas yang khas dan di mana informasi penting berada; Saya akan memberi Anda petunjuk langkah demi langkah tentang cara mendekati implementasi makalah dan membagikan tautan yang akan membantu Anda ketika Anda buntu.

Mulai dari mana?

Jika Anda ingin pembelajaran Anda lancar dan tanpa stres, Anda harus menemukan makalah yang “bagus”. Sebagai titik awal, saya sangat menyarankan Anda untuk memilih makalah lama dan banyak dikutip yang menggambarkan konsep yang Anda kenal.

Makalah lama yang banyak dikutip biasanya menjelaskan konsep yang sangat mendasar yang menjadi dasar untuk penelitian yang lebih baru. Anda tahu dasar-dasarnya — Anda juga akan lebih memahami makalah terbaru. Untuk Deep Learning, makalah sebelum tahun 2016 dianggap sudah tua. Makalah yang banyak dikutip dapat direproduksi. Ini berarti banyak ilmuwan lain yang mampu memahami dan menerapkan pendekatan tersebut. Untuk mengetahui jumlah kutipan untuk makalah tertentu, google di Google Cendekia. Makalah dengan lebih dari 1000 kutipan dianggap sangat dikutip. Biasanya, makalah yang lebih tua menggambarkan konsep yang lebih sederhana, yang merupakan nilai tambah besar bagi Anda sebagai pemula.

Struktur kertas: apa yang harus dilewati, apa yang harus dibaca

Makalah Deep Learning yang khas memiliki struktur sebagai berikut:

Abstrak Pendahuluan Pendekatan Kerja Terkait secara Detail Eksperimen Kesimpulan Referensi

Struktur makalah Deep Learning yang khas. Gambar oleh Penulis

1. Abstrak adalah ringkasan “pemasaran”. Ini sangat singkat dan berfokus pada mengapa pendekatan ini lebih baik daripada yang sebelumnya dan apa yang baru tentangnya. Abstrak diterbitkan dalam jadwal konferensi dan arsip online (seperti Arxiv), dan satu-satunya tujuan mereka adalah meyakinkan Anda untuk membaca makalah khusus ini. Anda telah memilih makalah untuk dibaca (dan diterapkan) — jadi silakan lewati abstraknya.

2. Pendahuluan adalah bagian penting dan wajib dibaca. Ini memberikan gambaran tingkat tinggi dari pendekatan. Biasanya, ini tidak terlalu teknis dan sangat “ramah pengguna”, jadi bacalah bagian Pendahuluan terlebih dahulu, hangatkan otak Anda sebelum menyelam lebih dalam ke detail algoritme.

3. Pekerjaan Terkait. Semua makalah ilmiah (dan juga Deep learning) saling terkait: setiap penemuan dibangun di atas karya lusinan peneliti sebelumnya. Ikhtisar Pekerjaan Terkait adalah bagian wajib untuk setiap makalah. Penulis harus memastikan bahwa pekerjaan mereka relevan, memecahkan masalah penting, dan tidak mengulangi pekerjaan yang dilakukan sebelumnya oleh peneliti lain. Ini adalah bagian penting bagi komunitas ilmiah — tetapi tidak bagi kami (praktisi), jadi lewati saja!
(Oke. Kadang-kadang Anda mungkin membutuhkannya — tetapi hanya jika Anda sedang mencari makalah/konsep dasar lainnya di lapangan untuk dibaca.)

4. Pendekatan secara Detail. Di sinilah kesenangan dimulai. Ini adalah bagian yang paling rumit dan menantang dalam makalah ini, dan yang paling penting (bacalah dengan pasti!). Jangan menaruh harapan Anda terlalu tinggi dan jangan berharap untuk memahami semuanya dari satu bacaan. Ini adalah bagian yang akan Anda kunjungi lagi dan lagi saat coding.

Jangan takut dengan rumus yang rumit, dalam kebanyakan kasus, mereka menjelaskan konsep dasar. Saya percaya begitulah cara para peneliti membuat lelucon. Dalam beberapa saat, Anda akan terbiasa.

Saat membaca makalah, tangkap semua informasi yang mungkin Anda perlukan — teknik pra-pemrosesan data, arsitektur jaringan saraf terperinci, fungsi kehilangan, trik pelatihan, dan pasca-pemrosesan. Cobalah yang terbaik untuk mendapatkannya. Tidak apa-apa jika Anda tidak dapat memahami sesuatu bahkan setelah beberapa kali mencoba, nanti saya akan memberi tahu Anda apa yang harus dilakukan dengan itu.

5. Eksperimen. Bagian ini penuh dengan bagan, tabel, dan gambar. Biasanya, ini berisi detail tentang kumpulan data, pelatihan, dan evaluasi, serta ulasan tentang bagaimana model tampil dengan berbagai hyperparameter dan dibandingkan dengan pendekatan mutakhir dari makalah lain. Jika makalahnya tentang Computer Vision, akan ada visualisasi prediksi model juga. Saya akan mengatakan bahwa bagian ini adalah untuk membaca sebagian, satu-satunya apa yang Anda minati.

6. Kesimpulan adalah rangkuman makalah, terkadang berisi ide-ide penulis untuk penelitian selanjutnya. Anda harus melewatkannya.

7. Referensi. Ada aturan ketat dalam komunitas ilmiah (dan tidak hanya): jika peneliti menggunakan ide milik orang lain, ia harus menambahkan referensi ke karya asli (kutipan). Sebagian besar referensi seperti itu mungkin akan Anda lewati ketika konsep dari referensi ini sudah dijelaskan di makalah, atau tidak penting. Namun, terkadang, penulis mungkin mengatakan: “Kami menggunakan arsitektur model yang dijelaskan dalam makalah [2], hanya memodifikasi aktivasi di lapisan terakhir”. Dalam hal ini, Anda harus mencari dan membaca koran [2] untuk sepenuhnya memahami pendekatan.

Dan sekarang — saatnya membaca koran. Matikan musik, alihkan ponsel ke mode pesawat, dan minum teh. Selama 30 menit berikutnya, Anda harus sangat fokus, saat Anda menyelam ke dunia baru — mengasyikkan, tetapi cukup menantang.

Di mana mencari bantuan?

Bagi banyak orang “implement the paper” berarti “membaca makalah dengan cepat dan kemudian mencari implementasi yang siap melalui internet”. Ini adalah cara termudah, tetapi bukan cara yang menguntungkan. Saya sangat menyarankan Anda memulai dari awal dan tidak langsung mencari solusi siap pakai. Lakukan setidaknya sesuatu sendiri — saat itulah Anda belajar.

Bahkan jika Anda seorang pemula dalam mengimplementasikan makalah, selalu ada sesuatu yang dapat Anda lakukan:

Unduh kumpulan data, jelajahi, tulis pemuat data.

Tugas sederhana dan mudah, tetapi ketika dilakukan itu memberi Anda kepercayaan diri dan membantu untuk melanjutkan:

Mulailah menulis arsitektur model, sederhanakan atau lewati bagian yang tidak Anda pahami. Ada penginisialisasi bobot yang aneh – lewati untuk saat ini dan gunakan yang default. Anda belum pernah bekerja dengan aktivasi PRELU sebelumnya — gunakan ReLU sebagai gantinya. Tujuan Anda sekarang adalah membuat model yang dapat dilatih, bukan model dari kertas atau model dengan kinerja yang baik, hanya TRAINABLE. Ini memiliki input, memiliki output, sehingga Anda dapat menjalankan pelatihan. Ada kerugian khusus dalam makalah — ganti dengan yang serupa yang diterapkan di perpustakaan pembelajaran mendalam. Lakukan hal yang sama dengan pengoptimal, augmentasi data, pasca-pemrosesan — sederhanakan atau lewati.

Anda akan berakhir dengan draf. Anda bahkan dapat melatih draf dan melihat bagaimana hasilnya — mungkin hasilnya tidak terlalu buruk

Kemudian isi celah dan perbaiki bagian yang tidak berfungsi dengan baik. Pertama, bereksperimenlah sendiri — uji ide yang muncul di benak Anda saat menulis draf, baca makalah sekali lagi, dan mudah-mudahan menangkap konsep yang sebelumnya Anda lewatkan. Jangan marah jika Anda terjebak dengan sangat cepat. Anda telah membuat draf, dan ini adalah kemajuan besar, Anda telah belajar banyak. Jadi lain kali dan dengan makalah berikutnya Anda akan membuat draf akan jauh lebih baik. Ini adalah proses belajar.

Merasa benar-benar macet? Waktu yang tepat untuk google.

Ingat, saya menyarankan Anda memilih makalah yang sangat dikutip. Dan sekarang Anda akan merasakan manfaatnya. Makalah populer memiliki lusinan implementasi melalui internet dan posting blog yang menjelaskan bagian-bagian kompleks. Menikmati!

Tempat pertama yang harus diperiksa adalah Papers With Code, perpustakaan besar dengan implementasi kode dari mungkin semua makalah populer. Implementasi ini resmi atau dari peneliti seperti Anda dan saya. Misalnya, word2vec memiliki 67 implementasi pada Papers With Code yang tersedia di PyTorch dan Tensorflow.

Anda dapat menyalin-menempel, tetapi luangkan waktu untuk memahami kode itu. Itu nasihat terakhir.

Semoga berhasil!

Sekali lagi:

Pilih kertas lama dan banyak dikutip. Bacalah dengan saksama dan coba tangkap sebanyak mungkin — persiapan data, arsitektur model, fungsi kehilangan, dan detail pelatihan. Jangan marah jika Anda tidak mengerti semuanya. Buat draf implementasi dengan melewatkan dan menyederhanakan konsep yang tidak Anda pahami. Tidak apa-apa jika draf Anda jauh dari pendekatan dalam makalah. Cobalah untuk memperbaiki draf Anda sendiri. Saat Anda buntu — lihat di internet untuk posting dan kode dengan implementasi kertas. Salin-tempel, tetapi baca dan pahami. Selesaikan pekerjaan Anda sebagai proyek Github (mengapa tidak?). Lihat, bagaimana saya melakukannya. Ulangi dengan kertas baru. Dan rasakan betapa halusnya itu untuk kedua kalinya

Pembelajaran yang sebenarnya terjadi pada langkah 2–5, jadi semakin banyak waktu yang Anda habiskan di sini — semakin cepat Anda belajar. Semoga berhasil!

Apa berikutnya?

Jika Anda ingin membaca lebih lanjut tentang implementasi kertas, periksa posting saya yang lain:

Dan berlangganan Twitter atau Telegram saya untuk tidak ketinggalan posting baru saya

Deep Learning awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI