Modul 04 · 20 menit

Embedding dan Kemiripan

Bandingkan token, hitungan kata, TF-IDF, embedding, dan kemiripan untuk memahami cara model mengolah teks.

Ditulis dan disunting oleh Cahyanto Arie Wibowo. Terakhir ditinjau · versi 1.2.

Kapan pemahaman tentang konsep “Embedding dan Kemiripan” paling dibutuhkan?

Di bagian ini, Anda akan memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna. Bayangkan Anda menjelaskan Embedding dan Kemiripan kepada rekan kerja tanpa jargon. Contoh yang jelas, batas penggunaan, dan alasan di balik keputusan akan lebih membantu daripada definisi yang panjang. Cobalah menjelaskan Embedding dan Kemiripan dengan kata-kata Anda sendiri. Jika contohnya sudah jelas, biasanya pemahamannya juga semakin kuat.

Model visual untuk “Embedding dan Kemiripan” dalam Data Literacy: hubungan antarbagiannya sama penting dengan setiap bagian secara terpisah.

Setelah lesson ini

  • Memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna.
  • Menggunakan konsep “Embedding dan Kemiripan” untuk membaca satu situasi nyata.
  • Menjelaskan batas konsep dan informasi yang masih perlu diperiksa.

Mulai dari situasi

Pahami situasinya lebih dulu. Istilahnya bisa menyusul.

Dua kalimat yang memakai kata berbeda dapat tetap memiliki makna yang dekat dalam ruang embedding. Di bagian ini, Anda akan melihat situasi tersebut melalui konsep “Embedding dan Kemiripan”. Tujuannya bukan mencari satu istilah yang menjawab semua masalah, melainkan memahami pilihan yang tersedia dengan lebih jernih.

Di bagian ini, Anda akan memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna. Bandingkan token, hitungan kata, TF-IDF, embedding, dan kemiripan untuk memahami cara model mengolah teks. Hubungkan konsep ini dengan keputusan yang benar-benar perlu Anda buat.

Jangan buru-buru memilih

Dua cara melihat Embedding dan Kemiripan

Berguna ketika

  • Memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna.
  • Menggunakan konsep “Embedding dan Kemiripan” untuk membaca satu situasi nyata.
  • Di bagian ini, Anda akan memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna. Bandingkan token, hitungan kata, TF-IDF, embedding, dan kemiripan untuk memahami cara model mengolah teks. Hubungkan konsep ini dengan keputusan yang benar-benar perlu Anda buat.

Berhenti dan periksa

  • Kemiripan yang tinggi tidak otomatis membuat sebuah jawaban benar atau aman. Jika dampaknya besar atau sulit dibalik, hentikan proses sampai penanggung jawab dan cara pemeriksaannya jelas. Tuliskan asumsi yang Anda pakai agar orang lain dapat memeriksanya.
  • Menjelaskan batas konsep dan informasi yang masih perlu diperiksa.

Pilihan yang lebih kuat adalah pilihan yang bukti, penanggung jawab, dan batasnya dapat dijelaskan, bukan sekadar pilihan yang terlihat lebih canggih.

Model visual

Petakan setiap bagiannya sebelum menentukan langkah.

Model visual untuk “Embedding dan Kemiripan” dalam Data Literacy: hubungan antarbagiannya sama penting dengan setiap bagian secara terpisah.

Baca diagram sebagai peta Embedding dan Kemiripan: mulai dari konteksnya, ikuti hubungan antarbagiannya, lalu periksa titik yang disorot sebelum mengambil keputusan.

Mari lihat cara kerjanya

Cara membacanya dalam situasi nyata

Bayangkan Anda menjelaskan Embedding dan Kemiripan kepada rekan kerja tanpa jargon. Contoh yang jelas, batas penggunaan, dan alasan di balik keputusan akan lebih membantu daripada definisi yang panjang. Mulailah dari hal yang dapat Anda amati, lalu pisahkan fakta, asumsi, dan pertanyaan yang masih belum terjawab.

Dua kalimat yang memakai kata berbeda dapat tetap memiliki makna yang dekat dalam ruang embedding. Perhatikan siapa yang harus memeriksa hasil dan apa yang terjadi bila asumsi tentang konsep “Embedding dan Kemiripan” keliru. Contoh ini membantu Anda berpikir, tetapi bukan bukti bahwa satu solusi akan cocok untuk semua situasi.

Berhenti sejenak

Bukti apa yang bisa mengubah keputusan ini?

Jawab sebelum membuka pembahasan. Sebutkan satu fakta dan satu asumsi.

Buka pembahasan

Di bagian ini, Anda akan memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna. Bayangkan Anda menjelaskan Embedding dan Kemiripan kepada rekan kerja tanpa jargon. Contoh yang jelas, batas penggunaan, dan alasan di balik keputusan akan lebih membantu daripada definisi yang panjang. Cobalah menjelaskan Embedding dan Kemiripan dengan kata-kata Anda sendiri. Jika contohnya sudah jelas, biasanya pemahamannya juga semakin kuat.

Jalan pintas yang menggoda

Istilah yang terdengar familiar belum tentu membantu Anda mengambil keputusan yang tepat.

Mengapa ini terasa masuk akal

Kemiripan yang tinggi tidak otomatis membuat sebuah jawaban benar atau aman. Jika dampaknya besar atau sulit dibalik, hentikan proses sampai penanggung jawab dan cara pemeriksaannya jelas. Tuliskan asumsi yang Anda pakai agar orang lain dapat memeriksanya.

Cara memeriksanya

Bayangkan Anda menjelaskan Embedding dan Kemiripan kepada rekan kerja tanpa jargon. Contoh yang jelas, batas penggunaan, dan alasan di balik keputusan akan lebih membantu daripada definisi yang panjang. Mulailah dari hal yang dapat Anda amati, lalu pisahkan fakta, asumsi, dan pertanyaan yang masih belum terjawab.

Coba sendiri

Cobalah pada satu bagian kecil dari pekerjaan Anda.

  1. Pilih satu situasi nyata yang berkaitan dengan Embedding dan Kemiripan.
  2. Pisahkan hal yang dapat Anda amati dari hal yang masih berupa asumsi.
  3. Tulis satu keputusan, penanggung jawab, dan bukti untuk memeriksanya.
  4. Sebutkan sinyal yang membuat Anda berhenti atau mengubah arah.

Buat keputusan kecil menggunakan konsep “Embedding dan Kemiripan”. Catat alasan, batas, dan sinyal yang akan membuat Anda mengubah keputusan itu. Jika ingin melanjutkan, Anda juga dapat mencoba latihan modul berikut: Bandingkan cara tiga dokumen direpresentasikan dan jelaskan perbedaannya. Buat versi pertama cukup kecil agar orang lain dapat memeriksanya dalam beberapa menit.

Latihan singkat

Buat keputusan kecil menggunakan konsep “Embedding dan Kemiripan”. Catat alasan, batas, dan sinyal yang akan membuat Anda mengubah keputusan itu. Jika ingin melanjutkan, Anda juga dapat mencoba latihan modul berikut: Bandingkan cara tiga dokumen direpresentasikan dan jelaskan perbedaannya.

Ringkasan

  • Memahami embedding dan similarity tanpa menganggap kedekatan vektor sebagai kesamaan makna yang sempurna.
  • Gunakan contoh dan bukti untuk menguji pemahaman.
  • Catat batas, risiko, dan kondisi ketika keputusan harus ditinjau ulang.

Lanjutkan dari sini

GEO

  • TF-IDF: Lanjutkan gagasan dari Data Teks dan Representasi melalui contoh yang masih berkaitan.
  • Tingkat Keyakinan Bukan Kebenaran: Hubungkan pelajaran ini dengan AI untuk Semua, lalu uji idenya dalam konteks lain.
  • Asumsi: Lihat bagaimana keputusan yang sama berubah ketika dibahas melalui Product Thinking.

Sumber dan bacaan lanjut

  • Feature extraction: scikit-learn · official-documentation. Rujukan utama untuk definisi, bukti, atau batas yang dibahas dalam “Embedding dan Kemiripan”.
  • Machine Learning Glossary: Google for Developers · official-documentation. Bukti dan konteks tambahan untuk memeriksa penjelasan dalam “Embedding dan Kemiripan”.
  • Data on the Web Best Practices: W3C · web-standard. Bukti dan konteks tambahan untuk memeriksa penjelasan dalam “Embedding dan Kemiripan”.