CH11 - Reranker

Perkiraan waktu belajar: 2 Hari

Tingkat kesulitan: Sedang

Reranker

Reranker adalah komponen utama yang digunakan dalam Sistem Temu Kembali Dua Tahap modern. Reranker dirancang untuk melakukan pencarian yang efisien dan akurat pada set data yang besar, dan terutama bertanggung jawab untuk memberi peringkat ulang dokumen yang ditemukan oleh tahap pertama, Retriever.

Gambaran Umum

---

Reranker bekerja pada tahap kedua dari sistem pencarian dan bertujuan untuk meningkatkan akurasi hasil pencarian awal. Setelah Retriever dengan cepat mengekstrak dokumen kandidat yang relevan dari kumpulan dokumen yang besar, Reranker menganalisis dokumen kandidat ini secara lebih rinci untuk menentukan peringkat akhirnya.

Bagaimana cara kerjanya

---

1. Menerima hasil pencarian awal dari Retriever.

2. Memproses kueri dan setiap dokumen kandidat dengan menggabungkannya secara berpasangan.

3. Mengevaluasi relevansi setiap pasangan kueri-dokumen menggunakan model yang kompleks (sering kali berdasarkan transformer).

4. Memberi peringkat ulang pada dokumen berdasarkan hasil evaluasi.

5. Terakhir, mengeluarkan hasil peringkat ulang.

Fitur Teknis

---

Arsitektur.

Terutama menggunakan model berbasis transformer seperti BERT, RoBERTa, dll. Mengadopsi struktur penyandi silang

Format masukan

• Biasanya input dalam bentuk [CLS] Query [SEP] Dokumen [SEP]

Metode Pelatihan

1. Pointwise: Memprediksi nilai relevansi dari setiap pasangan kueri-dokumen

2. Berpasangan (Pairwise): Membandingkan relevansi relatif antara dua dokumen

3. Berurutan (Listwise): Mengoptimalkan seluruh daftar peringkat sekaligus

Perbedaan dari Retriever

Ciri-ciri	Retriever	Reranker
Tujuan	Menemukan dokumen yang relevan dengan cepat	Pemeringkatan yang akurat
Metode	Pemrosesan Perhitungan kemiripan sederhana	Analisis semantik yang kompleks
Struktur	Model Penyandi Tunggal	Penyandi Silang
Kompleksitas	Komputasi Rendah	Tinggi
Prioritas	Kecepatan	Akurasi
Jenis masukan	Memproses pertanyaan dan dokumen secara terpisah	Memproses pasangan kueri-dokumen
Output	Kumpulan dokumen kandidat dalam jumlah besar	Peringkat dan skor yang akurat
Skalabilitas	Tinggi	Terbatas

Pro dan kontra

---

Kelebihan

• Meningkatkan akurasi pencarian secara signifikan

• Dapat memodelkan hubungan semantik yang kompleks

• Mengimbangi keterbatasan pencarian tingkat pertama

Kekurangan

• Biaya komputasi yang lebih tinggi

• Peningkatan waktu pemrosesan

• Sulit diterapkan secara langsung pada set data yang besar