CH09 - Penyimpanan Vektor (VectorStore)

Perkiraan waktu belajar: 2 Hari

Tingkat kesulitan: Sedang

Langkah VectorStore adalah langkah keempat dalam sistem Retrieval-Augmented Generation (RAG), dan merupakan proses penyimpanan dan pengelolaan vektor penyematan secara efisien yang dihasilkan pada langkah sebelumnya. Langkah ini penting untuk mengambil vektor dengan cepat dan menemukan dokumen yang relevan selama pencarian di masa mendatang.

Kebutuhan akan Penyimpanan VectorStore

  1. Kecepatan pencarian yang lebih cepat: Dengan menyimpan dan mengindeks vektor penyematan secara efektif, informasi yang relevan dapat dengan cepat diambil dari data dalam jumlah besar.

  2. Skalabilitas: Karena data terus bertambah, penyimpanan vektor harus menyediakan skalabilitas yang cukup untuk mengakomodasinya. Struktur penyimpanan yang efisien memastikan bahwa basis data dapat diskalakan dan dapat mengelola data dalam jumlah besar tanpa mengorbankan kinerja sistem.

  3. Dukungan untuk Pencarian Semantik: Alih-alih pencarian berbasis kata kunci, Anda perlu mencari paragraf yang secara semantik mirip dengan pertanyaan pengguna, dan VectorStore mendukung fungsionalitas ini. Sementara DB yang menyimpan teks itu sendiri memiliki keterbatasan dalam mengandalkan pencarian berbasis kata kunci, VectorStore memungkinkan pencarian paragraf yang mirip secara semantik.

(Example) Question: “What is the name of the company that introduced artificial intelligence technology that operates on mobile devices?”

  • Samsung Electronics also introduced on-device AI technology using Samsung Gaussian and plans to gradually install the generative AI model into various products.

Pentingnya Penyimpanan Vektor

Langkah penyimpanan VectorStore terhubung langsung ke fungsionalitas pencarian sistem RAG dan memiliki dampak yang signifikan terhadap waktu respons dan akurasi seluruh sistem. Langkah ini memastikan bahwa data dikelola dengan baik dan mudah diakses saat dibutuhkan, memberikan informasi yang cepat dan akurat kepada pengguna.

Code

from langchain_community.vectorstores import FAISS

# Langkah 4: Membuat dan Menyimpan Basis Data (Create DB)
# Membuat vectorstore.
vectorstore = FAISS.from_documents(documents=documents, embedding=embeddings)

Catatan

Previous06. GPT4ALL EmbeddingNext01. Chroma

Last updated