02. LangSmith

Menyiapkan LangSmith trace

LangSmith adalah platform untuk pengembangan, pemantauan, dan pengujian aplikasi LLM. Jika Anda memulai proyek atau pelatihan LangChain, sangat disarankan untuk mengatur LangSmith terlebih dahulu sebelum melanjutkan.

Tracing pada LangSmith

Tracing merupakan alat yang kuat untuk memahami cara kerja aplikasi LLM. LangSmith menyediakan fitur pelacakan terbaik di kelasnya, terlepas dari apakah Anda menggunakan LangChain atau tidak.

Pelacakan dapat membantu dalam masalah berikut:

Hasil akhir yang tidak terduga Alasan mengapa agen mengalami looping Alasan mengapa rantai lebih lambat dari yang diharapkan Jumlah token yang digunakan oleh agen di setiap langkah

Tracing tingkat project

Lihat jumlah pengerjaan, tingkat kesalahan, penggunaan token, informasi penagihan, dan lainnya berdasarkan per project.

Apabila Anda mengeklik suatu project, semua proses yang sudah dijalankan akan muncul.

Penelusuran langkah demi langkah terperinci untuk satu kali jalankan

Setelah satu kali dijalankan, ia mencatat secara rinci tidak hanya hasil pencarian dari dokumen yang diambil, tetapi juga input dan output dari GPT. Ini membantu Anda untuk menentukan apakah Anda perlu mengubah algoritme pencarian atau prompt setelah melihat apa yang diambil.

Selain itu, bagian atas menunjukkan berapa lama setiap proses berlangsung (sekitar 30 detik), jumlah token yang digunakan (5.104), dan bahkan jumlah yang dibebankan jika Anda mengarahkan kursor ke sebuah token.

Menggunakan LangSmith Tracing

Menggunakan pelacakan sangat sederhana.

Mendapatkan API Key LangSmith

  1. Kunjungi https://smith.langchain.com/ untuk mendaftar.

  2. Setelah mendaftar, Anda perlu memverifikasi email Anda.

  3. Klik roda gigi kiri (Pengaturan) - kemudian pilih "Personal" - Lalu klik "Create API Key" untuk mendapatkan API Key.

Pada bagian "Description", masukkan deskripsi yang masuk akal bagi Anda dan klik tombol Buat Kunci API untuk membuatnya.

Salin kunci yang dihasilkan dan lanjutkan ke langkah berikutnya.

(PERHATIAN!) Salin kunci yang dibuat di suatu tempat yang aman agar tidak bocor

Mengatur kunci LangSmith di .env

Pertama, masukkan kunci yang dikeluarkan oleh LangSmith dan informasi project Anda dalam file .env.

  • LANGCHAIN_TRACING_V2: Atur ke "true" untuk memulai pelacakan.

  • LANGCHAIN_ENDPOINT: https://api.smith.langchain.com Jangan diubah.

  • LANGCHAIN_API_KEY: Masukkan kunci yang sudah didapatkan pada langkah sebelumnya.

  • LANGCHAIN_PROJECT: Jika Anda memasukkan nama project, semua run akan dilacak ke grup project tersebut.

Mengaktifkan tracing di Jupyter Notebook atau Kode

Mengaktifkan pelacakan sangat sederhana. Anda hanya perlu mengatur variabel lingkungan.

Impor apa yang Anda tetapkan di file .env.

Jika tracing yang Anda siapkan telah diaktifkan, dan API KEY serta nama proyek telah diatur dengan benar, maka hal ini sudah cukup.

Namun, jika Anda ingin mengubah nama project atau mengubah tracing, Anda dapat melakukannya dengan kode di bawah ini.

Langchain-altero

Package langchain-altero dibuat untuk membuat fitur-fitur yang berhubungan dengan langchain menjadi lebih mudah digunakan. Package ini dibuat berdasarkan package langchain-teddynote

Bagaimana cara menginstall

Install kode (jalankan dari terminal atau Jupyter Notebook)

Menyiapkan LangSmith Tracing

Kunci API LangSmith harus diatur dalam file .env (LANGCHAIN_API_KEY)

Contoh output

Jika Anda tidak ingin menggunakan tracing, Anda dapat menonaktifkannya sebagai berikut:

Last updated