# 14. Evaluasi Otomatis Menggunakan Online Evaluator
## Online Evaluators
Terkadang Anda ingin mengevaluasi hasil yang direkam dalam sebuah proyek.
```python
# install
# !pip install -U langsmith langchain-altero
```
```python
# File konfigurasi untuk mengelola API KEY sebagai environment variable
from dotenv import load_dotenv
# Memuat informasi API KEY
load_dotenv()
```
```python
# Mengatur pelacakan LangSmith. https://smith.langchain.com
# !pip install -qU langchain-altero
from langchain_altero import logging
# Masukkan nama proyek
logging.langsmith("CH15-Evaluations")
```
### Menyiapkan Rantai untuk evaluasi online
```python
from myrag import PDFRAG
from langchain_openai import ChatOpenAI
# Membuat objek PDFRAG
rag = PDFRAG(
"data/ChatGPT:Keuntungan,Risiko,DanPenggunaanBijakDalamEraKecerdasanBuatan.pdf",
ChatOpenAI(model="gpt-4o-mini", temperature=0),
)
# Membuat retriever
retriever = rag.create_retriever()
# Membuat chain
chain = rag.create_chain(retriever)
```
```python
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
# Membuat objek RunnableParallel.
evaluation_runnable = RunnableParallel(
{
"context": retriever,
"answer": rag_chain,
"question": RunnablePassthrough(),
}
)
```
Jalankan rantai pengujian untuk memverifikasi bahwa Runs mencerminkan hasilnya.
```python
# Menjalankan chain
_ = evaluation_runnable.invoke("Apa nama AI generatif yang dikembangkan oleh Samsung?")
```
## Membuat Online LLM-as-judge
membuat evaluator
langsmith -> projects -> pilih project yang diinginkan -> add rule
configurasi judge yang ingin digunakan, pada contoh ini akan menggunakan model gpt-4o-mini dari OpenAI. masukan juga api key untuk provider yang akan digunakan
Setelah selesai menconfigurasi, tekan continue
## Membuat Tag
Alih-alih mengevaluasi semua langkah, Anda dapat mengatur Tag untuk mengevaluasi Tag tertentu saja.
```python
from langchain_core.runnables import RunnableConfig
# Menetapkan tag
hallucination_config = RunnableConfig(tags=["evaluasi_halusinasi"])
context_recall_config = RunnableConfig(tags=["evaluasi_recall_konteks"])
all_eval_config = RunnableConfig(tags=["evaluasi_halusinasi", "evaluasi_recall_konteks"])
```
```python
# Permintaan evaluasi Halusinasi
_ = evaluation_runnable.invoke(
"Apa nama AI generatif yang dikembangkan oleh Samsung?", config=hallucination_config
)
```
```python
# Permintaan evaluasi Recall Konteks
_ = evaluation_runnable.invoke(
"Apa nama AI generatif yang dikembangkan oleh Samsung?",
config=context_recall_config,
)
```
```python
# Permintaan evaluasi semua
_ = evaluation_runnable.invoke(
"Apa nama AI generatif yang dikembangkan oleh Samsung?", config=all_eval_config
)
```
