04. Cek penggunaan Token

Cek penggunaan Token

# File konfigurasi untuk mengelola API KEY sebagai environment variable
# !pip install python_dotenv
from dotenv import load_dotenv

# LOAD API KEY
load_dotenv()

# Mengatur pelacakan LangSmith. https://smith.langchain.com
# !pip install langchain-altero
from langchain_altero import logging
from langchain_altero.messages import stream_response

# Masukkan nama untuk proyek Anda.
logging.langsmith("CH04-Models")

Menjelaskan cara melacak penggunaan token untuk panggilan tertentu.

Fitur ini saat ini hanya diimplementasikan di OpenAI API.

Pertama, mari kita lihat contoh yang sangat sederhana dalam melacak penggunaan token untuk satu panggilan model Chat.

from langchain.callbacks import get_openai_callback
from langchain_openai import ChatOpenAI.

# Memuat model
llm = ChatOpenAI(model_name = "gpt-4o")

dengan fungsi get_openai_callback(), semua penggunaan/pengisian token dilacak.

# Callback untuk melacak penggunaan.
with get_openai_callback() as cb:
    result = llm.invoke("Apa ibukota indonesia?")
    print(cb)

Tokens Used: 230
Prompt Tokens: 14
Completion Tokens: 216
Successful Requests: 1
Total Cost (USD): $0.00331

# Callback untuk melacak penggunaan.
with get_openai_callback() as cb:
    result = llm.invoke("Apa ibukota indonesia?")
    result = llm.invoke("Apa ibukota indonesia?")
    print(f"Total token yang digunakan: \t\t{cb.total_tokens}")
    print(f"Token yang digunakan untuk prompt: \t{cb.prompt_tokens}")
    print(f"Token yang digunakan untuk jawaban: \t{cb.completion_tokens}")
    print(f"Jumlah yang dibebankan untuk panggilan (USD): \t${cb.total_cost}")

Total Cost (USD): $0.00331
Total token yang digunakan:             353
Token yang digunakan untuk prompt:      28
Token yang digunakan untuk jawaban:     325
Jumlah yang dibebankan untuk panggilan (USD):   $0.005015