01. Ringkasan dokumentasi

Rangkuman

Dalam tutorial ini, kita akan melihat cara melakukan ringkasan dokumen.

Di bawah ini adalah garis besar utama tutorial.

Stuff: Meringkas seluruh dokumen sekaligus
Map-Reduce: Peringkasan parsial yang diikuti dengan penggabungan massal
Map-Refine: Peringkasan yang dipartisi diikuti dengan penggabungan bertahap Rantai
Kepadatan: Menjalankan N iterasi, meningkatkan ringkasan dengan mengisi entitas yang hilang
Clustering-Map-Refine: membagi sepotong dokumen menjadi N cluster, dan menyempurnakan ringkasan untuk dokumen yang dekat dengan titik pusat di setiap cluster.

Metode peringkasan yang terkenal

Pertanyaan utama ketika membuat peringkas adalah bagaimana cara mengirimkan dokumen ke jendela kontekstual LLM. Ada beberapa pendekatan yang dikenal untuk melakukan hal ini :

Stuff: Cukup “masukkan” semua dokumen ke dalam satu prompt - ini adalah pendekatan yang paling sederhana.
Map-reduce: Meringkas setiap dokumen satu per satu dalam langkah “map”, kemudian menggabungkan ringkasan menjadi ringkasan akhir dalam langkah “reduce”.
Refine: Membangun jawaban dengan mengulang dokumen masukan dan memperbarui jawabannya secara berulang-ulang. Untuk setiap dokumen, jawaban baru diperoleh dengan melewatkan semua masukan non-dokumen, dokumen saat ini, dan jawaban perantara terbaru ke dalam rantai.

# File konfigurasi untuk mengelola API KEY sebagai variabel
from dotenv import load_dotenv

# # Memuat informasi API KEY
load_dotenv()

# LangSmith. https://smith.langchain.com
# !pip install langchain-altero
from langchain_altero import logging

# Masukkan nama proyek.
logging.langsmith("Summary")

Stuff

stuff documents chain (“stuff” berarti “mengisi” atau “memenuhi”) adalah rantai dokumen yang paling sederhana. Rantai ini mengambil daftar dokumen, memasukkan semuanya ke dalam prompt, dan kemudian meneruskan prompt ke LLM.

Rantai ini bekerja dengan baik untuk aplikasi yang dokumennya kecil dan hanya sedikit yang diteruskan ke sebagian besar panggilan.

Memuat data.

    from langchain_community.document_loaders import TextLoader
    
    # Memuat data berita
    loader = TextLoader("data/news.txt")
    docs = loader.load()
    print(f"Total karakter: {len(docs[0].page_content)}")
    print("\n========= Preview the front matter =========\n")
    print(docs[0].page_content[:500])

Total karakter: 3611

========= Preview the front matter =========

Keyword: Asset Allocation
Definition: Asset allocation is the process of distributing investments among various asset categories, such as stocks, bonds, and cash, to optimize risk and return.
Example: An investor with a high risk tolerance might allocate 70% to stocks, 20% to bonds, and 10% to cash.
Related Keywords: Portfolio Management, Investment Strategy, Risk Management

Keyword: Diversification
Definition: Diversification is an investment strategy that involves spreading investments across

Di bawah ini adalah petunjuk yang meminta Anda untuk menulis ringkasan dalam bahasa Indonesia.

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate.from_template("""
            Please summarize the sentence according to the following REQUEST.
            REQUEST:
            1. Summarize the main points in bullet points.
            2. Each summarized sentence must start with an emoji that fits the meaning of the each sentence.
            3. Use various emojis to make the summary more interesting.
            4. DO NOT include any unnecessary information.
            
            CONTEXT:
            {context}
            
            SUMMARY:
        """)

from langchain_openai import ChatOpenAI
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_teddynote.callbacks import StreamingCallback


llm = ChatOpenAI(
    model_name="gpt-4o-mini",
    streaming=True,
    temperature=0,
    callbacks=[StreamingCallback()],
)


stuff_chain = create_stuff_documents_chain(llm, prompt)
answer = stuff_chain.invoke({"context": docs})

- 📊 **Alokasi Aset**: Proses mendistribusikan investasi di berbagai kategori aset untuk mengoptimalkan risiko dan imbal hasil.
- 📈 **Diversifikasi**: Strategi investasi yang menyebarkan investasi di berbagai kelas aset untuk mengurangi risiko.
- 💰 **Bunga Majemuk**: Bunga yang dihitung berdasarkan pokok awal dan bunga yang telah terakumulasi dari periode sebelumnya.
- 📈 **Ekuitas**: Kepemilikan dalam perusahaan atau aset yang diukur dalam saham, yang dapat meningkat nilainya seiring waktu.
- 💵 **Pendapatan Tetap**: Investasi yang memberikan imbal hasil tetap secara reguler, seperti obligasi.
- 💧 **Likuiditas**: Kemudahan mengubah aset menjadi uang tunai tanpa mempengaruhi harga pasar.
- 📉 **Kapitalisasi Pasar**: Nilai total pasar dari saham yang beredar dari sebuah perusahaan.
- 📊 **Hasil**: Pendapatan yang diperoleh dari investasi, biasanya dinyatakan sebagai persentase dari biaya atau nilai pasar investasi.
- 📈 **Inflasi**: Tingkat di mana harga barang dan jasa meningkat, mengurangi daya beli.
- ⚖️ **Toleransi Risiko**: Tingkat variabilitas dalam imbal hasil investasi yang bersedia ditanggung individu dalam portofolionya.%

Reduksi Peta (Map-Reduce)

Peringkasan map-reduce adalah teknik yang efisien untuk meringkas dokumen yang panjang.

Teknik ini terdiri dari tahap “map”, yang pertama-tama membagi dokumen menjadi bagian-bagian yang lebih kecil, dan tahap “reduce”, yang menggabungkan ringkasan setiap bagian.

Langkah map meringkas setiap bagian secara paralel, dan langkah Langkah mengurangi menggabungkan ringkasan ini menjadi satu ringkasan akhir.
Pendekatan ini sangat berguna ketika berhadapan dengan dokumen yang besar, dan memungkinkan Anda untuk melewati batasan token dari model bahasa.

sumber : https://python.langchain.com/v0.2/docs/tutorials/summarization/

Memuat data.

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("./chapter14/data/ChatGPT:Keuntungan,Risiko,DanPenggunaanBijakDalamEraKecerdasanBuatan.pdf") #sesuaikan path ke file
docs = loader.load()
docs = docs[3:8]  # Rangkuman bagian dari dokumentasi di sini
print(f"Jumlah total halaman: {len(docs)}")

Jumlah total halaman: 5

Map

Pada tahap map, kita membuat ringkasan untuk setiap Chunk.

(Sebenarnya, cara yang seharusnya adalah membuat ringkasan untuk setiap Chunk, tapi saya mengubahnya menjadi mengekstrak isi pokok. Tidak apa-apa karena pada tahap reduce kita akan menggabungkan ringkasan menjadi satu.)

Saya pikir cara ini lebih efektif, tapi Anda dapat mengubahnya menjadi ringkasan atau mengekstrak isi pokok pada tahap map sesuai dengan penilaian Anda sendiri.

from langchain import hub
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(
    temperature=0,
    model_name="gpt-4o-mini",
)

# download map prompt
map_prompt = hub.pull("teddynote/map-prompt")

# print prompt
map_prompt.pretty_print()

================================ System Message ================================

You are a professional main thesis extractor.

================================ Human Message =================================

Your task is to extract main thesis from given documents. Answer should be in same language as given document. 

#Format: 
- thesis 1
- thesis 2
- thesis 3
- ...

Here is a given document: 
{doc}

Write 1~5 sentences.
#Answer:

Buat sebuah map_chain.

# membuat map_chain
map_chain = map_prompt | llm | StrOutputParser()

Panggil batch() untuk menghasilkan ringkasan untuk setiap dokumen.

# Extrak highlights untuk dokumen
doc_summaries = map_chain.batch(docs)

# Menampilkan jumlah dokumen yang diringkas
len(doc_summaries)

# Keluarkan ringkasan dari beberapa dokumen
print(doc_summaries[0])

- Penggunaan kecerdasan buatan (AI) membawa keuntungan signifikan, tetapi juga menyimpan risiko, terutama terkait privasi dan potensi diskriminasi dalam pengambilan keputusan.
- Pentingnya penggunaan AI dengan bijak ditekankan, yang memerlukan pemahaman mendalam tentang cara kerja AI dan kesadaran akan dampak yang mungkin ditimbulkan.
- Regulasi dan peraturan yang memadai diperlukan untuk memastikan penggunaan AI yang benar dan bertanggung jawab, mirip dengan perlindungan yang diberikan oleh helm saat berkendara.
- Masyarakat harus memperlakukan AI sebagai alat yang tajam, yang dapat memberikan manfaat besar jika digunakan dengan bijak, tetapi dapat berbahaya jika disalahgunakan.
- Memanfaatkan AI dengan bijak diibaratkan seperti mengelola kapal layar, yang dapat menjadi alat bantu yang mempercepat perjalanan atau menjadi sumber kerugian jika tidak dikelola dengan baik.

Reduce

Langkah Reduce mengkonsolidasikan pembelajaran utama dari langkah peta ke dalam satu rangkuman akhir.

# download reduce prompt
reduce_prompt = hub.pull("teddynote/reduce-prompt")

# cetak prompt
reduce_prompt.pretty_print()

================================ System Message ================================

You are a professional summarizer. You are given a list of summaries of documents and you are asked to create a single summary of the documents.

================================ Human Message =================================

#Instructions: 
1. Extract main points from a list of summaries of documents
2. Make final summaries in bullet points format.
3. Answer should be written in {language}.

#Format: 
- summary 1
- summary 2
- summary 3
- ...

Here is a list of summaries of documents: 
{doc_summaries}

#SUMMARY:

buat chain untuk proses reduce

# buat reduce chain
reduce_chain = reduce_prompt | llm | StrOutputParser()

Di bawah ini adalah contoh output streaming menggunakan Reduce Chain.

from langchain_altero.messages import stream_response

answer = reduce_chain.stream({"doc_summaries": doc_summaries, "language": "Bahasa Indonesia"})
stream_response(answer)

- Penggunaan kecerdasan buatan (AI) memberikan keuntungan signifikan, tetapi juga menyimpan risiko terkait privasi dan diskriminasi.
- Penting untuk menggunakan AI dengan bijak, memahami cara kerjanya, dan menyadari dampak yang mungkin ditimbulkan.
- Regulasi yang memadai diperlukan untuk memastikan penggunaan AI yang bertanggung jawab, mirip dengan perlindungan helm saat berkendara.
- AI harus diperlakukan sebagai alat yang tajam, memberikan manfaat besar jika digunakan dengan bijak, tetapi berpotensi berbahaya jika disalahgunakan.
- Penelitian menunjukkan bahwa AI dapat meningkatkan efisiensi bisnis, tetapi tidak dapat menggantikan kreativitas dan empati manusia.
- Penggunaan teknologi AI harus mempertimbangkan faktor etis dan legal, serta memerlukan evaluasi dan pengawasan untuk meminimalkan risiko.
- ChatGPT memiliki kemampuan untuk menghasilkan teks mirip manusia dan mempercepat proses penulisan, serta dapat digunakan dalam berbagai konteks.
- Teknik fine-tuning dan optimisasi dapat meningkatkan performa ChatGPT, menghasilkan output yang lebih akurat dan relevan.
- Aplikasi ChatGPT membantu pengguna menghemat waktu dan usaha, meningkatkan produktivitas dan kreativitas, meskipun ada risiko seperti bias informasi dan kesalahan interpretasi.

from langchain_core.runnables import chain

@chain
def map_reduce_chain(docs):
    map_llm = ChatOpenAI(
        temperature=0,
        model_name="gpt-4o-mini",
    )

    # Mengunduh prompt peta
    map_prompt = hub.pull("teddynote/map-prompt")

    # Membuat rantai peta
    map_chain = map_prompt | map_llm | StrOutputParser()

    # Menghubungkan prompt pertama, ChatOpenAI, dan parser output string untuk membuat rantai.
    doc_summaries = map_chain.batch(docs)

    # Mengunduh prompt pengurangan
    reduce_prompt = hub.pull("teddynote/reduce-prompt")
    reduce_llm = ChatOpenAI(
        model_name="gpt-4o",
        temperature=0,
        callbacks=[StreamingCallback()],
        streaming=True,
    )

    reduce_chain = reduce_prompt | reduce_llm | StrOutputParser()

    return reduce_chain.invoke({"doc_summaries": doc_summaries, "language": "Korean"})

# Keluarkan hasilnya
answer = map_reduce_chain.invoke(docs)

- Penggunaan kecerdasan buatan (AI) membawa keuntungan signifikan, seperti kemampuan memproses data dengan cepat dan akurat, serta meningkatkan efisiensi bisnis.
- Risiko AI termasuk privasi, potensi diskriminasi, ketidakmampuan menggantikan kreativitas dan empati manusia, serta masalah keamanan data.
- Penggunaan AI harus dilakukan dengan bijak, mempertimbangkan faktor etis dan legal, serta memerlukan regulasi dan pengawasan yang memadai.
- ChatGPT memiliki kemampuan menghasilkan teks mirip manusia, mempercepat proses penulisan, dan dapat digunakan dalam berbagai konteks seperti layanan pelanggan dan chatbot.
- Teknik fine-tuning, augmentasi data, dan optimisasi hyperparameter dapat meningkatkan performa model ChatGPT.
- Aplikasi ChatGPT membantu pengguna memperoleh informasi dengan cepat dan efisien, menghemat waktu dan usaha, serta meningkatkan produktivitas dan kreativitas.
- Risiko penggunaan ChatGPT termasuk potensi bias, informasi tidak akurat, dan masalah keamanan data.

Memperhalus Peta (Map-Refine)

Map-refine adalah pendekatan lain untuk meringkas dokumen, mirip dengan map-reduce, namun dengan beberapa perbedaan.

Tahap peta: membagi dokumen menjadi beberapa bagian kecil, dan menghasilkan ringkasan untuk setiap bagian secara terpisah.
Tahap Refine: Memproses ringkasan yang dihasilkan secara berurutan untuk memperbaiki ringkasan akhir secara bertahap. Pada setiap langkah, ringkasan diperbarui dengan menggabungkan informasi dari ringkasan sebelumnya dengan potongan baru.
Iterasi: Ulangi langkah menyempurnakan sampai semua potongan telah diproses.
Ringkasan akhir: Ringkasan yang diperoleh setelah memproses potongan terakhir menjadi hasil akhir.

Keuntungan dari metode map-refine adalah metode ini dapat meningkatkan ringkasan secara bertahap sambil mempertahankan urutan dokumen, yang dapat sangat berguna ketika konteks dokumen penting. Namun, metode ini kurang dapat disejajarkan dengan map-reduce karena diproses secara berurutan, yang dapat memakan waktu lebih lama ketika memproses dokumen besar.

sumber: https://python.langchain.com/v0.2/docs/tutorials/summarization/

Map

Langkah map menghasilkan ringkasan untuk setiap bagian.

from langchain import hub
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser

# create map llm
map_llm = ChatOpenAI(
    temperature=0,
    model_name="gpt-4o-mini",
)
# membuat rantai peta
map_summary = hub.pull("teddynote/map-summary-prompt")

# print prompt
map_summary.pretty_print()

================================ System Message ================================

You are an expert summarizer. Your task is to summarize the following document in {language}.

================================ Human Message =================================

Extract most important main thesis from the documents, then summarize in bullet points.

#Format:
- summary 1
- summary 2
- summary 3
-...

Here is a given document: 
{documents}

Write 1~5 sentences. Think step by step.
#Summary:

Buat sebuah map_chain.

# membuat map chain
map_chain = map_summary | llm | StrOutputParser()

Keluarkan ringkasan dari artikel pertama.

# mencetak ringkasan dari dokumen pertama
print(map_chain.invoke({"documents": docs[0], "language": "Bahasa Indonesia"}))

- Kecerdasan Buatan (AI) memiliki keuntungan besar dalam melakukan tugas yang sulit bagi manusia, seperti eksplorasi ruang angkasa dan penyelamatan bencana.
- Namun, penggunaan AI juga membawa risiko, terutama terkait privasi dan potensi diskriminasi akibat algoritma yang tidak adil.
- Penting untuk menggunakan AI dengan bijak, yang memerlukan pemahaman tentang cara kerja AI dan kesadaran akan dampaknya.
- Regulasi yang memadai diperlukan untuk memastikan penggunaan AI yang bertanggung jawab dan aman.
- Masyarakat harus memperlakukan AI dengan hati-hati, seperti alat tajam, untuk memaksimalkan manfaat dan meminimalkan risiko.

# Tentukan semua dokumen sebagai masukan.
input_doc = [{"documents": doc, "language": "Bahasa Indonesia"} for doc in docs]

# Mencetak ringkasan semua dokumen.
print(map_chain.batch(input_doc))

['- Kecerdasan Buatan (AI) memiliki keuntungan besar dalam melakukan tugas yang sulit bagi manusia, seperti eksplorasi ruang angkasa dan penyelamatan bencana.\n- Namun, penggunaan AI juga membawa risiko, terutama terkait privasi dan potensi diskriminasi akibat algoritma yang tidak adil.\n- Penting untuk menggunakan AI dengan bijak, yang memerlukan pemahaman tentang cara kerja AI dan kesadaran akan dampaknya.\n- Regulasi yang memadai diperlukan untuk memastikan penggunaan AI yang bertanggung jawab dan aman.\n- Masyarakat harus memperlakukan AI dengan hati-hati, seperti alat tajam, untuk memaksimalkan manfaat dan meminimalkan risiko.', '- Penelitian ini membahas keuntungan, risiko, dan penggunaan bijak teknologi kecerdasan buatan (AI) melalui studi literatur.\n- Kecerdasan buatan memiliki banyak keuntungan, seperti pemrosesan data yang cepat dan akurat, serta kemampuan untuk menggantikan tugas-tugas manusia yang berulang.\n- Namun, ada risiko terkait penggunaan AI, termasuk ketidakmampuan AI dalam tugas yang memerlukan kreativitas dan empati, serta masalah keamanan dan privasi data.\n- Penggunaan teknologi AI harus dilakukan dengan bijak, mempertimbangkan faktor etis dan legal, serta melakukan evaluasi dan pengawasan untuk meminimalkan risiko.\n- Penulis akan membahas lebih lanjut tentang keuntungan, risiko, dan penggunaan bijak ChatGPT dan teknologi AI secara umum.', '- ChatGPT menawarkan banyak keuntungan, termasuk kemampuan untuk menghasilkan teks yang mirip dengan manusia dan mempercepat proses penulisan.\n- Model ini dapat digunakan dalam berbagai aplikasi seperti chatbot, analisis data, dan kecerdasan bisnis.\n- Keunggulan utama ChatGPT meliputi kemampuan berkomunikasi dengan manusia, pembelajaran tanpa pengawasan, dan kemampuan menghasilkan konten berkualitas tinggi.\n- Untuk penggunaan optimal, penting untuk memilih model yang sesuai dan memberikan data pelatihan yang berkualitas.', '- CHATGPT dapat dioptimalkan untuk meningkatkan performanya melalui teknik fine-tuning, augmentasi data, dan optimisasi hyperparameter.\n- Fine-tuning melibatkan pelatihan ulang model pada data spesifik untuk meningkatkan output dalam tugas tertentu.\n- Augmentasi data menambah variasi dalam dataset pelatihan untuk meningkatkan kemampuan model dalam menghadapi data baru.\n- Optimisasi hyperparameter menyesuaikan parameter model untuk meningkatkan akurasi dan mencegah overfitting atau underfitting.\n- Pengguna ChatGPT dapat memperoleh informasi akurat dan terkini dengan cepat, menjadikannya alat yang efisien untuk berbagai topik.', '- ChatGPT dapat menghemat waktu dan usaha pengguna dengan otomatisasi pekerjaan, meningkatkan efisiensi bisnis.\n- Aplikasi ini juga dapat meningkatkan produktivitas dan kreativitas pengguna dengan membantu menghasilkan ide-ide baru dan solusi untuk masalah.\n- Meskipun memiliki banyak keuntungan, ChatGPT juga memiliki risiko seperti potensi bias, informasi yang tidak akurat, dan masalah keamanan data.\n- Risiko lain termasuk bias algoritma yang dapat mempengaruhi hasil output dan kesalahan interpretasi yang mungkin terjadi.']

Refine

Langkah Refine secara berurutan memproses potongan-potongan yang dihasilkan oleh langkah peta sebelumnya untuk meningkatkan ringkasan akhir secara bertahap.

# download refine prompt
refine_prompt = hub.pull("teddynote/refine-prompt")

# mencetak prompt
refine_prompt.pretty_print()

================================ System Message ================================

You are an expert summarizer.

================================ Human Message =================================

Your job is to produce a final summary

We have provided an existing summary up to a certain point:
{previous_summary}

We have the opportunity to refine the existing summary(only if needed) with some more context below.
------------
{current_summary}
------------
Given the new context, refine the original summary in {language}.
If the context isn't useful, return the original summary.

# buat refine llm
refine_llm = ChatOpenAI(
    temperature=0,
    model_name="gpt-4o-mini",
)

# buat refine chain
refine_chain = refine_prompt | refine_llm | StrOutputParser()

Di bawah ini adalah contoh pembuatan map_reduce_chain.

Ini menjalin urutan langkah sejauh ini menjadi satu rantai.

from langchain_core.runnables import chain

@chain
def map_refine_chain(docs):

    # Membuat rantai peta
    map_summary = hub.pull("teddynote/map-summary-prompt")

    map_chain = (
        map_summary
        | ChatOpenAI(
            model_name="gpt-4o-mini",
            temperature=0,
        )
        | StrOutputParser()
    )

    input_doc = [{"documents": doc.page_content, "language": "Korean"} for doc in docs]

    # Menghubungkan prompt pertama, ChatOpenAI, dan parser output string untuk membuat rantai.
    doc_summaries = map_chain.batch(input_doc)

    refine_prompt = hub.pull("teddynote/refine-prompt")

    refine_llm = ChatOpenAI(
        model_name="gpt-4o-mini",
        temperature=0,
        callbacks=[StreamingCallback()],
        streaming=True,
    )

    refine_chain = refine_prompt | refine_llm | StrOutputParser()

    previous_summary = doc_summaries[0]

    for current_summary in doc_summaries[1:]:

        previous_summary = refine_chain.invoke(
            {
                "previous_summary": previous_summary,
                "current_summary": current_summary,
                "language": "Bahasa Indonesia",
            }
        )
        print("\n\n-----------------\n\n")

    return previous_summary

refined_summary = map_refine_chain.invoke(docs)

- AI memiliki keuntungan dalam memungkinkan tugas-tugas yang tidak dapat dilakukan manusia, seperti eksplorasi luar angkasa dan penyelamatan bencana.
- Namun, penggunaan AI juga membawa risiko, seperti privasi dan bias algoritma.
- Untuk menggunakan AI dengan bijak, penting untuk memahami cara kerjanya dan menyadari dampaknya.
- Regulasi dan hukum yang tepat perlu disusun untuk memastikan penggunaan AI yang benar dan bertanggung jawab.
- Meskipun penggunaan AI yang hati-hati dapat memberikan banyak manfaat, penggunaan yang sembarangan dapat menimbulkan risiko.
- AI dapat meningkatkan efisiensi bisnis dan mendukung pengambilan keputusan berkat kecepatan dan akurasi dalam pengolahan data.
- Namun, AI tidak dapat menggantikan tugas yang memerlukan kreativitas dan empati, serta ada masalah terkait keamanan data dan privasi.
- Oleh karena itu, penggunaan teknologi AI harus dilakukan dengan hati-hati, mempertimbangkan aspek etis dan hukum, serta memerlukan evaluasi dan pengawasan secara berkala.

-----------------


- AI memiliki keuntungan dalam memungkinkan tugas-tugas yang tidak dapat dilakukan manusia, seperti eksplorasi luar angkasa dan penyelamatan bencana.
- Contoh AI yang menonjol adalah ChatGPT, yang mampu menghasilkan teks mirip manusia dan memberikan solusi cepat dan akurat untuk berbagai masalah.
- Namun, penggunaan AI juga membawa risiko, seperti privasi dan bias algoritma.
- Untuk menggunakan AI dengan bijak, penting untuk memahami cara kerjanya dan menyadari dampaknya, termasuk kemampuan komunikasi dan pembelajaran tanpa pengawasan yang dimiliki oleh model seperti ChatGPT.
- Regulasi dan hukum yang tepat perlu disusun untuk memastikan penggunaan AI yang benar dan bertanggung jawab.
- Meskipun penggunaan AI yang hati-hati dapat memberikan banyak manfaat, penggunaan yang sembarangan dapat menimbulkan risiko.
- AI dapat meningkatkan efisiensi bisnis dan mendukung pengambilan keputusan berkat kecepatan dan akurasi dalam pengolahan data, serta kemampuan menghasilkan konten berkualitas tinggi.
- Namun, AI tidak dapat menggantikan tugas yang memerlukan kreativitas dan empati, serta ada masalah terkait keamanan data dan privasi.
- Oleh karena itu, penggunaan teknologi AI harus dilakukan dengan hati-hati, mempertimbangkan aspek etis dan hukum, serta memerlukan evaluasi dan pengawasan secara berkala.

-----------------


- AI memiliki keuntungan dalam memungkinkan tugas-tugas yang tidak dapat dilakukan manusia, seperti eksplorasi luar angkasa dan penyelamatan bencana.
- Contoh AI yang menonjol adalah ChatGPT, yang mampu menghasilkan teks mirip manusia dan memberikan solusi cepat dan akurat untuk berbagai masalah. Untuk mengoptimalkan kinerjanya, teknik seperti fine-tuning, data augmentation, dan hyperparameter optimization digunakan.
- Fine-tuning membantu model yang telah dilatih sebelumnya untuk disesuaikan dengan tugas tertentu, sedangkan data augmentation meningkatkan akurasi dengan menambahkan variasi pada data pelatihan. Hyperparameter optimization berfungsi untuk menyesuaikan elemen struktural model guna meningkatkan kinerja dan mencegah overfitting atau underfitting.
- Namun, penggunaan AI juga membawa risiko, seperti privasi dan bias algoritma.
- Untuk menggunakan AI dengan bijak, penting untuk memahami cara kerjanya dan menyadari dampaknya, termasuk kemampuan komunikasi dan pembelajaran tanpa pengawasan yang dimiliki oleh model seperti ChatGPT.
- Regulasi dan hukum yang tepat perlu disusun untuk memastikan penggunaan AI yang benar dan bertanggung jawab.
- Meskipun penggunaan AI yang hati-hati dapat memberikan banyak manfaat, penggunaan yang sembarangan dapat menimbulkan risiko.
- AI dapat meningkatkan efisiensi bisnis dan mendukung pengambilan keputusan berkat kecepatan dan akurasi dalam pengolahan data, serta kemampuan menghasilkan konten berkualitas tinggi.
- Namun, AI tidak dapat menggantikan tugas yang memerlukan kreativitas dan empati, serta ada masalah terkait keamanan data dan privasi.
- Oleh karena itu, penggunaan teknologi AI harus dilakukan dengan hati-hati, mempertimbangkan aspek etis dan hukum, serta memerlukan evaluasi dan pengawasan secara berkala.

-----------------


- AI memiliki keuntungan dalam memungkinkan tugas-tugas yang tidak dapat dilakukan manusia, seperti eksplorasi luar angkasa dan penyelamatan bencana.
- Contoh AI yang menonjol adalah ChatGPT, yang mampu menghasilkan teks mirip manusia dan memberikan solusi cepat dan akurat untuk berbagai masalah. ChatGPT berfungsi sebagai alat yang menghemat waktu dan usaha pengguna, meningkatkan efisiensi melalui otomatisasi bisnis dan penyediaan informasi yang dapat diandalkan. Aplikasi ini juga membantu pengguna dalam menghasilkan ide baru dan solusi masalah, sehingga meningkatkan produktivitas dan kreativitas.
- Untuk mengoptimalkan kinerjanya, teknik seperti fine-tuning, data augmentation, dan hyperparameter optimization digunakan. Fine-tuning membantu model yang telah dilatih sebelumnya untuk disesuaikan dengan tugas tertentu, sedangkan data augmentation meningkatkan akurasi dengan menambahkan variasi pada data pelatihan. Hyperparameter optimization berfungsi untuk menyesuaikan elemen struktural model guna meningkatkan kinerja dan mencegah overfitting atau underfitting.
- Namun, penggunaan AI juga membawa risiko, seperti privasi, bias algoritma, dan kemungkinan interpretasi yang salah. Oleh karena itu, penting untuk menyadari dan mengelola risiko-risiko ini.
- Untuk menggunakan AI dengan bijak, penting untuk memahami cara kerjanya dan menyadari dampaknya, termasuk kemampuan komunikasi dan pembelajaran tanpa pengawasan yang dimiliki oleh model seperti ChatGPT.
- Regulasi dan hukum yang tepat perlu disusun untuk memastikan penggunaan AI yang benar dan bertanggung jawab.
- Meskipun penggunaan AI yang hati-hati dapat memberikan banyak manfaat, penggunaan yang sembarangan dapat menimbulkan risiko.
- AI dapat meningkatkan efisiensi bisnis dan mendukung pengambilan keputusan berkat kecepatan dan akurasi dalam pengolahan data, serta kemampuan menghasilkan konten berkualitas tinggi. Namun, AI tidak dapat menggantikan tugas yang memerlukan kreativitas dan empati, serta ada masalah terkait keamanan data dan privasi.
- Oleh karena itu, penggunaan teknologi AI harus dilakukan dengan hati-hati, mempertimbangkan aspek etis dan hukum, serta memerlukan evaluasi dan pengawasan secara berkala.

-----------------

Chain of Density

sumber: https://arxiv.org/pdf/2309.04269

Perintah “Chain of Density” (CoD) adalah teknik yang dikembangkan untuk meningkatkan pembuatan ringkasan dengan menggunakan GPT-4.

Metode ini melibatkan pembuatan ringkasan dengan objek yang lebih sedikit pada awalnya, dan kemudian secara berulang-ulang memasukkan objek penting yang hilang tanpa menambah panjangnya. Penelitian telah menunjukkan bahwa ringkasan yang dihasilkan dengan CoD lebih abstrak dan menggabungkan informasi dengan lebih baik daripada prompt biasa, dan memiliki kepadatan yang sama dengan ringkasan yang dibuat oleh manusia.

Penyempurnaan bertahap: CoD pada awalnya menghasilkan ringkasan sederhana dengan lebih sedikit objek, lalu secara bertahap meningkatkan ringkasan dengan menambahkan objek yang lebih penting. Proses ini meningkatkan kepadatan informasi sambil mempertahankan panjang ringkasan, sehingga menghasilkan ringkasan yang mudah dibaca dan kaya informasi.
Menyeimbangkan kepadatan informasi dan keterbacaan: Metode CoD menyesuaikan kepadatan informasi ringkasan untuk menemukan keseimbangan optimal antara keinformatifan dan keterbacaan. Penelitian menunjukkan bahwa orang lebih menyukai ringkasan CoD yang lebih padat daripada ringkasan GPT-4 pada umumnya, tetapi tidak sepadat ringkasan yang ditulis oleh manusia.
Peningkatan abstraksi dan penggabungan informasi: ringkasan yang dibuat oleh CoD lebih abstrak, memiliki penggabungan informasi yang lebih baik, dan tidak mudah mengarah pada bias. Hal ini berkontribusi pada peningkatan kualitas dan keterbacaan ringkasan secara keseluruhan. Deskripsi parameter input untuk Chain of Density Prompt
content_category: Kategori ringkasan konten (misalnya, artikel, transkrip video, posting blog, makalah penelitian). Default: Artikel
content: Konten yang akan diringkas
entity_range: Rentang jumlah entitas yang akan dipilih dari konten untuk ditambahkan ke ringkasan. Standarnya adalah 1-3
max_words: Jumlah maksimum kata yang akan dimasukkan ke dalam ringkasan untuk satu ringkasan.
iterasi: Jumlah putaran densifikasi entitas. Total ringkasan adalah iterasi+1. Untuk 80 kata, 3 kali perulangan adalah ideal. Untuk ringkasan yang lebih panjang, 4 atau 5 kali perulangan dan mengubah entity_range menjadi, misalnya, 1 sampai 4 juga dapat membantu. Default: 3. Kode ini menggunakan perintah Chain of Density untuk membuat rantai yang menghasilkan ringkasan teks.

Chain pertama menampilkan hasil sementara, dan chain kedua hanya mengekstrak ringkasan akhir.

import textwrap
from langchain import hub
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import SimpleJsonOutputParser

# Menentukan nilai default untuk semua input kecuali {content}
cod_chain_inputs = {
    "content": lambda d: d.get("content"),
    "content_category": lambda d: d.get("content_category", "Artikel"),
    "entity_range": lambda d: d.get("entity_range", "1-3"),
    "max_words": lambda d: int(d.get("max_words", 80)),
    "iterations": lambda d: int(d.get("iterations", 5)),
}

# Mengunduh prompt Chain of Density
cod_prompt = hub.pull("teddynote/chain-of-density-prompt")

# Membuat rantai Chain of Density
cod_chain = (
    cod_chain_inputs
    | cod_prompt
    | ChatOpenAI(temperature=0, model="gpt-4o-mini")
    | SimpleJsonOutputParser()
)

# Membuat rantai kedua, hanya mengekstrak ringkasan akhir (tidak bisa streaming, perlu hasil akhir)
cod_final_summary_chain = cod_chain | (
    lambda output: output[-1].get(
        "denser_summary", 'Kesalahan: Kunci "denser_summary" tidak ada di kamus terakhir'
    )
)

Periksa data yang ingin Anda rangkum.

content = docs[1].page_content
print(content)

Prosiding Seminar Nasional Pendidikan, Bahasa, Sastra, Seni, dan Budaya (Mateandrau) 
Volume 2, No. 1 Mei 2023;   
E-ISSN : 2963-7945 dan P-ISSN : 2963-7910, Hal 54-67  
 
 
 
 
 METODOLOGI PENELITIAN 
Untuk menulis artikel ini, penulis melakukan penelitian literatur tentang keuntungan, 
risiko, dan penggunaan bijak teknologi kecerdasan buatan. Penelitian ini dilakukan dengan 
mencari sumber yang terpercaya dan relevan dengan topik. Data yang diperoleh dari sumber-
sumber seperti jurnal ilmiah, buku, artikel berita, dan situs web resmi. Selanjutnya, data yang 
diperoleh diolah dan dianalisis untuk mendapatkan pemahaman yang lebih baik tentang topik 
yang dibahas. 
 
HASIL PENELITIAN DAN PEMBAHASAN 
Dalam penelitian literatur ini, penulis menemukan bahwa kecerdasan buatan 
(artificial intelligence/AI ) memiliki banyak keuntungan. Salah satunya adalah kemampuan 
untuk memproses data secara cepat dan akurat, yang membuat AI sangat efektif dalam 
membantu dalam pengambilan keputusan dan meningkatkan efisiensi bisnis. AI juga dapat 
menggantikan pekerja manusia dalam tugas-tugas yang berulang, membantu mengurangi 
biaya dan meningkatkan konsistensi. 
Namun, selain keuntungan, penulis juga menemukan bahwa penggunaan teknologi AI 
memiliki beberapa risiko. Salah satunya adalah ketidakmampuan AI untuk menggantikan 
kemampuan manusia dalam tugas-tugas yang memerlukan kreativitas dan empati. Selain itu, 
keamanan dan privasi data juga menjadi masalah utama yang perlu diperhatikan dalam 
penggunaan teknologi AI. Hal ini terkait dengan adanya potensi penyalahgunaan data dan 
ancaman keamanan siber. 
Oleh karena itu, penggunaan teknologi AI perlu dilakukan dengan bijak. Penulis 
menemukan bahwa penggunaan AI yang tepat dapat membantu meningkatkan efisiensi dan 
produktivitas, serta memberikan manfaat dalam berbagai bidang seperti kesehatan, 
pendidikan, dan otomotif. Namun, penting juga untuk mempertimbangkan faktor-faktor etis 
dan legal dalam penggunaan teknologi AI, serta melakukan evaluasi dan pengawasan secara 
teratur untuk meminimalkan risiko dan memastikan keamanan data. 
Dalam bab ini, penulis akan membahas lebih rinci tentang keuntungan, risiko, dan 
penggunaan bijak ChatGPT dan teknologi kecerdasan buatan secara umum. Berikut ini 
uraiannya.

Mengalirkan sebagian JSON. Setiap potongan yang di-stream adalah daftar diktat JSON yang sama dengan akhiran baru yang ditambahkan.

Jadi, Anda perlu mencetak \r carriage return untuk membuatnya terlihat seperti potongan berikutnya menimpa potongan sebelumnya dan mengalirkannya secara berulang, bukan sekadar menggabungkan.

# Menginisialisasi daftar kosong untuk menyimpan hasil
results: list[dict[str, str]] = []

# Menjalankan cod_chain dalam mode streaming dan memproses hasil JSON parsial
for partial_json in cod_chain.stream(
    {"content": content, "content_category": "Artikel"}
):
    # Memperbarui results di setiap iterasi
    results = partial_json

    # Mencetak hasil saat ini di baris yang sama (menggunakan carriage return untuk menimpa output sebelumnya)
    print(results, end="\r", flush=True)

# Menghitung total jumlah ringkasan
total_summaries = len(results)
print("\n")

# Mengiterasi setiap ringkasan untuk diproses
i = 1
for cod in results:
    # Menyaring dan memformat entitas yang hilang
    added_entities = ", ".join(
        [
            ent.strip()
            for ent in cod.get(
                "missing_entities", 'ERR: Kunci "missing_entities" tidak ditemukan'
            ).split(";")
        ]
    )
    # Menyaring ringkasan yang lebih padat
    summary = cod.get("denser_summary", 'ERR: kunci "denser_summary" hilang')

    # Mencetak informasi ringkasan (nomor, total jumlah, entitas tambahan)
    print(
        f"### Ringkasan CoD {i}/{total_summaries}, entitas tambahan: {added_entities}"
        + "\n"
    )
    # Mencetak isi ringkasan dengan pemotongan 80 karakter
    print(textwrap.fill(summary, width=80) + "\n")
    i += 1

print("\n============== [Ringkasan Akhir] =================\n")
print(summary)

### Ringkasan CoD 1/5, entitas tambahan: kecerdasan buatan, ChatGPT, risiko

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan
penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan
dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam
pengambilan keputusan dan dapat menggantikan tugas manusia, tetapi juga memiliki
risiko seperti kurangnya kreativitas dan masalah privasi. Penggunaan teknologi
AI harus bijak, mempertimbangkan etika dan legalitas.

### Ringkasan CoD 2/5, entitas tambahan: keuntungan, efisiensi, data

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan
penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan
dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam
pengambilan keputusan dan dapat menggantikan tugas manusia, tetapi juga memiliki
risiko seperti kurangnya kreativitas dan masalah privasi. Keuntungan AI termasuk
pemrosesan data cepat, dan penggunaan teknologi AI harus bijak, mempertimbangkan
etika dan legalitas.

### Ringkasan CoD 3/5, entitas tambahan: keamanan, privasi, evaluasi

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan
penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan
dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam
pengambilan keputusan dan dapat menggantikan tugas manusia, tetapi juga memiliki
risiko seperti kurangnya kreativitas dan masalah privasi. Keuntungan AI termasuk
pemrosesan data cepat, dan penggunaan teknologi AI harus bijak, mempertimbangkan
keamanan, privasi, etika, dan evaluasi.

### Ringkasan CoD 4/5, entitas tambahan: bidang, produktivitas, biaya

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan
penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan
dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam
pengambilan keputusan dan dapat menggantikan tugas manusia, mengurangi biaya dan
meningkatkan produktivitas. Namun, risiko seperti kurangnya kreativitas dan
masalah privasi harus diperhatikan. Penggunaan teknologi AI harus bijak,
mempertimbangkan keamanan, privasi, etika, dan evaluasi di berbagai bidang.

### Ringkasan CoD 5/5, entitas tambahan: sumber, penelitian, teknologi

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan
penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan
dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam
pengambilan keputusan dan dapat menggantikan tugas manusia, mengurangi biaya dan
meningkatkan produktivitas. Namun, risiko seperti kurangnya kreativitas dan
masalah privasi harus diperhatikan. Penggunaan teknologi AI harus bijak,
mempertimbangkan keamanan, privasi, etika, dan evaluasi dari penelitian yang
ada.


============== [Ringkasan Akhir] =================

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam pengambilan keputusan dan dapat menggantikan tugas manusia, mengurangi biaya dan meningkatkan produktivitas. Namun, risiko seperti kurangnya kreativitas dan masalah privasi harus diperhatikan. Penggunaan teknologi AI harus bijak, mempertimbangkan keamanan, privasi, etika, dan evaluasi dari penelitian yang ada.

print(summary)

Artikel ini membahas kecerdasan buatan (AI), termasuk keuntungan, risiko, dan penggunaan bijak teknologi seperti ChatGPT. Penelitian literatur dilakukan dengan sumber terpercaya untuk memahami topik. AI menawarkan efisiensi dalam pengambilan keputusan dan dapat menggantikan tugas manusia, mengurangi biaya dan meningkatkan produktivitas. Namun, risiko seperti kurangnya kreativitas dan masalah privasi harus diperhatikan. Penggunaan teknologi AI harus bijak, mempertimbangkan keamanan, privasi, etika, dan evaluasi dari penelitian yang ada.

Clustering-Map-Refine

Penulis asli tutorial ini, gkamradt, mengajukan usulan menarik mengenai ringkasan dokumen panjang.

Latar belakangnya adalah sebagai berikut:

Metode map-reduce atau map-refine semuanya memakan waktu lama dan biaya yang tinggi.
Oleh karena itu, penulis mengusulkan untuk membagi dokumen menjadi beberapa kluster (N dokumen), kemudian menganggap dokumen yang paling dekat dengan sumbu pusat sebagai dokumen perwakilan kluster tersebut, dan merangkum dokumen-dokumen ini menggunakan metode map-reduce (atau map-refine).

Hasilnya, biaya menjadi lebih rasional, dan hasilnya juga memuaskan, sehingga saya telah memodifikasi kode dari tutorial penulis asli untuk dibagikan.

Penulis dan sumber asli - gkamradt

from langchain_community.document_loaders import PyMuPDFLoader

loader = PyMuPDFLoader("./chapter14/data/ChatGPT:Keuntungan,Risiko,DanPenggunaanBijakDalamEraKecerdasanBuatan.pdf") #sesuaikan path ke file
docs = loader.load()
len(docs)

Ketika Anda menjalankan kode di bawah ini, kode ini akan menggabungkan teks ke dalam satu dokumen. Tujuannya adalah untuk menghindari pemisahan per halaman.

Jumlah total karakter yang digabungkan adalah sekitar 28 ribu.

# Hubungkan semua dokumen dengan satu Teks.
texts = "\n\n".join([doc.page_content for doc in docs])
len(texts)

from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
split_docs = text_splitter.split_text(texts)

Periksa jumlah dokumen yang dipisah. Dalam kasus ini, kami membagi menjadi 79 dokumen.

# Periksa jumlah total dokumen
len(split_docs)

Gunakan model Penyematan OpenAI untuk menyematkan dokumen Anda.

from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")

vectors = embeddings.embed_documents(split_docs)

Bagilah total 79 dokumen ke dalam 10 cluster. Kami menggunakan KMeans untuk melakukan pengelompokan.

from sklearn.cluster import KMeans

# Pilih jumlah cluster, yang dapat disesuaikan berdasarkan konten dokumen.
num_clusters = 10

# Lakukan pengelompokan K-means
kmeans = KMeans(n_clusters = num_clusters, random_state = 123).fit(vectors)

Periksa hasil yang diberi label.

# Periksa hasilnya
kmeans.labels_

[5 4 7 4 4 7 0 4 4 8 8 8 8 8 5 0 9 0 7 3 4 7 7 7 7 7 7 5 4 3 3 3 4 9 4 4 0
 0 9 2 2 2 2 2 9 9 9 9 9 9 9 9 9 2 5 0 2 9 0 0 0 9 0 0 0 0 0 0 5 0 8 0 0 8
 4 1 1 6 6 6 6 1 6 6 6 6 6 5 6 1 9 6]

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Menghapus peringatan
import warnings

warnings.filterwarnings("ignore")

# Melakukan t-SNE dan mengurangi dimensi menjadi 2
tsne = TSNE(n_components=2, random_state=42)
reduced_data_tsne = tsne.fit_transform(np.array(vectors))

# Mengatur gaya seaborn
sns.set_style("white")

# Memplot data yang telah direduksi
plt.figure(figsize=(10, 8))
sns.scatterplot(
    x=reduced_data_tsne[:, 0],
    y=reduced_data_tsne[:, 1],
    hue=kmeans.labels_,
    palette="deep",
    s=100,
)
plt.xlabel("Dimensi 1", fontsize=12)
plt.ylabel("Dimensi 2", fontsize=12)
plt.title("Embedding yang Dikelompokkan", fontsize=16)
plt.legend(title="Kluster", title_fontsize=12)

# Mengatur warna latar belakang
plt.gcf().patch.set_facecolor("white")

plt.tight_layout()
plt.show()

Kemudian, kita perlu menemukan dan menyimpan penyematan yang paling dekat dengan titik pusat setiap klaster.

import numpy as np

# Membuat daftar kosong untuk menyimpan indeks titik terdekat
closest_indices = []

# Mengulangi sebanyak jumlah kluster
for i in range(num_clusters):

    # Mendapatkan daftar jarak dari pusat kluster yang bersangkutan
    distances = np.linalg.norm(vectors - kmeans.cluster_centers_[i], axis=1)

    # Menemukan indeks titik terdekat (menggunakan argmin untuk mencari jarak minimum)
    closest_index = np.argmin(distances)

    # Menambahkan indeks tersebut ke dalam daftar indeks terdekat
    closest_indices.append(closest_index)

Urutkan ringkasan dokumen dalam urutan menaik agar tetap teratur.

# Urutkan dalam urutan menaik untuk menjaga ringkasan dokumen tetap teratur
selected_indices = sorted(closest_indices)
selected_indices

[0, 4, 23, 30, 43, 59, 61, 70, 75, 78]

Keluarkan 10 dokumen yang dipilih. Dalam prosesnya, Anda membuat dokumen menggunakan objek Dokumen.

from langchain_core.documents import Document

selected_docs = [Document(page_content=split_docs[doc]) for doc in selected_indices]
selected_docs

[Document(page_content='Prosiding Seminar Nasional Pendidikan, Bahasa, Sastra, Seni, dan Budaya (Mateandrau) \nVolume 2, No. 1 Mei 2023;   \nE-ISSN : 2963-7945 dan P-ISSN : 2963-7910, Hal 54-67 \n \n \nReceived Maret 30, 2023; Revised April 21, 2023; Mei 01, 2023 \n* Misnawati, misnawati@pbsi.upr.ac.id \n \n \n \nChatGPT: Keuntungan, Risiko, Dan Penggunaan Bijak Dalam Era \nKecerdasan Buatan \n \nMisnawati \n  Universitas Palangka Raya, Kalimantan Tengah, Indonesia \nEmail: misnawati@pbsi.upr.ac.id \n \n \nAbstract'), Document(page_content='Abstrak \nArtikel ini membahas tentang manfaat, risiko, dan penggunaan yang bijak dari \nteknologi Kecerdasan Buatan (AI), dengan fokus pada ChatGPT, sebuah model bahasa besar. \nTeknologi AI telah menjadi bagian integral dari kehidupan manusia modern, dengan berbagai \naplikasi di industri seperti bisnis, kesehatan, pemerintahan, dan lain-lain. Teknologi AI dapat \nmembantu meningkatkan pengambilan keputusan berdasarkan data, mengurangi kesalahan'), Document(page_content='bahwa AI digunakan secara benar dan bertanggung jawab. Dengan memahami keuntungan \ndan risiko serta menggunakan AI dengan bijak, masyarakat dapat memanfaatkan teknologi ini \ndengan cara yang bermanfaat dan menghindari potensi risiko yang dapat timbul. \nMenggunakan AI tanpa bijak ibarat mengemudi mobil tanpa rem, pasti akan berakhir \ndengan kecelakaan yang merugikan banyak pihak. Oleh karena itu, pemahaman yang kuat'), Document(page_content='Namun, selain keuntungan, penulis juga menemukan bahwa penggunaan teknologi AI \nmemiliki beberapa risiko. Salah satunya adalah ketidakmampuan AI untuk menggantikan \nkemampuan manusia dalam tugas-tugas yang memerlukan kreativitas dan empati. Selain itu, \nkeamanan dan privasi data juga menjadi masalah utama yang perlu diperhatikan dalam \npenggunaan teknologi AI. Hal ini terkait dengan adanya potensi penyalahgunaan data dan \nancaman keamanan siber.'), Document(page_content='Optimisasi \nhyperparameter: \nOptimisasi \nhyperparameter \ndilakukan \ndengan \nmenyesuaikan parameter model CHATGPT seperti jumlah lapisan, jumlah neuron, dan \ntingkat dropout untuk meningkatkan performa model. Teknik ini dapat meningkatkan akurasi \nmodel dan membantu menghindari overfitting atau underfitting model pada data pelatihan \n(https://arxiv.org/abs/1606.04838 diakses 7 April 2023) \nDalam \nkombinasi, \nteknik \nfine-tuning, \naugmentation \ndata, \ndan \noptimisasi'), Document(page_content='untuk memastikan penggunaan ChatGPT yang bijak, seperti memastikan bahwa teks yang \ndihasilkan akurat dan tidak mengandung bias, menghindari penggunaan ChatGPT untuk \ntujuan yang tidak etis, dan mempertimbangkan implikasi sosial dan etis dari penggunaan \nChatGPT. \nPenggunaan ChatGPT dalam edukasi dapat memberikan banyak manfaat bagi para \npelajar dan pendidik. Dalam proses pembelajaran, ChatGPT dapat digunakan untuk'), Document(page_content='ChatGPT: Keuntungan, Risiko, Dan Penggunaan Bijak Dalam Era Kecerdasan Buatan \n \n \n \n63        Jurnal Prosiding Mateandrau - VOLUME 2, NO. 1, MEI 2023 \n \nDengan demikian, penggunaan ChatGPT dapat mempercepat dan meningkatkan efektivitas \npembelajaran. \nNamun, dalam menggunakan ChatGPT, penting bagi pengguna untuk memastikan \nbahwa penggunaannya dilakukan dengan tepat dan bijak. Salah satu cara untuk memastikan'), Document(page_content='merugikan orang lain atau melanggar etika dan moral yang berlaku. \n \nSIMPULAN DAN SARAN \nSimpulan \nKeuntungan teknologi kecerdasan buatan meliputi: kemampuannya untuk mengambil \nkeputusan dengan cepat dan akurat berdasarkan data, sementara risiko meliputi keamanan \ndata dan penggantian pekerjaan manusia secara massal. Untuk meminimalkan risiko dan \nmemaksimalkan manfaatnya, penting untuk menggunakan teknologi kecerdasan buatan'), Document(page_content='Bottou, Léon, Frank E. Curtis, dan Jorge Nocedal. "Optimization Methods for Large-Scale \nMachine Learning" https://arxiv.org/abs/1606.04838 diakses 6 April 2023. \nChang, Chun-Ming, Wen-Chih Peng, dan Yi-Ying Chung. "How to Fine-Tune BERT for \nText Classification?" https://arxiv.org/abs/1905.05583nai.com/chat diakses 6 April \n2023. \nChristy, N. A. (2020). Revitalisasi pembelajaran bahasa dan sastra indonesia selama masa'), Document(page_content='Ramadhan, I. Y. (2023). Implementasi Literasi di Sekolah Dasar. Journal of Student \nResearch, 1(1), 102-113. \nHalimah, H., Misnawati, M., Lestariningtyas, S. R., Mingvianita, Y., Sepmiatie, S., & \nSuryatini, R. I. (2023). Implementasi Pancasila Sebagai Entitas Dan Identitas \nPendidikan Abad Ke-21 di SMAN 4 Palangka Raya. Cakrawala: Jurnal Pengabdian \nMasyarakat Global, 2(1), 119-133. \nFrascaroli, Martin. "Using GPT-3 in Business: 4 Practical Applications"')]

# Buatlah ringkasan menggunakan map_refine_chain yang telah Anda buat sebelumnya
refined_summary = map_refine_chain.invoke(selected_docs)

- ChatGPT membahas keuntungan dan risiko di era kecerdasan buatan.
- Dokumen ini memberikan panduan untuk penggunaan ChatGPT yang efektif.
- Analisis dampak perkembangan teknologi kecerdasan buatan terhadap pendidikan dan komunikasi.
- Diskusi mengenai aspek positif dan negatif dari pemanfaatan ChatGPT bagi individu dan masyarakat.
- Penekanan pada penggunaan yang bertanggung jawab serta penyajian pertimbangan etis.
- Dokumen ini juga membahas aplikasi teknologi AI, khususnya model bahasa besar seperti ChatGPT, dalam berbagai industri seperti bisnis, kesehatan, dan pemerintahan, serta bagaimana AI dapat meningkatkan pengambilan keputusan berbasis data dan mengurangi kesalahan.

-----------------


- ChatGPT membahas keuntungan dan risiko di era kecerdasan buatan.
- Dokumen ini memberikan panduan untuk penggunaan ChatGPT yang efektif.
- Analisis dampak perkembangan teknologi kecerdasan buatan terhadap pendidikan dan komunikasi.
- Diskusi mengenai aspek positif dan negatif dari pemanfaatan ChatGPT bagi individu dan masyarakat.
- Penekanan pada penggunaan yang bertanggung jawab serta penyajian pertimbangan etis.
- Pentingnya memahami keuntungan dan risiko terkait penggunaan AI untuk memaksimalkan manfaat dan menghindari konsekuensi negatif.
- Dokumen ini juga membahas aplikasi teknologi AI, khususnya model bahasa besar seperti ChatGPT, dalam berbagai industri seperti bisnis, kesehatan, dan pemerintahan, serta bagaimana AI dapat meningkatkan pengambilan keputusan berbasis data dan mengurangi kesalahan.

-----------------

...
<<POTONGAN TEKS>>
...


- ChatGPT membahas keuntungan dan risiko di era kecerdasan buatan.
- Dokumen ini memberikan panduan untuk penggunaan ChatGPT yang efektif.
- Analisis dampak perkembangan teknologi kecerdasan buatan terhadap pendidikan dan komunikasi.
- Diskusi mengenai aspek positif dan negatif dari pemanfaatan ChatGPT bagi individu dan masyarakat.
- Penekanan pada penggunaan yang bertanggung jawab serta penyajian pertimbangan etis, termasuk pentingnya memastikan penggunaan yang akurat dan bebas dari bias serta menghindari tujuan yang tidak etis.
- Pentingnya memahami keuntungan dan risiko terkait penggunaan AI untuk memaksimalkan manfaat dan menghindari konsekuensi negatif.
- Dokumen ini juga membahas aplikasi teknologi AI, khususnya model bahasa besar seperti ChatGPT, dalam berbagai industri seperti bisnis, kesehatan, dan pemerintahan, serta bagaimana AI dapat meningkatkan pengambilan keputusan berbasis data yang cepat dan akurat, serta mengurangi kesalahan.
- Meskipun teknologi AI menawarkan banyak keuntungan, ada risiko yang perlu diperhatikan, termasuk masalah keamanan data, privasi, dan potensi penggantian pekerjaan manusia dalam jumlah besar, serta kekhawatiran tentang penyalahgunaan data dan ancaman siber.
- AI tidak dapat menggantikan kemampuan manusia dalam tugas yang memerlukan kreativitas dan empati.
- Selain itu, proses optimasi hyperparameter, seperti penyesuaian jumlah lapisan, jumlah neuron, dan rasio dropout, dapat meningkatkan kinerja model ChatGPT dengan mencegah overfitting atau underfitting, serta digunakan bersama teknik seperti fine-tuning dan augmentasi data untuk meningkatkan kinerja keseluruhan model.
- Dalam konteks pendidikan, ChatGPT dapat memberikan banyak manfaat bagi siswa dan pendidik, serta dapat digunakan dalam berbagai cara selama proses pembelajaran.
- Terdapat juga pembahasan mengenai optimasi untuk pembelajaran mesin skala besar dan penyesuaian model BERT untuk klasifikasi teks.
- Pentingnya menghidupkan pendidikan bahasa Indonesia dan sastra juga ditekankan.
- ChatGPT adalah alat yang dapat meningkatkan kecepatan dan efisiensi belajar, namun penting untuk menggunakan alat ini dengan cara yang tepat dan bijaksana, serta membangun cara penggunaan yang sesuai.

-----------------


- ChatGPT membahas keuntungan dan risiko di era kecerdasan buatan.
- Dokumen ini memberikan panduan untuk penggunaan ChatGPT yang efektif.
- Analisis dampak perkembangan teknologi kecerdasan buatan terhadap pendidikan dan komunikasi.
- Diskusi mengenai aspek positif dan negatif dari pemanfaatan ChatGPT bagi individu dan masyarakat.
- Penekanan pada penggunaan yang bertanggung jawab serta penyajian pertimbangan etis, termasuk pentingnya memastikan penggunaan yang akurat dan bebas dari bias serta menghindari tujuan yang tidak etis.
- Pentingnya memahami keuntungan dan risiko terkait penggunaan AI untuk memaksimalkan manfaat dan menghindari konsekuensi negatif.
- Dokumen ini juga membahas aplikasi teknologi AI, khususnya model bahasa besar seperti ChatGPT, dalam berbagai industri seperti bisnis, kesehatan, dan pemerintahan, serta bagaimana AI dapat meningkatkan pengambilan keputusan berbasis data yang cepat dan akurat, serta mengurangi kesalahan.
- Meskipun teknologi AI menawarkan banyak keuntungan, ada risiko yang perlu diperhatikan, termasuk masalah keamanan data, privasi, dan potensi penggantian pekerjaan manusia dalam jumlah besar, serta kekhawatiran tentang penyalahgunaan data dan ancaman siber.
- AI tidak dapat menggantikan kemampuan manusia dalam tugas yang memerlukan kreativitas dan empati.
- Selain itu, proses optimasi hyperparameter, seperti penyesuaian jumlah lapisan, jumlah neuron, dan rasio dropout, dapat meningkatkan kinerja model ChatGPT dengan mencegah overfitting atau underfitting, serta digunakan bersama teknik seperti fine-tuning dan augmentasi data untuk meningkatkan kinerja keseluruhan model.
- Dalam konteks pendidikan, ChatGPT dapat memberikan banyak manfaat bagi siswa dan pendidik, serta dapat digunakan dalam berbagai cara selama proses pembelajaran.
- Terdapat juga pembahasan mengenai optimasi untuk pembelajaran mesin skala besar dan penyesuaian model BERT untuk klasifikasi teks.
- Pentingnya menghidupkan pendidikan bahasa Indonesia dan sastra juga ditekankan.
- Dokumen ini juga membahas implementasi literasi di sekolah dasar dan menekankan nilai pendidikan Pancasila sebagai identitas dan substansi pendidikan abad ke-21.
- ChatGPT adalah alat yang dapat meningkatkan kecepatan dan efisiensi belajar, namun penting untuk menggunakan alat ini dengan cara yang tepat dan bijaksana, serta membangun cara penggunaan yang sesuai.
- Terdapat empat contoh aplikasi praktis penggunaan GPT-3 dalam bisnis yang disajikan.

-----------------

# Keluarkan hasil akhir
print(refined_summary)

- ChatGPT membahas keuntungan dan risiko di era kecerdasan buatan.
- Dokumen ini memberikan panduan untuk penggunaan ChatGPT yang efektif.
- Analisis dampak perkembangan teknologi kecerdasan buatan terhadap pendidikan dan komunikasi.
- Diskusi mengenai aspek positif dan negatif dari pemanfaatan ChatGPT bagi individu dan masyarakat.
- Penekanan pada penggunaan yang bertanggung jawab serta penyajian pertimbangan etis, termasuk pentingnya memastikan penggunaan yang akurat dan bebas dari bias serta menghindari tujuan yang tidak etis.
- Pentingnya memahami keuntungan dan risiko terkait penggunaan AI untuk memaksimalkan manfaat dan menghindari konsekuensi negatif.
- Dokumen ini juga membahas aplikasi teknologi AI, khususnya model bahasa besar seperti ChatGPT, dalam berbagai industri seperti bisnis, kesehatan, dan pemerintahan, serta bagaimana AI dapat meningkatkan pengambilan keputusan berbasis data yang cepat dan akurat, serta mengurangi kesalahan.
- Meskipun teknologi AI menawarkan banyak keuntungan, ada risiko yang perlu diperhatikan, termasuk masalah keamanan data, privasi, dan potensi penggantian pekerjaan manusia dalam jumlah besar, serta kekhawatiran tentang penyalahgunaan data dan ancaman siber.
- AI tidak dapat menggantikan kemampuan manusia dalam tugas yang memerlukan kreativitas dan empati.
- Selain itu, proses optimasi hyperparameter, seperti penyesuaian jumlah lapisan, jumlah neuron, dan rasio dropout, dapat meningkatkan kinerja model ChatGPT dengan mencegah overfitting atau underfitting, serta digunakan bersama teknik seperti fine-tuning dan augmentasi data untuk meningkatkan kinerja keseluruhan model.
- Dalam konteks pendidikan, ChatGPT dapat memberikan banyak manfaat bagi siswa dan pendidik, serta dapat digunakan dalam berbagai cara selama proses pembelajaran.
- Terdapat juga pembahasan mengenai optimasi untuk pembelajaran mesin skala besar dan penyesuaian model BERT untuk klasifikasi teks.
- Pentingnya menghidupkan pendidikan bahasa Indonesia dan sastra juga ditekankan.
- Dokumen ini juga membahas implementasi literasi di sekolah dasar dan menekankan nilai pendidikan Pancasila sebagai identitas dan substansi pendidikan abad ke-21.
- ChatGPT adalah alat yang dapat meningkatkan kecepatan dan efisiensi belajar, namun penting untuk menggunakan alat ini dengan cara yang tepat dan bijaksana, serta membangun cara penggunaan yang sesuai.
- Terdapat empat contoh aplikasi praktis penggunaan GPT-3 dalam bisnis yang disajikan.

PreviousCH14 - Rantai (Chains)Next02. SQL

Last updated 1 month ago