Text Generation, Summarization, dan Paraphrasing

import requests
import json

API_KEY = "gsk_XXXX"
MODEL = "llama-3.1-8b-instant"
URL = "https://api.groq.com/openai/v1/chat/completions"

headers = {
    "Authorization": f"Bearer {API_KEY}",
    "Content-Type": "application/json"
}

def ask_llm(system_prompt, user_prompt, temperature=0.3, max_tokens=500):
    payload = {
        "model": MODEL,
        "temperature": temperature,
        "max_tokens": max_tokens,
        "messages": [
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_prompt}
        ]
    }

    response = requests.post(URL, headers=headers, json=payload)
    response.raise_for_status()
    data = response.json()
    return data["choices"][0]["message"]["content"]

system_prompt = "Anda adalah tutor mata kuliah NLP dan AI generatif yang menjelaskan dengan bahasa sederhana."
user_prompt = "Jelaskan perbedaan summarization dan paraphrasing dalam 2 paragraf."

hasil = ask_llm(system_prompt, user_prompt)
print(hasil)

prompt = "Jelaskan apa itu text generation untuk mahasiswa semester 2 dalam 3 paragraf. Gunakan 1 perumpamaan sederhana dan 1 contoh penggunaan di kampus."

hasil = ask_llm(
    "Anda adalah dosen yang suka mengajar dengan bahasa ringan.",
    prompt,
    temperature=0.4,
    max_tokens=400
)

print(hasil)

teks_panjang = """
Natural language processing adalah bidang yang mempelajari bagaimana komputer memahami, memproses, dan menghasilkan bahasa manusia. Bidang ini mencakup banyak tugas seperti klasifikasi teks, analisis sentimen, ekstraksi informasi, penerjemahan mesin, hingga pembuatan chatbot. Dalam beberapa tahun terakhir, perkembangan transformer dan large language model membuat kemampuan sistem NLP meningkat sangat pesat. Namun, kemajuan itu juga membawa tantangan seperti kebutuhan komputasi yang besar, risiko bias, dan kemungkinan munculnya hallucination.
"""

prompt = f"Ringkas teks berikut menjadi 1 paragraf yang mudah dipahami mahasiswa semester awal. Teks: {teks_panjang}"

hasil_ringkasan = ask_llm(
    "Anda adalah asisten perkuliahan yang merangkum teks dengan jelas.",
    prompt,
    temperature=0.2,
    max_tokens=250
)

print(hasil_ringkasan)

komentar = [
    "Materi bagus tetapi kecepatannya terlalu tinggi.",
    "Contoh kode membantu, namun saya masih bingung tentang cosine similarity.",
    "Sesi praktikum menarik karena ada contoh nyata.",
    "Perlu lebih banyak latihan untuk membedakan TF-IDF dan embedding."
]

teks_gabungan = "\n".join(f"- {k}" for k in komentar)

prompt = f"Buat ringkasan umpan balik mahasiswa berikut dalam 1 paragraf. Jelaskan apa yang sudah baik dan apa yang masih perlu diperbaiki. Data: {teks_gabungan}"

hasil = ask_llm(
    "Anda adalah analis umpan balik pembelajaran.",
    prompt,
    temperature=0.2,
    max_tokens=250
)

print(hasil)

teks_asli = "Representasi distribusional memungkinkan kata-kata dipetakan ke ruang vektor sehingga hubungan semantik dapat dikuantifikasi melalui kedekatan geometris."

prompt = f"Parafrase kalimat berikut agar lebih mudah dipahami mahasiswa semester awal tanpa mengubah makna utamanya: {teks_asli}"

hasil = ask_llm(
    "Anda adalah tutor yang menjelaskan istilah teknis dengan sederhana.",
    prompt,
    temperature=0.3,
    max_tokens=200
)

print(hasil)

teks = "Model transformer menggunakan mekanisme attention untuk memeriksa hubungan antar token dalam sebuah urutan teks."

prompt_sederhana = f"Parafrase kalimat berikut menjadi bahasa sangat sederhana untuk mahasiswa baru: {teks}"
prompt_formal = f"Parafrase kalimat berikut menjadi bahasa formal akademik: {teks}"
prompt_santai = f"Parafrase kalimat berikut menjadi bahasa santai tetapi sopan untuk diskusi kelas: {teks}"

print("=== Sederhana ===")
print(ask_llm("Anda adalah tutor yang sabar.", prompt_sederhana))
print("\n=== Formal ===")
print(ask_llm("Anda adalah penulis akademik.", prompt_formal))
print("\n=== Santai ===")
print(ask_llm("Anda adalah asisten kelas yang ramah.", prompt_santai))

artikel = """
Banyak sistem pencarian tradisional hanya mencocokkan kata yang persis sama. Akibatnya, dokumen yang sebenarnya relevan bisa tidak ditemukan jika menggunakan kata berbeda. Model embedding dan semantic search membantu mengatasi masalah ini dengan memetakan teks ke ruang vektor berdasarkan makna.
"""

ringkas_prompt = f"Ringkas teks berikut dalam 2 kalimat: {artikel}"
ringkasan = ask_llm("Anda adalah peringkas teks.", ringkas_prompt, temperature=0.2, max_tokens=120)

parafrase_prompt = f"Tulis ulang ringkasan berikut dengan bahasa yang lebih mudah dipahami mahasiswa semester awal: {ringkasan}"
parafrase = ask_llm("Anda adalah tutor pemula yang sabar.", parafrase_prompt, temperature=0.3, max_tokens=150)

print("Ringkasan:")
print(ringkasan)
print("\nParafrase ringkasan:")
print(parafrase)

def evaluasi_manual(output, kriteria):
    print("HASIL MODEL:")
    print(output)
    print("\nKRITERIA CEK:")
    for i, item in enumerate(kriteria, start=1):
        print(f"{i}. {item}")

kriteria_ringkasan = [
    "Apakah inti teks tetap ada?",
    "Apakah panjangnya lebih pendek dari teks asli?",
    "Apakah bahasa mudah dipahami?",
    "Apakah ada informasi penting yang hilang total?",
    "Apakah muncul informasi baru yang tidak ada pada teks asli?"
]

output = hasil_ringkasan
evaluasi_manual(output, kriteria_ringkasan)

<?php
function askGroq($userPrompt) {
    $apiKey = 'gsk_XXXX';
    $model = 'llama-3.1-8b-instant';
    $url = 'https://api.groq.com/openai/v1/chat/completions';

    $systemPrompt = 'Anda adalah asisten pembelajaran NLP. Ringkas teks dengan bahasa sederhana, jelas, dan tetap setia pada isi.';

    $payload = [
        'model' => $model,
        'temperature' => 0.2,
        'messages' => [
            ['role' => 'system', 'content' => $systemPrompt],
            ['role' => 'user', 'content' => $userPrompt]
        ]
    ];

    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_HTTPHEADER, [
        'Content-Type: application/json',
        'Authorization: Bearer ' . $apiKey
    ]);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($payload));

    $response = curl_exec($ch);
    curl_close($ch);

    $data = json_decode($response, true);
    return $data['choices'][0]['message']['content'] ?? 'Gagal mengambil jawaban.';
}

$teks = $_POST['teks'] ?? '';
if ($teks !== '') {
    $prompt = "Ringkas teks berikut dalam 1 paragraf: " . $teks;
    echo askGroq($prompt);
}
?>