Continuing: Evaluating AI Responses → this moduleLanjutan: Evaluating AI Responses → modul ini

From one bad conversation to a pattern worth fixing

Dari satu percakapan bermasalah ke pola yang layak diperbaiki

Agent Analysis is how you find out whether something the Agent did wrong is a one-off or a real problem, prove it with data, and hand it over as an Idea someone can act on.

Agent Analysis adalah cara kamu mencari tahu apakah kesalahan Agent itu cuma kejadian sekali atau masalah beneran, membuktikannya pakai data, lalu menyerahkannya sebagai Idea yang bisa langsung ditindaklanjuti.

The flowAlurnya
Hypothesis → Evidence → Idea Hipotesis → Bukti → Idea
Tools you'll useTools yang dipakai
Agent Diagnostics · Tableau · Lumos · Ideas platform Agent Diagnostics · Tableau · Lumos · platform Ideas
01 / 09
Where this fitsPosisinya di mana
02 / 09

Evaluating one reply vs. analysing a pattern

Mengevaluasi satu balasan vs. menganalisis pola

Both are quality work on AI, but they answer different questions at different moments. Evaluating AI Responses protects the customer in front of you. Agent Analysis protects every customer after them.

Dua-duanya kerja kualitas untuk AI, tapi menjawab pertanyaan yang beda di momen yang beda. Evaluating AI Responses melindungi pelanggan yang sedang kamu hadapi. Agent Analysis melindungi semua pelanggan setelahnya.

Evaluating AI ResponsesEvaluating AI Responses Agent AnalysisAgent Analysis
Core questionPertanyaan inti "Should this draft go out?""Draf ini layak dikirim nggak?" "Does this behavior repeat, and does it matter?""Perilaku ini berulang nggak, dan penting nggak?"
What you look atYang dilihat One KoPilot draftSatu draf KoPilot A population of Agent conversationsSekumpulan percakapan Agent
WhenKapan Before send, live in the ticketSebelum kirim, langsung di tiket After the fact, on recent conversationsSetelah kejadian, di percakapan yang baru
Whose outputOutput siapa A draft you can still change; a human stays in the loopDraf yang masih bisa kamu ubah; manusia masih di tengah proses The Agent talking to customers directly, already sentAgent yang ngobrol langsung dengan pelanggan, sudah terkirim
Your toolkitToolkit-nya QTAB, actions panel, +Add context, ask:, summaryQTAB, actions panel, +Add context, ask:, summary Diagnostics, Tableau, Lumos, conversation samplingDiagnostics, Tableau, Lumos, sampling percakapan
You produceHasilnya A corrected, sendable replyBalasan yang sudah dikoreksi dan siap kirim An Idea with evidence and an expected outcomeSebuah Idea dengan bukti dan hasil yang diharapkan
The fix lands inPerbaikannya di This one replySatu balasan ini Agent or Product behavior, for every customerPerilaku Agent atau Product, untuk semua pelanggan
The editor vs. the quality analyst: an editor fixes the typo in today's article before it prints. A quality analyst notices the same typo in 400 articles, checks whether the template is to blame, and files the ticket to fix the template. Diagnostics sits in between: it explains what happened in one finished conversation, and that is where an analysis usually starts.
Editor vs. analis kualitas: editor membenarkan typo di artikel hari ini sebelum dicetak. Analis kualitas sadar typo yang sama muncul di 400 artikel, cek apakah template-nya yang salah, lalu bikin tiket untuk memperbaiki template-nya. Diagnostics ada di tengah-tengahnya: menjelaskan apa yang terjadi di satu percakapan yang sudah selesai, dan dari sinilah analisis biasanya dimulai.
Step 1 · FramingLangkah 1 · Framing
03 / 09

Start with the behavior, not the metric

Mulai dari perilakunya, bukan metriknya

One case can expose a real problem, but it cannot tell you how widespread it is. A good analysis begins by describing exactly what happened, so that you can recognise another matching case when you see one.

Satu kasus bisa membuka masalah yang nyata, tapi nggak bisa bilang seberapa luas masalahnya. Analisis yang bagus dimulai dengan mendeskripsikan persis apa yang terjadi, supaya kamu bisa mengenali kasus lain yang sama.

✗ Too broad or metric-firstTerlalu luas atau berangkat dari metrik
"Website troubleshooting is performing poorly."
"Why does website_not_working have bad CSAT?"

Too many possible causes, and no way to say whether another conversation matches.
"Troubleshooting website performanya jelek."
"Kenapa website_not_working CSAT-nya rendah?"

Penyebabnya terlalu banyak, dan nggak ada cara untuk tahu apakah percakapan lain cocok atau nggak.
✓ Specific and searchableSpesifik dan bisa dicari
"After automated checks cannot find the website, the Agent says so, stops troubleshooting and suggests another account."
"How often does website_not_working fail to detect a website that is on the plan?"

You can open any conversation and say yes or no.
"Setelah pengecekan otomatis nggak menemukan website, Agent bilang begitu, berhenti troubleshooting dan menyarankan cek akun lain."
"Seberapa sering website_not_working gagal mendeteksi website yang sebenarnya ada di plan?"

Kamu bisa buka percakapan mana pun dan jawab ya atau nggak.
1
Turn it into a question that names where, what and what a match looks like.Ubah jadi pertanyaan yang menyebut di mana, apa, dan seperti apa kasus yang cocok.
2
Pick the smallest useful scopePilih scope terkecil yang berguna (a function, skill, intent, MCP tool or flow). It is a working hypothesis, and it is fine if the data narrows it later.(function, skill, intent, MCP tool, atau flow). Ini hipotesis kerja, dan wajar kalau nanti dipersempit oleh data.
3
Try to reproduce it on your own test account.Coba reproduksi di akun test kamu sendiri. First-hand experience gives you insights a log cannot.Pengalaman langsung ngasih insight yang nggak bisa kamu dapat dari log.
Checkpoint: "I observed [specific behavior] in [specific context]. I want to determine whether it also occurs in [defined population] and measure [relevant impact]." Checkpoint: "Saya mengamati [perilaku spesifik] di [konteks spesifik]. Saya ingin menentukan apakah ini juga terjadi di [populasi yang didefinisikan] dan mengukur [dampak yang relevan]."
The detective's tip: "Something is wrong in the city" gives the police nothing. "A blue van parked outside the same bank three times" gives them something to search for.
Laporan ke detektif: "Ada yang salah di kota ini" nggak memberi polisi apa-apa. "Van biru parkir tiga kali di depan bank yang sama" memberi mereka sesuatu yang bisa dicari.
Step 1 · Before you investLangkah 1 · Sebelum investasi waktu
04 / 09

Is it still current, and is it worth the effort?

Masih relevan nggak, dan sepadan dengan usahanya?

Two quick filters save you hours. First check that the example can still teach you something. Then check that the size or severity of the problem justifies deeper work.

Dua filter cepat yang menghemat berjam-jam. Pertama, pastikan contohnya masih bisa mengajarkan sesuatu. Kedua, pastikan ukuran atau tingkat keparahan masalahnya memang pantas digali lebih dalam.

Is the case still relevant?Kasusnya masih relevan?
Recent. Agent Events are kept for 30 days, so older cases may lack the diagnostic detail to explain why.Baru. Agent Events disimpan 30 hari, jadi kasus lama bisa kehilangan detail diagnostik untuk menjelaskan penyebabnya.
Still happening. The Agent changes often. A case from a few days ago may already behave differently.Masih terjadi. Agent sering berubah. Kasus beberapa hari lalu bisa jadi sudah beda perilakunya.
Component alive. If the function or flow is being replaced or redesigned, analysing the old one adds little.Komponen masih hidup. Kalau function atau flow-nya lagi diganti atau didesain ulang, menganalisis yang lama nggak banyak gunanya.
Is it worth deeper analysis?Layak dianalisis lebih dalam?
Volume. As a baseline, trend analysis focuses on issues affecting about 50 or more conversations per week. It is a practical threshold, not a strict rule.Volume. Sebagai patokan, analisis tren fokus ke isu yang kena sekitar 50 percakapan atau lebih per minggu. Ini ambang praktis, bukan aturan kaku.
Impact. Lower volume still deserves attention for security, incorrect policy guidance, reputation or compliance risk, or severe harm like data loss.Dampak. Volume kecil tetap layak diperhatikan untuk keamanan, panduan kebijakan yang salah, risiko reputasi atau compliance, atau dampak berat seperti kehilangan data.
Quick winQuick win
A destructive MCP tool action is mislabeled, so the Agent never asks for confirmation. A few cases already make the fix obvious.
Aksi MCP tool yang destruktif salah label, jadi Agent nggak pernah minta konfirmasi. Beberapa kasus saja sudah cukup bikin perbaikannya jelas.
Needs proof of scalePerlu bukti skala
Customers seem to hit an unhelpful troubleshooting loop under certain conditions. You need more evidence before claiming a real pattern.
Pelanggan sepertinya terjebak di loop troubleshooting yang nggak membantu pada kondisi tertentu. Kamu butuh bukti lebih banyak sebelum mengklaim ini pola yang nyata.
Proportionate evidence: you don't need a lab test to report a smoking wire, but you do need one before declaring a whole building unsafe. Ask: "What evidence is proportionate to the claim I want to make?"
Bukti yang sepadan: kamu nggak butuh uji lab untuk melaporkan kabel yang berasap, tapi kamu butuh itu sebelum menyatakan satu gedung nggak aman. Tanya: "Bukti apa yang sepadan dengan klaim yang mau saya buat?"
Step 2 · Choose the toolLangkah 2 · Pilih tool-nya
05 / 09

Tableau or Lumos? Let the question decide

Tableau atau Lumos? Biar pertanyaannya yang menentukan

They are complementary, not a fixed sequence. Tableau gives you fast, deterministic numbers from pre-set filters. Lumos gives you flexibility, including conversation IDs and AI-based classification.

Keduanya saling melengkapi, bukan urutan baku. Tableau memberi angka cepat dan deterministik dari filter yang sudah ada. Lumos memberi fleksibilitas, termasuk ID percakapan dan klasifikasi berbasis AI.

Tableau (CS Chatbot results)Tableau (CS Chatbot results) LumosLumos
NatureSifat Deterministic, no generative AI, no hallucinationDeterministik, tanpa generative AI, nggak ada halusinasi AI data analyst over BigQuery; can be probabilistic, so validateAI data analyst di atas BigQuery; bisa probabilistik, jadi perlu divalidasi
Best forPaling cocok untuk Volume, trends, CSAT, handoff, grouped functionsVolume, tren, CSAT, handoff, grouped function Custom queries, combined conditions, custom tables and dashboardsQuery custom, kombinasi kondisi, tabel dan dashboard custom
Conversation IDsID percakapan ❌ ✅
AI classificationKlasifikasi AI ❌ ✅
Watch out forHati-hati Single function means it was the only function called; grouped also counts conversations with other functions. Compare both.Single function artinya hanya function itu yang dipanggil; grouped juga menghitung percakapan dengan function lain. Bandingkan keduanya. Data refreshes twice a day, so today's numbers can be partial. Prefer completed days.Data di-refresh dua kali sehari, jadi angka hari ini bisa belum lengkap. Pilih hari yang sudah selesai.
A good Lumos request definesRequest Lumos yang bagus mendefinisikan
ObjectObjek GranularityGranularitas Time rangeRentang waktu Exact filters (intents, functions)Filter eksak (intent, function) MetricsMetrik ExclusionsPengecualian Return N conversation IDsMinta N ID percakapan
Dashboard vs. toolbox: Tableau is the speedometer on your dashboard: always accurate, always the same gauges. Lumos is a flexible toolbox: it can build almost anything you ask for, but you inspect the result before you trust it. The tool should follow the question, not the other way around.
Speedometer vs. toolbox: Tableau itu speedometer di dashboard: selalu akurat, indikatornya selalu sama. Lumos itu toolbox yang fleksibel: bisa membuat hampir apa pun yang kamu minta, tapi hasilnya kamu periksa dulu sebelum dipercaya. Tool-nya mengikuti pertanyaan, bukan sebaliknya.
Step 2 · ValidateLangkah 2 · Validasi
06 / 09

A number is not evidence until you've read the cases

Angka belum jadi bukti sebelum kamu baca kasusnya

A successful query proves that records matched the query. It does not prove they match your hypothesis. Sample real conversations to find out what the number actually represents.

Query yang berhasil jalan hanya membuktikan ada record yang cocok dengan query. Itu belum membuktikan record-nya cocok dengan hipotesismu. Sampling percakapan asli untuk tahu angka itu sebenarnya mewakili apa.

TrapsJebakan
800 restoration conversations ≠ 800 customers with the problem. Some passed through fine, some were a related topic, some matched broad keywords.800 percakapan restoration ≠ 800 pelanggan yang kena masalah. Sebagian lancar-lancar saja, sebagian topik yang mirip, sebagian cocok karena keyword yang terlalu luas.
High handoff and low CSAT are signals, not causes. They show a group performs worse, not that your suspected failure caused it.Handoff tinggi dan CSAT rendah itu sinyal, bukan penyebab. Ini menunjukkan satu kelompok performanya lebih buruk, bukan bahwa kegagalan yang kamu curigai penyebabnya.
Filtering so narrowly that data can only confirm you. Leave room for other causes.Filter terlalu sempit sampai data hanya bisa membenarkan kamu. Sisakan ruang untuk penyebab lain.
The validation loopSiklus validasi
1
Get a scoped count and about 10 conversation IDs.Ambil hitungan dengan scope jelas dan sekitar 10 ID percakapan.
2
Read them: right topic? suspected behavior actually happened? false positives?Baca: topiknya benar? perilaku yang dicurigai beneran terjadi? ada false positive?
3
If many don't match, find out why, add exclusions, rerun and sample again.Kalau banyak yang nggak cocok, cari tahu kenapa, tambah pengecualian, jalankan ulang dan sampling lagi.
4
If a reasonable refinement still fails, document the limitation and stop.Kalau perbaikan yang wajar masih gagal, dokumentasikan keterbatasannya dan berhenti.
Lumos hygieneKebiasaan baik di Lumos
One topic per chatSatu topik per chat Stop around 15–20 turns, then summarise and restartBerhenti sekitar 15–20 giliran, lalu ringkas dan mulai chat baru Don't paste full transcripts; get IDs and read directlyJangan tempel transkrip penuh; ambil ID dan baca langsung Use 1–4 week windowsPakai jendela 1–4 minggu
The fishing net: a catch of 600 fish tells you the net worked, not that all 600 are the species you wanted. You look in the net before you write the report.
Jaring ikan: tangkapan 600 ikan menunjukkan jaringnya berfungsi, bukan bahwa semua 600 itu jenis ikan yang kamu cari. Kamu lihat isi jaringnya dulu sebelum menulis laporan.
Step 3 · From findings to an IdeaLangkah 3 · Dari temuan ke Idea
07 / 09

Describe the outcome, leave the route to the owners

Jelaskan hasil yang diharapkan, biarkan rutenya untuk pemilik solusi

An Idea explains what happened, what should have happened instead, and enough evidence to be prioritised. Keep the symptom, the pattern and the likely cause separate, and state uncertainty openly.

Idea menjelaskan apa yang terjadi, apa yang seharusnya terjadi, dan bukti yang cukup untuk diprioritaskan. Pisahkan gejala, pola dan kemungkinan penyebab, dan nyatakan ketidakpastian dengan terbuka.

LevelLevel ExampleContoh
SymptomGejalaCustomer is asked to double-check the domain namePelanggan diminta mengecek ulang nama domain
PatternPolaHappens when the user reports their website is not workingTerjadi saat pengguna melaporkan websitenya nggak jalan
Likely causeKemungkinan penyebabA failing website ownership check (a hypothesis, stated as such)Pengecekan kepemilikan website yang gagal (hipotesis, dinyatakan sebagai hipotesis)
✓ Expected outcomeHasil yang diharapkan
"The Agent should inform the customer that maintenance is currently in progress."
"Agent harus memberi tahu pelanggan bahwa maintenance sedang berlangsung."
✗ Implementation detail (leave for later)Detail implementasi (biarkan untuk nanti)
"Inject the downtime incident into the base prompt."
"Masukkan insiden downtime ke base prompt."
What goes into the IdeaIsi Idea
Category (Chatbot for Agent ideas)Kategori (Chatbot untuk ide Agent) TitleJudul What happenedApa yang terjadi What should have happenedYang seharusnya terjadi Who's affectedSiapa yang terdampak Impact aimed at: Load, CSAT or Internal processDampak yang dituju: Load, CSAT atau Internal process About 3 linked conversationsSekitar 3 percakapan terlampir Slack threads / Jira issuesThread Slack / issue Jira
Order the destination, not the route: tell a taxi driver "take me to the airport", not "turn left at the third light". The driver (the owning team) knows about the roadworks you can't see. Your job is to make the problem and its impact impossible to miss.
Sebut tujuan, bukan rute: bilang ke sopir taksi "antar saya ke bandara", bukan "belok kiri di lampu merah ketiga". Sopirnya (tim pemilik) tahu soal jalan yang ditutup yang nggak kamu lihat. Tugasmu membuat masalah dan dampaknya nggak mungkin terlewat.
Worked exampleContoh terapan
08 / 09

One Idea, start to finish

Satu Idea, dari awal sampai akhir

The website-detection case from the course, written up as an Idea. The figures are illustrative placeholders, so replace them with your own evidence.

Kasus deteksi website dari course, ditulis sebagai Idea. Angkanya hanya contoh ilustrasi, jadi ganti dengan bukti milikmu sendiri.

CategoryKategori
Chatbot
What happenedYang terjadi
After automated checks finish without finding the website, the Agent asks the customer to check for typos or the logged-in account, even when the website is on the plan. Confirmed in 7 of 10 sampled conversations from 01–07 Sep. The flow handled about 410 conversations with 51% CSAT. The reviewed cases suggest the ownership check returns an incorrect result.Setelah pengecekan otomatis selesai tanpa menemukan website, Agent meminta pelanggan cek typo atau akun yang sedang login, padahal website ada di plan. Terkonfirmasi di 7 dari 10 percakapan sampel pada 01–07 Sep. Flow ini menangani sekitar 410 percakapan dengan CSAT 51%. Kasus yang direview mengindikasikan pengecekan kepemilikan mengembalikan hasil yang salah.
Should haveSeharusnya
The Agent correctly locates the website and continues the troubleshooting flow.Agent menemukan website dengan benar dan melanjutkan flow troubleshooting.
AffectedTerdampak
Customers reporting a website not working whose site is on their planPelanggan yang melaporkan website nggak jalan padahal sitenya ada di plan
Impact aimed atDampak dituju
CSAT
LinkedTerlampir
3 representative conversations, including one variation3 percakapan representatif, termasuk satu variasi
Final check before you submitCek akhir sebelum submit
The behavior is described precisely enough that a reviewer can recognise a matching casePerilakunya dideskripsikan cukup presisi sampai reviewer bisa mengenali kasus yang cocok
The case is recent and the behavior still occursKasusnya baru dan perilakunya masih terjadi
Scale and impact are stated with the filters and time range usedSkala dan dampak dinyatakan lengkap dengan filter dan rentang waktu yang dipakai
I read a sample and confirmed the dataset matches the problemSaya sudah baca sampel dan memastikan dataset cocok dengan masalahnya
The cause is labelled as likely or confirmed, with uncertainty statedPenyebab dilabeli kemungkinan atau terkonfirmasi, dengan ketidakpastian dinyatakan
The expected outcome describes what the customer sees, not how to build itHasil yang diharapkan menjelaskan apa yang dilihat pelanggan, bukan cara membangunnya
About three conversations are linked as evidenceSekitar tiga percakapan terlampir sebagai bukti
Ready to submit: Siap submit: 0 / 7
The stranger test: hand your Idea to someone who has never seen your analysis. If they can say what happened, how often, why, what should improve and where the proof is, it is ready.
Tes orang asing: berikan Idea-mu ke orang yang belum pernah lihat analisismu. Kalau dia bisa bilang apa yang terjadi, seberapa sering, kenapa, apa yang harus membaik, dan di mana buktinya, berarti sudah siap.
Quiz timeKuis
09 / 09

Quick knowledge check

Yuk, cek seberapa nyantol!

8 questions covering the whole module. Pick an answer for instant feedback and an explanation.

8 pertanyaan yang mencakup seluruh modul. Pilih jawaban, langsung dapat feedback dan penjelasannya.

←→ navigatenavigasi