AI Visibility Measurement Framework

Framework ini menetapkan cara Undercover.co.id merancang, menjalankan, menyimpan, menilai, dan melaporkan observasi AI Visibility. Tujuannya adalah menghasilkan evidence yang dapat diperiksa, bukan angka tunggal yang terlihat meyakinkan tetapi tidak memiliki raw record.

Measurement objective

Pengukuran digunakan untuk membaca bagaimana suatu entity dijelaskan, ditemukan, dibandingkan, dikutip, atau tidak terlihat pada AI answer surfaces. Framework tidak mengukur “ranking AI” sebagai posisi permanen dan tidak menjanjikan bahwa output dapat direplikasi pada semua user.

Unit of observation

Satu unit observasi adalah kombinasi exact query, engine atau surface, tanggal dan waktu, language, location context, session type, browsing or retrieval state, dan raw output. Perubahan salah satu unsur tersebut dapat menghasilkan observation record yang berbeda.

Mandatory record fields

Observation ID.
Entity ID dan project ID.
Exact query, query type, decision stage, dan intent owner.
Engine, model or product surface, dan version jika terlihat.
Date, time, timezone, language, location context, dan session type.
Browsing, retrieval, authentication, personalization, dan memory state sejauh dapat diketahui.
Raw answer reference dan screenshot or snapshot reference.
Citation URLs dan owned or third-party classification.
Brand mention, position in answer, category accuracy, description accuracy, recommendation context, competitor mention, dan contradiction.
Failure status, reviewer, interpretation, confidence, limitation, dan review date.

Observation status taxonomy

OBSERVED: pengujian selesai dan kondisi dapat dinilai.
NOT OBSERVED: pengujian selesai, tetapi target tidak terlihat.
NOT MEASURABLE: surface atau data tidak memungkinkan penilaian yang valid.
PROVIDER FAILURE: kegagalan provider, timeout, service error, access error, atau interruption.
EMPTY OUTPUT: output kosong atau tidak memiliki informasi yang dapat dinilai.
RETRIEVAL FAILURE: retrieval atau browsing yang dibutuhkan tidak berjalan.
NEEDS HUMAN REVIEW: jawaban ambigu, konflik, atau memerlukan subject-matter review.

PROVIDER FAILURE, EMPTY OUTPUT, RETRIEVAL FAILURE, dan NOT MEASURABLE tidak boleh dihitung sebagai brand absence.

Query selection

Query set dibentuk dari buyer language, category, brand, comparison, problem, procurement, risk, founder, regulated industry, action readiness, and board governance. Canonical Deep Intent digunakan sebagai priority layer dan tidak menggantikan historical query atau vertical query yang masih relevan.

Setiap query mencatat alasan pemilihan, owner, target service, expected evidence, dan keputusan apa yang dapat dipengaruhi oleh hasilnya.

Sampling and repeat runs

Framework membedakan snapshot, baseline, post-implementation observation, cross-engine comparison, competitor comparison, temporal observation, dan incident observation. Jumlah repeat runs disesuaikan dengan materiality dan volatility. Satu run dapat dipublikasikan sebagai contoh, tetapi tidak boleh disebut sebagai representasi stabil tanpa pengamatan tambahan.

Scoring rules

Score hanya boleh dihitung jika denominator menggunakan record yang dapat diukur. Provider failure dan non-measurable record dikeluarkan dan dilaporkan terpisah.

Representation: apakah entity dikenali dan dijelaskan akurat.
Visibility: apakah entity muncul pada query yang dapat diukur.
Authority: kualitas reason, evidence, and citation yang mendukung kemunculan.
Evidence: keterhubungan claim dengan sumber yang dapat ditelusuri.
Risk: misinformation, wrong entity, outdated source, impersonation, dan contradiction.
Commercial signal: shortlist context, recommendation reason, inquiry feedback, atau decision-stage coverage.

Score bukan jaminan outcome. Formula, denominator, excluded records, dan confidence harus terlihat pada report.

Confidence

HIGH: record lengkap, dapat diperiksa, konsisten pada repeat observation, dan memiliki supporting source.
MEDIUM: record cukup, tetapi coverage, repeat run, atau source independence masih terbatas.
LOW: selected observation, incomplete metadata, ambiguous output, atau inference yang belum dikonfirmasi.

Before and after evaluation

Before-after harus mencatat implementation change, publication date, retrieval delay, observation window, unrelated market changes, model update, and competitor activity. Perubahan setelah implementasi tidak otomatis membuktikan causality.

Review and correction

Observation record ditinjau oleh reviewer. Incident yang material dapat dieskalasi ke legal, corporate communication, data owner, product owner, atau executive owner. Correction tidak mengubah raw record. Interpretation dan status dapat diperbarui dengan version history.

Public and confidential evidence

Public page dapat menampilkan selected record, metadata, interpretation, dan limitation. Raw confidential client data, credentials, personal data, proprietary query, dan security-sensitive detail tetap dibatasi.

Reporting outputs

Baseline audit report.
Query-level observation register.
Cross-engine comparison.
Competitor movement report.
Incident register.
Monthly executive summary.
Quarterly board review.

Lihat AI Visibility Board Pack Template, Evidence Hub, dan AI Visibility Monitoring.

Limitations

AI output dipengaruhi oleh provider, model, retrieval, user context, location, language, personalization, data availability, and policy. Framework meningkatkan traceability dan decision quality, tetapi tidak menciptakan pengelolaan yang terukur dalam batas yang dapat dikendalikan perusahaan atas sistem pihak ketiga.