AI 답변 등장 여부를 매달 같은 방법으로 재는 법

"우리 회사가 AI 답변에 나오나요?"라는 질문에 한 번 확인해 보고 "나오더라" 또는 "안 나오더라"로 답하는 것은 측정이 아니다. 오늘 나왔던 답이 내일 바뀌고, 같은 질문도 표현을 조금 바꾸면 결과가 달라진다. 성과로 말하려면 같은 질문을, 같은 도구에, 같은 간격으로 던지고 그 결과를 표로 쌓아야 한다. 이 글은 그 표를 만드는 순서다.

질문부터 고정한다

측정의 단위는 브랜드가 아니라 질문이다. 고객이 실제로 AI에게 물어볼 법한 문장을 업체당 5개 정한다. 조건은 세 가지다.

• 브랜드 이름을 질문에 넣지 않는다. "○○빵집 어때?"라고 물으면 AI는 질문을 되풀이하며 그 이름을 말한다. 이건 등장이 아니라 메아리다. "상도동에서 비건 빵 파는 곳 알려줘"처럼 고객의 상황만 담는다.
• 우리가 실제로 쓴 글의 주제와 맞춘다. 발행한 콘텐츠가 다루지 않은 질문은 애초에 인용될 근거가 없다. 최근 발행 목록을 열어 놓고 질문을 뽑는다.
• 한 번 정하면 최소 3개월은 바꾸지 않는다. 질문을 바꾸는 순간 지난달과 비교가 끊긴다.

도구는 넷, 같은 계정, 같은 설정

ChatGPT·Gemini·Claude·Perplexity 네 곳을 기본으로 둔다. 국내 고객이 많다면 네이버 AI 브리핑을 다섯 번째로 더한다. 로그인 계정과 대화 기록 설정을 매달 똑같이 유지한다. 개인화가 켜진 계정은 지난달에 클릭한 링크를 기억해서 이번 달 결과를 부풀린다. 측정 전용 계정을 하나 만들어 두는 편이 가장 깔끔하다.

기록은 세 칸이면 된다

질문 하나, 도구 하나에 대해 아래 세 칸만 적는다.

이렇게 하면 업체 하나에 매달 20칸(질문 5 × 도구 4)이 생긴다. 등장률은 "예"의 수를 20으로 나눈 값이다. 지난달 0/20이었다가 이번 달 6/20이 되었다면 그것이 성과 문장이 된다. "AI 답변 등장 0% → 30%" 처럼.

캡처가 숫자보다 세다

표의 숫자는 설득의 시작일 뿐이다. 실제로 사람을 움직이는 것은 "지금 이렇게 보인다"는 화면이다. 등장한 답변은 반드시 전체 화면을 저장한다. 질문·날짜·도구 이름이 한 장에 같이 보이게 하고, 파일 이름에도 그 세 가지를 넣는다. 예를 들어 업체_perplexity_20260910.jpg 같은 식이다. 석 달 뒤 "예전에는 없었는데 지금은 이렇다"를 보여 줄 때 이 파일이 증거가 된다.

결과가 0일 때 해야 할 일

첫 달은 대부분 0이다. 이때 할 일은 질문을 바꾸는 것이 아니라 그 질문에 답하는 글이 있는지 확인하는 것이다. 질문 5개 각각에 대해 "이 질문에 우리 사이트의 어느 글이 답하는가"를 적어 본다. 빈칸이 있으면 그 글을 먼저 쓴다. 답하는 글이 있는데도 0이라면 그 글이 질문의 표현과 얼마나 가까운지, 첫 문단에 답이 바로 나오는지를 본다.

바로 해볼 것

• 업체(또는 우리 회사)당 질문 5개를 오늘 확정한다. 브랜드 이름은 빼고, 최근 발행 글과 맞춘다.
• 측정 전용 계정을 하나 만든다.
• 스프레드시트에 질문 × 도구 표를 만들고 이번 달 칸을 채운다. 0이어도 적는다.
• 등장한 답변은 전체 화면으로 저장하고 파일 이름에 업체·도구·날짜를 넣는다.
• 다음 달 같은 날짜에 같은 표를 한 번 더 채운다. 비교는 그때부터 시작된다.