AI 크롤러가 우리 병원 홈페이지를 못 읽고 있다면 — robots.txt·사이트맵 30분 점검법
AI 검색 결과에 병원이 등장하지 않는 이유가 콘텐츠 부족이 아니라 robots.txt 한 줄일 수 있습니다. 크롤러 차단 여부를 확인하고 사이트맵을 정비하는 실무 절차를 정리했습니다.
AI 검색에 병원이 노출되지 않는 원인을 콘텐츠 탓으로 돌리기 전에, 사이트가 크롤러에게 문을 열어두고 있는지부터 확인해야 합니다. robots.txt의 한 줄, 사이트맵의 낡은 주소 하나가 수백 페이지를 통째로 가려버리기도 합니다. 이 점검은 개발자 없이도 30분이면 대부분 끝납니다.
먼저 확인할 것: 우리는 누구를 막고 있나
브라우저 주소창에 병원 도메인 뒤에 /robots.txt를 붙여 열어보십시오. 파일이 없다면 사실상 모두 허용 상태입니다. 문제는 파일이 있는 경우인데, 홈페이지 제작사가 서버 부하나 스크래핑 방지를 이유로 광범위한 차단 규칙을 넣어둔 사례가 흔합니다.
확인할 항목은 두 가지입니다. 첫째, User-agent 항목에 GPTBot, ClaudeBot, PerplexityBot, Google-Extended 같은 이름이 있고 그 아래 Disallow가 슬래시 하나로 끝나는지. 둘째, 전체 크롤러를 뜻하는 별표 규칙이 병원 소개나 칼럼 디렉터리를 통째로 막고 있지 않은지.
차단을 풀지, 유지할지는 경영 판단입니다. 다만 차단해 둔 사실조차 모르는 상태가 가장 나쁩니다.
차단을 해제할 때의 순서
- 현재 robots.txt 원문을 그대로 복사해 백업합니다.
- 노출을 원하는 크롤러의 Disallow 규칙만 지웁니다. 파일 전체를 삭제하지 마십시오.
- 결제·예약·회원 페이지 등 색인될 필요가 없는 경로는 Disallow에 남겨둡니다.
- 수정 후 다시 /robots.txt를 열어 반영 여부를 눈으로 확인합니다.
사이트맵은 만드는 것보다 유지가 어렵다
사이트맵은 어떤 페이지가 존재하는지 알려주는 목차입니다. 대부분의 홈페이지 솔루션이 자동 생성해 주지만, 리뉴얼 과정에서 옛 주소가 남아 있거나 신규 칼럼이 반영되지 않는 경우가 많습니다.
- 도메인 뒤 /sitemap.xml을 열어 최근 발행한 글의 주소가 포함되어 있는지 확인합니다.
- robots.txt 마지막 줄에 Sitemap 전체 주소를 명시합니다. 크롤러가 목차를 찾는 가장 빠른 경로입니다.
- 구글 서치콘솔과 네이버 서치어드바이저에 사이트맵을 등록하고, 색인 오류 항목을 월 1회 확인합니다.
자주 놓치는 세 가지
첫째, 개발 단계의 전체 차단 설정을 오픈 후 그대로 두는 경우입니다. 둘째, 페이지 안에 삽입된 noindex 태그는 robots.txt와 별개로 작동하므로 따로 확인해야 합니다. 셋째, 사이트맵에 적힌 주소와 실제 접속되는 주소의 www 여부나 프로토콜이 다르면 크롤러는 이를 다른 페이지로 인식합니다.
이번 주에 할 일
담당자에게 세 장의 화면을 요청하십시오. robots.txt 원문, sitemap.xml 상단 화면, 서치콘솔의 색인 현황입니다. 이 세 가지만 확인해도 AI 검색 노출의 기본 조건은 갖춰졌는지 판단할 수 있습니다. 어디서부터 봐야 할지 막막하다면, 도메인만으로 크롤러 접근 상태와 사이트맵 등록 여부를 확인해 주는 무료 진단을 이용해 현재 위치를 먼저 파악해 보시기 바랍니다.
자주 묻는 질문
robots.txt 파일이 아예 없으면 문제가 되나요?
파일이 없으면 크롤러는 접근이 허용된 것으로 간주하므로 노출 자체에는 불리하지 않습니다. 다만 사이트맵 위치를 알려줄 수단이 없고, 색인이 불필요한 관리자 경로까지 열리게 됩니다. 최소한의 규칙과 사이트맵 주소를 담은 파일을 두는 편이 관리에 유리합니다.
AI 크롤러를 허용하면 콘텐츠를 무단으로 가져가는 것 아닌가요?
허용은 곧 AI 검색 결과에 병원이 인용될 가능성을 여는 일이기도 합니다. 노출 기회와 콘텐츠 보호 중 무엇을 우선할지는 병원의 판단 영역입니다. 다만 검색 노출을 목표로 한다면 차단 상태를 유지한 채 결과를 기대하기는 어렵습니다.
robots.txt를 수정하면 언제부터 반영되나요?
크롤러가 다시 방문해 파일을 읽어야 반영됩니다. 방문 주기는 사이트마다 달라 정해진 기간을 말하기 어렵습니다. 서치콘솔에서 사이트맵을 재제출하면 확인 시점을 앞당기는 데 도움이 됩니다.
사이트맵을 검색엔진에 제출하면 반드시 색인되나요?
제출은 페이지의 존재를 알리는 절차일 뿐, 색인을 보장하지는 않습니다. 중복 내용이 많거나 페이지가 비어 있으면 제외될 수 있습니다. 사이트맵 등록은 필요조건이지 충분조건은 아니라고 이해하시면 됩니다.
홈페이지 제작사에 무엇을 요청하면 되나요?
robots.txt 원문 공유, 특정 크롤러 차단 규칙의 존재 여부 확인, 사이트맵 자동 갱신 여부 세 가지를 문의하십시오. 수정 전에는 현재 설정을 백업해 달라고 함께 요청하는 것이 안전합니다.
이 칼럼이 도움이 됐다면 공유해 주세요
원장님·마케팅 담당자에게 링크 한 번이면 됩니다.