손님이 가게를 찾는 방식이 둘로 갈라졌습니다. 한쪽은 예전처럼 네이버에 검색합니다. 다른 한쪽은 ChatGPT·퍼플렉시티·구글 AI에게 대화하듯 묻습니다. “○○동에서 아이랑 가기 좋은 치과 추천해줘” 같은 식으로요. 문제는, 이 두 세계가 서로 다른 곳을 본다는 데 있습니다.
네이버는 AI의 접근을 ‘문서로’ 막아두었습니다
많은 사장님이 이렇게 생각합니다. “네이버 블로그·카페에 리뷰가 이렇게 많은데, AI도 그걸 보고 우리 가게를 추천하겠지.” 하지만 그렇지 않습니다. 네이버는 외부 AI가 자사 콘텐츠를 수집하는 것을 명시적으로 차단하고 있습니다.
웹사이트에는 크롤러에게 접근 규칙을 알려주는 robots.txt라는 파일이 있습니다. 이것은 2022년 국제인터넷표준화기구(IETF)가 RFC 9309 ‘로봇 배제 프로토콜’로 정식 표준화한 규약이고, OpenAI·구글·앤트로픽 등 주요 AI 업체는 이 규칙을 준수한다고 공식 문서에서 밝히고 있습니다.
그런데 네이버 블로그의 robots.txt와 네이버 카페의 robots.txt를 직접 열어보면, 맨 위에 이런 문장이 영어로 적혀 있습니다.
(AI 학습 및 검색증강생성(RAG) 목적의 봇 접근을 엄격히 금지합니다.)
선언에 그치지 않고, 차단할 크롤러를 이름까지 지정해 두었습니다. 확인되는 것만 정리하면 이렇습니다.
- GPTBot — OpenAI가 공식 문서에서 “생성형 AI 파운데이션 모델 학습에 사용될 수 있는 콘텐츠를 크롤링한다”고 설명하는 학습용 봇
- OAI-SearchBot — ChatGPT의 검색 답변을 만드는 봇
- Google-Extended — 구글 제미나이 등 학습용 접근 토큰
- ClaudeBot · Claude-SearchBot — 앤트로픽(클로드)의 크롤러
- PerplexityBot · CCBot — 퍼플렉시티, 그리고 다수 AI의 학습 데이터로 쓰이는 Common Crawl의 봇
메인 페이지(www.naver.com)는 아예 User-agent: * / Disallow: /, 즉 모든 봇에게 전체 접근 금지로 설정돼 있습니다. 네이버 안은 사실상 담장이 둘러진 정원입니다.
차단당한 AI는 우리 가게를 ‘근거 없이’ 추천할 수 없습니다
AI가 특정 가게를 답변에 넣으려면 그 가게에 대한 읽을 수 있는 근거가 있어야 합니다. 그런데 그 근거가 네이버 블로그·카페 안에만 쌓여 있다면, 차단된 AI 입장에서는 존재하지 않는 정보와 같습니다.
이건 검색 노출에도 직접 영향을 줍니다. OpenAI 공식 문서는 검색용 봇을 막으면 어떻게 되는지를 이렇게 못박아 두었습니다.
(OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다. 단순 링크로만 등장할 수 있을 뿐입니다.)
정리하면, 네이버는 자사 데이터는 자사 서비스 안에서만 쓰고 외부 AI에는 닫아둔구조입니다. 반대로 ChatGPT·구글·퍼플렉시티가 읽을 수 있는 정보는 ‘열린 웹’에 있는 것들입니다. 그리고 자영업·병원 사장님에게 열린 웹이란, 결국 본인 명의의 홈페이지입니다.
그래서 홈페이지가 ‘선택’이 아니라 ‘기반’이 됩니다
엔진마다 참고하는 출처가 다릅니다. 네이버 AI는 플레이스·리뷰를, ChatGPT·구글은 열린 웹의 홈페이지를 주로 봅니다. 자세한 차이는 엔진별 인용 출처의 차이에 정리해 두었습니다. 핵심만 말하면, 네이버 밖 AI에 노출되는 통로는 홈페이지라는 것입니다.
실제 사례에서도 같은 결론이 나옵니다. 네이버 플레이스·카페 홍보만으로 성장이 멈춰 있던 한 출장세차 업체는, 채널별 정보를 일치시키고 홈페이지를 기계가 읽을 수 있는 구조로 정비한 뒤 2개월 만에 구글 AI 개요에 노출되고 이어서 ChatGPT 추천을 받기 시작했습니다.
홈페이지가 ‘있는데’ 안 보이는 경우도 많습니다
여기서 흔한 오해가 하나 더 있습니다. “우리는 홈페이지가 있으니 괜찮다”는 생각입니다. 하지만 홈페이지가 있어도 보안 방화벽이나 robots.txt 설정으로 AI 크롤러가 막혀 있으면, 사람 눈에는 멀쩡히 열려도 AI에게는 없는 사이트입니다.
ChatGPT에 아예 안 뜨던 비뇨기과 사례가 정확히 그랬습니다. 콘텐츠 문제가 아니라, 제작사가 기본값으로 남겨둔 방화벽이 크롤러까지 막고 있던 것이었습니다. 그래서 새로 만들 것인가, 열어줄 것인가를 판단하려면 지금 우리 홈페이지가 AI에게 어떤 상태인지부터 확인해야 합니다.
우리 홈페이지, 지금 AI에게 열려 있을까요?
이건 짐작이 아니라 확인할 수 있는 문제입니다. 위즈더플래닝은 주소만 넣으면 홈페이지의 SEO·GEO 상태를 즉시 점검하는 도구를 무료로 열어두었습니다. AI 크롤러 접근 허용 여부, 구조화 데이터, 제목·모바일 대응 같은 기초 요소를 실제로 검사합니다.
홈페이지가 없다면 지금이 만들 때이고, 있다면 AI가 읽을 수 있게 열려 있는지 점검할 때입니다. 네이버가 담장을 높일수록, 담장 밖에 열려 있는 우리 홈페이지의 가치는 더 커집니다.