“블로그에 열심히 쓰면 AI도 언젠가 읽지 않을까요?” — 이 질문에 추측으로 답하는 글은 많지만, 실제로 확인한 자료는 찾기 어렵습니다. 그래서 저희가 직접 했습니다. 2026년 7월 27일, 한국 사장님들이 콘텐츠를 쌓는 주요 플랫폼 15곳의 robots.txt를 전수 확인했습니다. robots.txt는 각 사이트가 “어떤 봇의 접근을 허용·차단하는지” 공개적으로 선언하는 표준 파일입니다. 아래 내용은 전부 원문에서 확인한 사실이며, 출처(각 플랫폼의 robots.txt 주소)를 함께 남깁니다.
먼저 알아야 할 것 — AI 봇은 두 종류입니다
- 학습봇 (GPTBot, ClaudeBot, Google-Extended, CCBot 등) — AI 모델을 훈련시킬 데이터를 수집합니다. 차단해도 AI 답변 인용에 주는 영향은 제한적입니다.
- AI 검색봇 (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot 등) — 사용자가 질문한 순간 실시간으로 페이지를 읽어 답변에 인용합니다. 이게 차단되면 AI 답변에 인용될 수 없습니다.
이 구분이 중요한 이유: 아래에서 보듯, 어떤 플랫폼은 둘 다 차단하고, 어떤 플랫폼은 학습만 차단하고 검색은 열어두는 정교한 선택을 하고 있기 때문입니다. 각 봇의 역할 구분은 OpenAI 공식 봇 문서, Anthropic 크롤러 안내, 구글 크롤러 문서에 각사가 직접 공개한 내용을 따랐습니다.
실측 결과 한눈에 (2026년 7월 27일 기준)
| 플랫폼 | AI 학습봇 | AI 검색봇 | 비고 |
|---|---|---|---|
| 네이버 블로그 | 차단 | 차단 | 학습·검색봇 이름 지정 전부 차단 + RAG 금지 경고문 |
| 네이버 카페 | 차단 | 차단 | 모든 봇 전면 차단 (구글·빙 검색봇까지) |
| 네이버 스마트스토어 | 차단 | 차단 | AI봇 지정 차단 + 나머지 전면 차단 |
| 네이버 메인 | 차단 | 차단 | 첫 화면 외 전체 차단 |
| 카카오맵 | 차단 | 차단 | 네이버와 동일한 RAG 금지 경고문 채택 |
| 브런치 (카카오) | 차단 | 허용 | 학습봇 차단, AI 검색봇은 일반 검색과 동급 허용 |
| 티스토리 (카카오) | 허용 | 허용 | AI봇 제한 없음 — 관리 경로만 차단 |
| 다이닝코드 | 차단 | 일부 | 학습봇 차단, ChatGPT 검색봇 허용 (퍼플렉시티는 차단) |
| 식신 | 허용 | 허용 | AI봇 제한 없음 |
| 캐치테이블 | 차단 | 차단 | 허용 목록 방식 — AI봇은 목록에 없음 |
| 배달의민족 | 차단 | 차단 | 구글봇·네이버봇만 허용, 나머지 전면 차단 |
| 요기요 | 허용 | 허용 | AI봇 제한 없음 — 결제 경로 등만 차단 |
| 당근 | 차단 | 차단 | 국내 콘텐츠(/kr/)에서 AI·수집 봇 46종 차단 — 가장 광범위 |
| 인스타그램 | 차단 | 차단 | AI봇 지정 차단 + 자동 수집 전면 금지 고지 |
| 유튜브 | 허용 | 허용 | 시청 페이지 개방 — 단 읽히는 건 제목·설명 등 텍스트 |
* 네이버 플레이스는 확인 시도 시 요청 제한(429)으로 robots.txt를 받지 못해 표에서 제외했습니다. robots.txt는 언제든 변경될 수 있어 위 표는 확인 시점의 스냅샷입니다.
발견 ① 네이버 계열 — 학습도, AI 검색도 전부 닫았다
네이버 블로그 robots.txt 최상단에는 이렇게 적혀 있습니다(원문 보기).
그 아래로 GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot, Google-Extended 등이 전부 이름으로 지정돼 차단돼 있습니다. 학습봇만이 아니라 AI 검색봇까지 막았다는 게 핵심입니다. 네이버 카페는 한 걸음 더 나가 구글봇·빙봇 같은 일반 검색봇까지 전면 차단이고(원문), 스마트스토어도 같은 구조입니다(원문). 네이버가 왜 이런 선택을 했는지는 네이버가 AI 접근을 막은 이유에서 자세히 다뤘습니다.
발견 ② 카카오 계열 — 같은 회사인데 서비스마다 다르다
흥미로운 건 카카오입니다. 카카오맵은 네이버와 똑같은 영문 경고문까지 채택하며 전부 차단했지만(원문), 브런치는 정반대의 선택을 했습니다(원문).
브런치 robots.txt는 봇을 세 등급으로 나눕니다. 학습봇(GPTBot·ClaudeBot 등)은 전면 차단하되, 주석에 “Other search engines and AI search assistants”라고 적힌 그룹 — OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot — 은 빙봇과 같은 등급으로 허용합니다. 즉 브런치에 쓴 글은 ChatGPT·클로드·퍼플렉시티 검색이 읽고 인용할 수 있습니다. 티스토리는 아예 AI봇 제한 자체가 없어 완전 개방입니다(원문).
발견 ③ 다이닝코드 — ‘학습은 차단, 인용은 유지’라는 정교한 수
다이닝코드 robots.txt에는 한국어 주석이 그대로 적혀 있습니다(원문).
이 발견은 저희의 앞선 실험과 정확히 맞물립니다. 한 중식당의 GEO 실험에서 AI가 식당을 추천하며 인용한 출처는 홈페이지가 아니라 다이닝코드였는데 — 다이닝코드가 AI 검색봇에게 열려 있었기 때문에 가능했던 일입니다. 반면 경쟁 서비스인 식신은 AI봇 제한이 아예 없고(원문), 캐치테이블은 허용 목록 방식이라 AI봇이 전부 막혀 있습니다(원문). 같은 맛집 정보라도 어느 플랫폼에 실리느냐에 따라 AI 인용 가능성이 갈립니다.
발견 ④ 나머지 — 배민·당근·인스타는 닫혔고, 유튜브는 열려 있다
- 배달의민족 — 구글봇·네이버봇(Yeti)만 허용, 나머지 전면 차단(원문). 배민에 쌓인 리뷰·가게 정보는 AI가 못 읽습니다.
- 당근 — 국내 콘텐츠(/kr/) 전체에서 AI·데이터 수집 봇 46종을 이름으로 지정해 차단. 이번 실측에서 가장 광범위한 차단 목록이었습니다(원문).
- 인스타그램 — AI봇 지정 차단 + “서면 허가 없는 자동 수집 금지” 고지(원문). 인스타에 아무리 쌓아도 AI 검색은 못 읽습니다.
- 유튜브 — 시청 페이지에 봇 차단이 없습니다(원문). 단, AI가 읽는 건 제목·설명·자막 같은 텍스트 영역입니다. 쇼츠를 올릴 때 제목과 설명을 공들여야 하는 이유입니다.
- 요기요 — AI봇 제한 없음. 결제·관리 경로만 차단돼 있습니다(원문).
이 현황판이 사장님에게 의미하는 것
- 콘텐츠를 어디에 쌓느냐가 곧 AI 노출 전략입니다. 같은 노력으로 글을 써도 네이버 블로그에만 쓰면 AI 답변에서는 존재하지 않는 콘텐츠가 됩니다. AI가 읽을 수 있는 곳 — 자기 홈페이지, 브런치, 티스토리, (맛집이라면) 다이닝코드·식신 — 에 콘텐츠의 거점을 두어야 합니다.
- 플랫폼 정책은 언제든 바뀝니다. 브런치 robots.txt의 갱신 주석은 2026년 4월 22일입니다 — 최근에도 정책이 조정됐다는 뜻입니다. 오늘 열려 있는 플랫폼이 내일 닫힐 수 있습니다. 차단 걱정이 없는 유일한 곳은 자기 소유의 홈페이지입니다. 이 원리는 네이버 차단 분석 글에서 자세히 다뤘습니다.
- robots.txt는 ‘요청’이지 물리적 강제가 아닙니다. 다만 주요 AI 기업들은 공식적으로 이를 준수한다고 밝히고 있어, 실무적으로는 차단 = 인용 불가로 보는 것이 안전합니다. 또한 차단 이전에 이미 학습된 데이터가 지워지는 것은 아닙니다.
우리 홈페이지는 AI에게 열려 있을까
플랫폼만 문제가 아닙니다. 한 비뇨기과 사례처럼 자기 홈페이지가 방화벽·보안 설정 때문에 AI 크롤러를 막고 있는 경우도 있습니다. 우리 홈페이지가 GPTBot·OAI-SearchBot에게 열려 있는지는 무료 사이트 진단으로 1분 만에 확인할 수 있습니다.