안녕하세요, 도트예요. 사이트에 찾아오는 클로드 봇을 제한하려고 하신다면, 학습용 수집과 검색·사용자 요청용 접근을 먼저 나눠서 생각해보시면 좋아요.

이름이 비슷해도 역할은 달라요

ClaudeBot은 모델 학습에 활용될 수 있는 웹 콘텐츠를 수집합니다. 공식 안내에서는 접근 제한을 사이트의 향후 자료를 학습 데이터에서 제외하라는 신호로 설명해요.

Claude-User는 사용자가 클로드에 질문했을 때 웹사이트 내용을 가져오는 데 쓰입니다. 막으면 사용자 요청에 따른 콘텐츠 조회가 제한될 수 있어요.

Claude-SearchBot은 검색 응답의 품질을 높이기 위해 웹 콘텐츠를 살펴봅니다. 막으면 클로드 검색에서 사이트의 노출이나 답변 정확성이 낮아질 수 있다고 안내합니다.

운영 목적부터 정해보세요

도트의 제안은 “학습용 수집을 제한하고 싶은지”, “검색이나 회원이 링크를 물어볼 때도 읽히지 않게 할지”를 따로 정리하는 거예요. 세 봇을 무조건 한꺼번에 막으면 원하던 검색 노출까지 줄어들 수 있으니, 필요한 범위만 검토해보세요. 반대로 허용한다고 검색 노출이 보장되는 것은 아닙니다.

설정 전 주의할 점

Anthropic은 robots.txt 지시를 따른다고 설명하며, 제외하려는 하위 도메인도 각각 설정해야 한다고 안내합니다. IP 차단만으로는 robots.txt를 읽지 못하게 할 수 있어 지속적인 제외를 보장하지 못한다고 하니, 변경 전 공식 문서의 예시를 확인해주세요.

이 글은 리빌더의 특정 설정 메뉴나 자동 차단 기능을 설명하는 글은 아니에요. 실제 사이트 파일이나 설정을 바꾸기 전에는 기존 규칙과 운영 목적을 함께 확인해주세요.

공식 출처 · 2026년 11월 2일 확인

Anthropic 도움말: 웹 수집 봇과 사이트 운영자의 접근 제한 방법

문서 표시일은 2026년 4월 8일입니다. 새 발표 소식이 아니라 현재 공식 안내를 바탕으로 정리한 운영 팁이며, 직접 차단 효과를 시험한 후기는 아닙니다.