무료 도구
robots.txt 생성기
사이트를 읽을 수 있는 크롤러를 정합니다. 검색 엔진, AI 학습용 크롤러, AI 검색, 그리고 사용자를 대신해 페이지를 가져오는 어시스턴트가 대상입니다. 파일은 브라우저에서 만들어지며 저희에게는 아무것도 전송되지 않습니다.
요약
robots.txt는 자물쇠가 아니라 요청입니다. 주요 검색 엔진과 AI 기업은 크롤러 이름을 공개하고 이 파일을 따른다고 밝히지만, 스크레이퍼와 스팸 봇은 그럴 의무가 없습니다. 예의 바른 크롤러에게 읽어도 되는 범위를 알려 주는 데 사용하고, 나머지는 서버에서 확인하십시오.
시작 설정
어떤 크롤러를 막을까요?
선택한 크롤러에는 Disallow: /가 적용됩니다. 나머지는 아래 경로를 포함한 전체 크롤러 규칙을 따릅니다.
각 줄은 /로 시작합니다. 예: /admin/, /cart/. *는 임의의 문자를 뜻합니다.
https://로 시작하는 XML 사이트맵의 전체 주소입니다.
파일을 게시하는 방법
- 1위에서 크롤러와 경로를 고른 뒤 결과를 복사합니다.
- 2robots.txt라는 이름의 일반 텍스트 파일(UTF-8)로 저장합니다.
- 3https://내-도메인/robots.txt에서 열리도록 도메인의 루트에 업로드합니다. 하위 도메인마다 별도의 파일이 필요합니다.
- 4브라우저에서 해당 주소를 열어 이 텍스트가 그대로 보이는지 확인합니다. 호스팅이나 CDN이 자체 규칙을 추가한다면 그것도 함께 보입니다.
robots.txt가 할 수 없는 일
- 아무것도 보호하지 않습니다. 차단한 경로도 누구나 열 수 있고, 파일은 공개되어 있어 숨기고 싶은 경로까지 나열합니다.
- 이 파일을 무시하는 봇은 막지 못합니다. 양식 스팸과 자동 가입은 바로 그런 봇에게서 옵니다.
- 차단한 페이지도 다른 사이트가 링크하면 검색 결과에 나타날 수 있습니다. 색인에서 빼려면 크롤링을 허용하고 noindex를 사용하십시오.
자주 묻는 질문
robots.txt로 봇을 차단할 수 있나요?
아니요. 예의 바른 크롤러가 따르는 요청일 뿐입니다. 스크레이퍼, 스팸 봇, 많은 자동화 도구는 이를 무시합니다. 이를 막으려면 요청 속도 제한이나 양식의 봇 방어처럼 서버에서 확인해야 합니다.
GPTBot을 차단하면 사이트가 ChatGPT에서 사라지나요?
꼭 그렇지는 않습니다. OpenAI는 용도별로 이름을 나눕니다. 학습에는 GPTBot, ChatGPT 검색에는 OAI-SearchBot, 사용자가 페이지에 대해 물을 때는 ChatGPT-User를 씁니다. 하나를 차단해도 나머지는 영향을 받지 않습니다. Anthropic과 Perplexity도 용도별로 별도의 이름을 사용합니다.
Google-Extended를 차단하면 Google 순위에 영향이 있나요?
Google에 따르면 없습니다. Google-Extended는 Googlebot이 크롤링한 콘텐츠를 Gemini 모델에 사용해도 되는지만 제어합니다. Google 검색의 크롤링과 순위는 그대로입니다.
파일은 어디에 있어야 하나요?
호스트의 루트, 즉 /robots.txt에 있어야 합니다. 예: https://example.com/robots.txt. 하위 폴더의 파일은 무시되며, 하위 도메인마다 별도의 파일이 필요합니다.
Content-Signal 줄은 무엇인가요?
contentsignals.org에 공개된 제안으로, 크롤링된 콘텐츠를 검색 결과, AI 답변의 입력, AI 학습 중 어디에 사용할 수 있는지 밝힙니다. 이는 의사 표시이며, 존중할지는 각 크롤러 운영자가 결정합니다.
입력한 내용이 어딘가로 전송되나요?
아니요. 생성기는 전적으로 브라우저에서 동작합니다. 입력한 내용은 전송되거나 저장되지 않습니다.
봇이 robots.txt를 무시할 때
SilentShield는 양식 제출을 그 직전의 행동에 따라 서버에서 평가합니다. 기본 설정에서는 방문자에게 과제를 내지 않습니다.