신규 고객 프로모션−20 %월 결제 시 처음 3개월 20% 할인요금제 보기
SilentShield

무료 도구

robots.txt 생성기

사이트를 읽을 수 있는 크롤러를 정합니다. 검색 엔진, AI 학습용 크롤러, AI 검색, 그리고 사용자를 대신해 페이지를 가져오는 어시스턴트가 대상입니다. 파일은 브라우저에서 만들어지며 저희에게는 아무것도 전송되지 않습니다.

요약

robots.txt는 자물쇠가 아니라 요청입니다. 주요 검색 엔진과 AI 기업은 크롤러 이름을 공개하고 이 파일을 따른다고 밝히지만, 스크레이퍼와 스팸 봇은 그럴 의무가 없습니다. 예의 바른 크롤러에게 읽어도 되는 범위를 알려 주는 데 사용하고, 나머지는 서버에서 확인하십시오.

시작 설정

어떤 크롤러를 막을까요?

선택한 크롤러에는 Disallow: /가 적용됩니다. 나머지는 아래 경로를 포함한 전체 크롤러 규칙을 따릅니다.

검색 엔진

일반 검색 결과를 위해 페이지를 색인합니다. 차단하면 해당 검색 결과에서 사이트가 사라집니다.

AI 학습 및 데이터 수집

AI 모델 학습을 위해 콘텐츠를 수집합니다. Google-Extended와 Applebot-Extended는 별도의 크롤러가 아니며, 크롤링된 콘텐츠를 Google과 Apple이 AI 모델에 사용해도 되는지만 제어합니다. 검색에는 영향이 없습니다.

AI 검색

AI 검색이 페이지를 보여 주고 출처로 인용할 수 있도록 색인합니다.

사용자를 대신하는 어시스턴트

누군가 어시스턴트에게 페이지에 대해 물으면 그 페이지를 가져옵니다. 일부 기업은 이러한 요청에 robots.txt 규칙이 적용되지 않을 수 있다고 밝히고 있습니다.

각 줄은 /로 시작합니다. 예: /admin/, /cart/. *는 임의의 문자를 뜻합니다.

https://로 시작하는 XML 사이트맵의 전체 주소입니다.

콘텐츠 신호(선택)

Content-Signal 줄(contentsignals.org)은 크롤링 이후 콘텐츠를 어떻게 사용할 수 있는지 밝힙니다. 모든 크롤러가 읽지는 않습니다.

파일을 게시하는 방법

  1. 1위에서 크롤러와 경로를 고른 뒤 결과를 복사합니다.
  2. 2robots.txt라는 이름의 일반 텍스트 파일(UTF-8)로 저장합니다.
  3. 3https://내-도메인/robots.txt에서 열리도록 도메인의 루트에 업로드합니다. 하위 도메인마다 별도의 파일이 필요합니다.
  4. 4브라우저에서 해당 주소를 열어 이 텍스트가 그대로 보이는지 확인합니다. 호스팅이나 CDN이 자체 규칙을 추가한다면 그것도 함께 보입니다.

robots.txt가 할 수 없는 일

  • 아무것도 보호하지 않습니다. 차단한 경로도 누구나 열 수 있고, 파일은 공개되어 있어 숨기고 싶은 경로까지 나열합니다.
  • 이 파일을 무시하는 봇은 막지 못합니다. 양식 스팸과 자동 가입은 바로 그런 봇에게서 옵니다.
  • 차단한 페이지도 다른 사이트가 링크하면 검색 결과에 나타날 수 있습니다. 색인에서 빼려면 크롤링을 허용하고 noindex를 사용하십시오.

자주 묻는 질문

robots.txt로 봇을 차단할 수 있나요?

아니요. 예의 바른 크롤러가 따르는 요청일 뿐입니다. 스크레이퍼, 스팸 봇, 많은 자동화 도구는 이를 무시합니다. 이를 막으려면 요청 속도 제한이나 양식의 봇 방어처럼 서버에서 확인해야 합니다.

GPTBot을 차단하면 사이트가 ChatGPT에서 사라지나요?

꼭 그렇지는 않습니다. OpenAI는 용도별로 이름을 나눕니다. 학습에는 GPTBot, ChatGPT 검색에는 OAI-SearchBot, 사용자가 페이지에 대해 물을 때는 ChatGPT-User를 씁니다. 하나를 차단해도 나머지는 영향을 받지 않습니다. Anthropic과 Perplexity도 용도별로 별도의 이름을 사용합니다.

Google-Extended를 차단하면 Google 순위에 영향이 있나요?

Google에 따르면 없습니다. Google-Extended는 Googlebot이 크롤링한 콘텐츠를 Gemini 모델에 사용해도 되는지만 제어합니다. Google 검색의 크롤링과 순위는 그대로입니다.

파일은 어디에 있어야 하나요?

호스트의 루트, 즉 /robots.txt에 있어야 합니다. 예: https://example.com/robots.txt. 하위 폴더의 파일은 무시되며, 하위 도메인마다 별도의 파일이 필요합니다.

Content-Signal 줄은 무엇인가요?

contentsignals.org에 공개된 제안으로, 크롤링된 콘텐츠를 검색 결과, AI 답변의 입력, AI 학습 중 어디에 사용할 수 있는지 밝힙니다. 이는 의사 표시이며, 존중할지는 각 크롤러 운영자가 결정합니다.

입력한 내용이 어딘가로 전송되나요?

아니요. 생성기는 전적으로 브라우저에서 동작합니다. 입력한 내용은 전송되거나 저장되지 않습니다.

봇이 robots.txt를 무시할 때

SilentShield는 양식 제출을 그 직전의 행동에 따라 서버에서 평가합니다. 기본 설정에서는 방문자에게 과제를 내지 않습니다.