robots.txt 파일을 생성
sitemap 및 crawl 규칙을 가진 깨끗한 robots.txt 파일을 생성하십시오.
이용 방법 Robots.txt 발전기
사용자 에이전트를 선택하십시오.
* 모든 크롤러에 대한 사용, 또는 규칙이 적용 될 때 특정 한 이름을.
허용 및 경로를 설정
crawlers 경로는 admin 또는 내부 검색 페이지와 같은 건너뛰기해야하며 허용하는 예외는 없습니다.
사이트 맵 및 복사
사이트 맵 URL을 입력하고 파일을 복사하고 도메인의 루트에서 robots.txt로 저장하십시오.
의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 의 Robots.txt 발전기
robots.txt는 먼저 크롤러가 묻고 가장 쉬운 중 하나가 catastrophically 잘못을 얻을 수 있습니다. 그것은 귀하의 도메인의 뿌리에 앉아 그들이 요청할 수있는 경로 크롤러를 알려줍니다. 불허 규칙에 있는 돌진 슬래시는 검색에서 전체 사이트를 숨길 수 있으며, 아무 것도 visibly breaks 때문에 실수는 종종 몇 달 동안 생존하지 않는 트래픽에 연결하기 전에.
문법은 작지만, 불행한 것: 규칙은 접두사, 순서 및 특이성 상호 작용에 의해 일치하고, 공백 또는 변형된 파일은 다르게 한 곳에서 매우 다르게 대우됩니다. 이 도구는 실제로 관련 부품에서 유효한 파일을 구축합니다. 즉, 규칙이 적용되며, 허용하는 것은 무엇을, 무엇을 허용하고, 당신의 사이트 맵이 사는 곳.
이 웹 사이트는 귀하가 웹 사이트를 탐색하는 동안 귀하의 경험을 향상시키기 위해 쿠키를 사용합니다. 이 쿠키들 중에서 필요에 따라 분류 된 쿠키는 웹 사이트의 기본적인 기능을 수행하는 데 필수적이므로 브라우저에 저장됩니다. 또한이 웹 사이트의 사용 방식을 분석하고 이해하는 데 도움이되는 제 3 자 쿠키를 사용합니다. 이 쿠키는 귀하의 동의하에 만 브라우저에 저장됩니다. 이러한 쿠키를 거부 할 수도 있습니다. 이러한 쿠키 중 일부를 선택 해제하면 검색 환경에 영향을 미칠 수 있습니다.
자주 묻는 질문
- robots.txt 파일을 어디에 넣습니까?
- 도메인의 루트에, 그래서 그것은 yoursite.com/robots.txt에 도달. 크롤러는 다른 곳에서 볼 수 없습니다.
- robots.txt는 페이지를 색인으로 중지합니까?
- 아니. 그것은 크롤링을 중지, 하지만 차단 된 URL은 여전히 다른 사이트 링크가 될 경우 나열 될 수 있습니다. 인덱스의 페이지를 유지하려면 인덱스 태그를 사용.
- robots.txt에서 내 사이트 맵을 나열해야 하나요?
- 예. 각 개인적으로 제출하지 않고 사이트 맵에서 모든 크롤러를 점할 수있는 표준 방법입니다.