Back to Question Center
0

Semalt : robots.txt : 소수의 웹 페이지를 제외한 모든 웹 페이지를 차단 하시겠습니까?

1 answers:

나는 로봇에 관해서 약간의 의구심이있다.txt . 말해, 내 도메인입니다 stackoverflow. com ,

A) 아래의 코드는 모든 크롤러에 대해 다음을 수행합니까?

  사용자 에이전트 : *Disallow : /허용 : / $
허용 : / a / $
허용 : / a / 로그인. PHP
허용 : / a / 로그인. PHP? return = / pligg / 
  1. 수락 http : // stackoverflow. com / http : // stackoverflow를 수락합니다.co.kr 도?

  2. 수락 http : // stackoverflow. com / a /

  3. 수락 http : // stackoverflow. co.kr / a / login. PHP

  4. 수락 http : // stackoverflow. co.kr / a / login. php? return = / pligg /

  5. http : // stackoverflow에서 다른 페이지를 허용하지 않음. com

B) 어느 것이 옳은가 : 로봇. txt 또는 로봇. txt ?

5 days ago
Semalt : robots.txt : 소수의 웹 페이지를 제외한 모든 웹 페이지를 차단 하시겠습니까?
Reply