robots.txt 파일에서 크롤러에 액세스 권한 부여

사이트의 robots.txt 파일을 수정하여 애드센스 크롤러가 페이지에 대한 색인을 생성할 수 없도록 하면 Google 광고를 해당 페이지에 게재할 수 없습니다.

크롤러에 페이지에 대한 액세스 권한을 부여하도록 robots.txt 파일을 업데이트하려면 robots.txt 파일에서 다음 두 줄을 삭제하세요.

User-agent: Mediapartners-Google
Disallow: /

이렇게 하면 애드센스 크롤러가 사이트 콘텐츠의 색인을 생성하여 Google 광고를 게재합니다. robots.txt 파일을 변경해도 애드센스 크롤러가 사이트를 다시 방문할 때까지는 변경사항이 색인에 반영되지 않을 수 있습니다.