애드센스 광고 크롤러 오류(호스팅 서버 과부하) 문제 해결법

오늘 구글 애드센스에 접속해보니 '알림'이 1개 표시되어 있길래 확인해보니, "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라고 표시되어 있었습니다. 광고 수익 손실이야말로 가장 걱정되는 일이기 때문에 눌러보았더니 "정책 센터"에 아래 그림과 같이 "크롤러: 호스팅 서버 과부하"라는 문제가 있다고 표시되며, 현재 상태는 "광고 게재가 제한됨"이라고 되어 있었습니다.

 

다행히 "광고 게재가 제한됨"은 광고가 아예 안 되는 것은 아니고 광고의 숫자가 감소하는 것으로 알고 있습니다. 문제가 된다고 표시된 해당 페이지로 들어가 보니, 일단 제가 보는 화면 기준으로는 페이지도 정상적으로 뜨고 광고도 제대로 표시되고 있었습니다.

 

일반적으로 호스팅 서버의 경우에는 우리와 같은 일반 티스토리 블로그 유저들이 관리하는 사항이 아니기 때문에 우리의 문제는 아닐 가능성이 높습니다. 일시적으로 서버가 과부하될 정도로 방문자수가 폭증하는 경우에는 이러한 문제가 발생할 소지가 있을는지 모르겠지만, 제 블로그의 경우에는 일일 방문자수도 얼마 안 되는 터라 다소 의외인 상황입니다. 아무튼 위 그림에서 "작업"란에 위치한 "수정"버튼(빨간색 표시)을 눌러주면 아래 사진과 같은 상세 화면으로 연결됩니다.

반응형

• 현재 문제가 있는 페이지에 대한 주소가 나오고, "상태"는 "광고 게재 제한됨"이라고 표시되고 있습니다.
• "발견된 문제"는 "크롤러: 호스팅 서버 과부하"라고 되어 있고, '필요한 조치'로는 "에드센스 크롤러가 사이트에 액세스 할 수 없습니다. 정책 위반 문제가 아닙니다."라고 되어 있습니다. 

 

일단은 정책 위반 문제는 아니라고 하니 심각한 상황은 아닌 것으로 보입니다. 두 가지를 해보라고 알려주고 있는데, "1. 애드센스 크롤러의 작동 방식을 알아보세요.", "2. 크롤러 문제 및 해결 방법을 확인해 보세요."라고 되어 있습니다. 해당 링크를 타고 들어가 보면 다음과 같은 내용들이 있습니다. 내용은 뭔가 엄청 긴데 실제로 우리한테 중요한 내용은 별로 없었습니다. 전체 내용 중 중요하다고 생각되는 내용은 제가 "빨간색"으로 마킹하고 파란색으로 의견을 달았습니다. 한번 가볍게 훑어보시면서 특별한 게 있는지 정도만 파악해보시면 될 것 같습니다. 

 

1. 애드센스 크롤러의 작동 방식을 알아보세요.

크롤러는 스파이더 또는 로봇이라고도 하며 웹페이지 콘텐츠를 확인한 후 색인하는 Google의 소프트웨어입니다. 게시자의 사이트와 관련성이 높은 광고를 게재하기 위해 애드센스 크롤러가 해당 사이트를 방문하여 콘텐츠를 확인합니다.

다음은 애드센스 크롤러에 대해 알아야 할 중요한 정보입니다.

• 크롤러 보고서는 주 1회 업데이트됩니다.
 : 크롤러는 자동으로 실행되며 크롤링 주기를 늘리거나 줄일 수 없습니다.

• 애드센스 크롤러는 Google 크롤러와 다릅니다.
 : 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 이렇게 하는 이유는 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 것을 방지하기 위해서입니다. 이와 마찬가지로 Search Console 크롤러도 독자적으로 작동합니다.

• 애드센스 크롤러의 문제를 해결해도 Google 크롤러 문제가 해결되지는 않습니다.
 : 크롤러 액세스 페이지에 보고된 문제를 해결해도 Google 검색 결과 내 게재 위치에 영향을 주지 않습니다. Google에서의 사이트 순위에 대해 자세히 알아보려면 Google 검색 결과에 사이트가 포함되게 하는 방법을 참조하세요.

• 크롤러 색인은 URL을 기준으로 합니다.
 : 애드센스 크롤러는 site.com과 www.site.com은 별개의 사이트로 인식하지만 site.com과 site.com/#anchor는 별개의 사이트로 인식하지 않습니다.

• 크롤러는 robots.txt 파일에 명시된 페이지나 디렉터리는 액세스 하지 않습니다.
 : Google 및 애드센스 Mediapartners 크롤러는 모두 게시자의 robots.txt 파일을 참조합니다. 이 파일에 특정 페이지나 디렉터리에 대한 액세스가 차단되어 있으면 해당 페이지나 디렉터리에서는 크롤링이 실행되지 않습니다.

• 크롤러는 광고 태그가 구현된 URL만 액세스 합니다.
 : Google 광고를 게재하는 페이지에 대해서만 크롤링을 요청해야 합니다.

• 크롤러는 리디렉션 하는 원본 페이지도 액세스 합니다.
 : 다른 페이지로 리디렉션 되는 '원본 페이지'가 있을 경우 애드센스 크롤러가 원본 페이지를 액세스 하여 리디렉션이 작동되는지 확인해야 합니다. 따라서 게시자의 액세스 로그에 애드센스 크롤러가 원본 페이지를 방문했다는 것이 기록됩니다.

• 사이트 재크롤링
 : 현재는 애드센스 크롤러가 웹사이트의 콘텐츠에 대해 색인을 생성하는 빈도를 제어할 수 없습니다. 크롤링은 애드센스 크롤러에 의해 자동으로 실행됩니다. 페이지 변경사항이 애드센스 색인에 반영되려면 최대 1~2주가 소요될 수 있습니다.

☞ 여기서는 크롤러에 대한 기본적인 내용을 이야기하고 있어서 우리가 얻을만한 내용은 별로 없었습니다. 다만, 크롤링 주기가 1주일이고, 사이트 재크롤링 역시 최대 1~2주가 소요될 수 있다는 점에서, 크롤링 오류가 해소되더라도 실제로 반영되기까지는 1~2주 걸릴 것 같습니다.

 

2. 크롤러 문제 및 해결 방법을 확인해 보세요.

1) 액세스 문제

원인	확인 사항	해결 방법
사이트에 로그인이 필요합니다. 광고 크롤러가 로그인 페이지로 리디렉션되어 콘텐츠를 크롤링할 수 없습니다.	방문자가 콘텐츠에 액세스하려면 로그인 정보가 필요한가요?	크롤러 로그인을 설정하여로그인이필요한페이지에광고를게재하세요.
콘텐츠가 제한된 네트워크 또는 IP 범위 뒤에 있습니다.	콘텐츠에 액세스할 수 있는 지역 또는 IP 범위를 제한하는 조치가 적용되어 있나요?	제한을 해제하거나 모든 사용자가 콘텐츠에 액세스할 수 있도록 설정하여 광고 크롤러가 URL을 크롤링할 수 있도록 하세요.
robots.txt 파일에서 광고 크롤러가 차단되었습니다.	robots.txt 파일에서 광고 크롤러를 허용하지 않았나요?	robots.txt 파일에서 광고 크롤러에 액세스 권한을 부여하세요.

☞ 액세스 문제 관련해서는 3가지 원인이 있습니다. 일단 우리가 사용하는 티스토리 블로그는 로그인하는 사이트가 아니기 때문에 첫 번째 원인은 해당사항이 없고, 두 번째 원인에 해당하는 제한된 네트워크 역시 해당사항이 없습니다. 또한 우리가 작성하는 포스팅은 비공개 설정을 해두지 않은 이상 robots.txt에서도 차단되지 않으므로 해당사항이 없습니다.

 

2) 사이트 문제

원인	확인 사항	해결 방법
사이트를 찾을 수 없습니다. Google로 전송된 URL이 사이트에 존재하지 않는(또는 더 이상 존재하지 않는) 페이지를 가리키거나 404 오류(찾을 수 없음)를 발생시키는 경우에는 광고 크롤러가 콘텐츠를 제대로 크롤링하지 못합니다.	사이트가 정상적으로 운영 중인가요? 방문자가 웹에서 사이트에 액세스할 수 있나요?	사이트가 웹에 게시되는지 확인하세요. ☞ 현재 정상적으로 웹에 게시되는 것을 확인하였습니다.
사이트에 새로 게시된 콘텐츠가 있습니다. 새 페이지를 게시하면 Google 크롤러가 콘텐츠를 크롤링하기 전에 광고 요청이 발생할 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트로는 사용자 제작 콘텐츠, 뉴스 기사 또는 대규모 제품 인벤토리로 구성된 사이트와 날씨 사이트 등이 있습니다.	최근에 게시된 새 콘텐츠가 있나요?	광고 크롤러가 더 긴 시간에 걸쳐 새 콘텐츠를 크롤링할 수 있도록 허용하세요. 일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이러한 몇 분 동안에는 콘텐츠가 크롤링되지 않아서 게재되는 광고가 적을 수 있습니다. ☞ 새 콘텐츠의 경우 시간이 걸릴 수 있다는 이야기 입니다.
사이트에서 다수의 리디렉션을 사용합니다. 사이트에서 리디렉션을 사용하면 광고 크롤러가 리디렉션을 따라가다가 문제가 발생할 수 있습니다. 예를 들어 리디렉션이 많이 있는 사이트에서 중간 리디렉션이 실패하거나 리디렉션 중 쿠키와 같은 중요한 매개변수가 삭제되면 크롤링 품질이 저하될 수 있습니다.	사이트에서 리디렉션을 많이 사용하나요? 광고를 게재 중인 페이지에서 리디렉션을 설정했나요?	광고 코드가 포함된 페이지에서 리디렉션 사용을 최소화하세요. 모든 리디렉션이 제대로 구현되었는지 확인하세요. ☞ (일반적인 포스팅에서) 리디렉션을 많이 설정하지 않습니다.
개인화된 페이지 URL을 사용하고 있습니다. 일부 사이트의 경우 로그인한 사용자(예: 세션 ID)나 각 방문에서 고유한 기타 정보가 URL에 추가 매개변수로 포함됩니다. 이 경우 동일한 콘텐츠라도 광고 크롤러가 URL을 새 페이지로 처리할 수 있습니다. 이로 인해 페이지의 첫 번째 광고 요청과 페이지 크롤링 사이에 몇 분의 지연이 발생할 수 있으며 서버의 크롤러 로드도 증가할 수 있습니다.	사이트에서 추가 매개변수 또는 동적으로 생성된 URL 경로가 있는 URL을 사용하나요?	대부분의 경우에는 페이지의 콘텐츠가 그대로라면 URL에서 추가 매개변수를 삭제하고 이 정보를 다른 방식으로 유지하는 것이 좋습니다. URL 구조가 단순하면 사이트를 쉽게 크롤링할 수 있습니다. ☞ 일반적인 티스토리 블로그에서 해당사항 없음.
POST 데이터를 사용하고 있습니다. 사이트에서 URL과 함께 POST 데이터를 전송하는 경우(예: POST 요청을 통해 양식 데이터를 전달하는 경우) POST 데이터가 수반되지 않은 요청을 사이트에서 거부할 수 있습니다. 광고 크롤러는 POST 데이터를 제공하지 않으므로 이러한 설정에서는 크롤러가 페이지에 액세스하지 못합니다.	사이트에서 URL과 함께 POST 데이터를 전송하나요?	사용자가 양식에 입력한 데이터에 따라 페이지 콘텐츠가 달라지는 경우 GET 요청을 사용해 보세요. ☞ 해당사항 없음.

 

3) 호스팅 문제

☞ 호스팅 문제 관련해서는 사이트의 네임서버와 사이트 서버에 문제 여부를 점검하는 사항인데, 티스트로 블로그 일반 유저 입장에서는 할 수 있는 것은 없습니다. 티스토리 서버가 안정적으로 운전되기를 바랄 뿐이죠.

원인	확인 사항	해결 방법
사이트의 네임서버에 문제가 있습니다.	네임서버가 올바르게 설정되어 있나요? 요청의 출처에 대한 제한이 있나요?	도메인 또는 하위 도메인의 네임서버가 광고 크롤러를 콘텐츠에 제대로 연결하는지 확인하세요.
사이트의 서버에 문제가 있습니다. 광고 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 사이트의 서버가 제때에 응답하지 못하는 경우가 있습니다. 이러한 문제는 서버가 다운되거나, 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생할 수 있습니다.	사이트의 서버가 정상적으로 운영 중인가요?	사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅되도록 하는 것이 좋습니다.

 

■ 결론

• 광고 크롤러 오류(호스팅 서버 과부하) 관련하여 전반적으로 살펴본 결과, 특별한 문제없이 작성된 일반적인 포스팅이 상기 오류를 겪고 있을 때는 일반 유저 입장에서 크게 할 수 있는 일이 없어 보입니다.
• 일단은 현재 문제를 겪고 있다고 표시된 페이지를 열어보아 정상적으로 페이지가 표시되는지를 확인해보고, 페이지 내에 다른 페이지로 연결되는 리디렉션이 너무 과도하게 많지는 않은지, 페이지 로딩 속도가 너무 느리지는 않은지 등을 점검하여 필요시 수정하시기 바랍니다.
• 또한 수정을 완료했다고 하더라도 크롤링 주기를 고려했을 때 문제가 해결된 것으로 표시되기까지는 약 1~2주간의 기간이 필요할 것으로 판단됩니다.
• 그리고 무엇보다도 호스팅 서버는 티스토리 측에서 직접 운영하고 있기 때문에 우리와 같은 일반 블로그 유저 입장에서는 믿고 기다리는 것밖에 없을 것 같습니다. 많은 서버 관리자분들께서 열심히 관리해주고 계실 겁니다.
• 인터넷상에서 이와 관련된 많은 질문과 해결 사례들을 찾아보았을 때도 "시간이 지나면 해결되는 경우가 많았다"라고 이구동성으로 말하고 있는 것으로 보아, 이런 오류에 흔들리지 말고 그냥 매일매일 열심히 포스팅을 작성하시면 될 것 같습니다.