"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."
“You have ad crawler errors, which can result in lost revenue.”
구글 애드센스 홈에 로그인하니까 '광고 크롤러 오류'가 발생했다는 알림 창이 떠있습니다. 2022년 11월 6일 발생하였으므로 현재 기준으로 3일 전입니다.
※ 한국과 애드센스 크롤러 서버의 시간 차이는 고려하지 않았습니다.
좀 더 자세하게 살펴보겠습니다.
오류 발생 알림 창 오른쪽 링크 '작업'을 누릅니다.
① 오류 발생 항목이 전체의 1%이며, 76회 광고 요청이 게재 제한되었습니다.
② 문제의 원인은 '크롤러: 호스팅 서버 과부하'입니다. 구글의 크롤러와 애드센스의 크롤러는 서로 다른 봇(bot)입니다. 애드센스 전용 크롤러에서 접속 오류가 발생한 것입니다.
③ 문제 발생 위치는 "https://netware.tistory.com/242" 페이지입니다. 최근, 11월 3일 등록했습니다.
④ 페이지 중간에 'CSV 다운로드'를 눌러서 해당 파일을 내려받아서 확인해 보니까 아래와 같은 추가 정보가 담겨 있습니다.
- 개인 애드센스 광고 게재 시리얼 코드
- 신고된 날짜
- 마지막으로 발견한 날짜
- 광고 게재 제한된 기간
위 페이지 문제 발생 위치 정보 오른쪽 링크 '수정'을 누릅니다.
문제에 대한 세부 정보를 알려 줍니다. '크롤러: 호스팅 서버 과부하'
① 크롤러가 광고 페이지를 접속하지 못하여, 페이지 호스팅 서버의 과부하로 진단하였습니다. 그리고 광고 게재를 제한했다는 뜻입니다.
② '크롤러: 호스팅 서버 과부하'를 달리 해석하면 "크롤러의 요청에 대한 호스팅 서버의 반응이 늦습니다".
네트워크 병목 현상이 있거나, 호스팅 서버가 정지되거나 혹 다른 문제로 인하여 크롤러 요청에 반응이 늦어지거나 전혀 응답을 못하는 경우라고 해석했습니다. 구글 애드센스에 유리하게 상황을 설명하는 것입니다.
※ 구글 검색엔진에서 이 문제를 검색해보니까, 대략 2022년 초부터 구글 애드센스의 "크롤러: 호스팅 서버 과부하(Crawler: Hotsting server overloaded)" 문제가 발생했다는 문의글이 우리나라와 외국에서 자주 등록되고 있습니다.
문제가 발생한 서버의 호스팅 업체에 문의하면 거의 대부분 전혀 문제가 없다는 응답 글을 받고 인터넷 게시판에 도움을 요청하는 글을 올리는 것입니다. 애드센스 크롤러의 요청에 대한 광고 게시글 서버의 늦은 응답 혹은 무응답은 양쪽 서버, 그 사이의 네트워크 상태, 크롤러가 접속한 글의 내용 등 여러 가지 요인이 문제의 원인이 될 수 있습니다. 때문에 무조건 "호스팅 서버 과부하"로 단정을 내리기 힘든 증상입니다.
애드센스 크롤러의 작동 방식
[참고] 애드센스 고객센터, "애드센스 광고 크롤러에 대한 정보"
① 크롤러는 스파이더 또는 봇이라고도 하며 웹페이지 콘텐츠를 처리하고 색인하기 위해 Google에서 사용하는 소프트웨어입니다.
② 크롤러 보고서는 주 1회 업데이트됩니다.
③ 애드센스 크롤링 문제를 해결해도 Google 크롤링 문제가 해결되지 않습니다.
④ 크롤러 색인 생성은 URL을 기준으로 합니다.
⑤ 크롤러는 robots.txt 파일에 명시된 페이지나 디렉터리는 액세스 하지 않습니다.
⑥ User-agent: *로 지정되어 로봇 액세스가 차단된 페이지에 광고를 게재하더라도 애드센스 크롤러는 이 페이지를 크롤링합니다.
※ 애드센스 크롤러의 접근이 차단된 페이지에 광고를 게재하면 크롤러는 이 페이지를 접근 시도합니다. 광고를 게재한 페이지는 모두 크롤링합니다. 광고 코드가 광고 서버에 데이터를 요구하기 때문입니다. 당연히 크롤링 오류가 발생하게 됩니다.
티스토리는 HTML 편집으로 개별 페이지에 광고 게재가 가능하고 블로그 관리 페이지에서 제공하는 애드센스 메뉴를 사용하여 일괄적으로 광고 설정도 가능합니다.
액세스가 차단된 페이지에 애드센스 광고를 노출하지 않도록 설정하는 것은 애드센스 광고 서버뿐만 아니라 티스토리 관리자에게는 매우 어려운 문제라고 생각합니다. 1%의 크롤링 오류를 무시하고 지나치는 것이 현명한 대처가 될 수도 있습니다.
애드센스 크롤러 문제 해결
[참고] 애드센스 고객센터, "애드센스 크롤러 문제 해결"
※ 3개의 별도 페이지 링크가 있습니다. 관심 있는 내용만 기재합니다.
① 크롤러의 로그인이 필요한 사이트와 콘텐츠에 대한 설정 변경
② 콘텐츠에 액세스 가능한 지역이나 IP 제한 조치 해제 혹은 설정 변경
③ robots.txt 파일에 등록된 광고 크롤러 차단 해제 혹은 설정 변경
④ Google로 전송한 URL이 사이트에 존재하는지 확인하고 404 오류 발생 원인 해결
⑤ 새로 등록한 페이지에 대한 구글 크롤러의 콘텐츠 크롤링 전에 광고 요청이 먼저 발생하면, 몇 분간 오류 발생 가능
⑥ 지나치게 많은 사이트의 리디렉션 요청은 쿠키와 같은 중요 매개변수 삭제 유발 가능
⑦ 페이지 접속 세션 ID를 개별화하거나 고유한 기타 정보가 URL에 추가 매개변수로 포함되면 동일한 콘텐츠라도 광고 크롤러가 URL을 새 페이지로 처리할 수 있습니다. 페이지의 첫 번째 광고 요청과 페이지 크롤링 사이에 몇 분의 지연이 발생하며 서버의 크롤러 로드도 증가합니다.
댓글