Microsoft Bing Webmaster Tools 사이트맵 제출 오류에 대한 해결 방법입니다.
카페24 웹호스팅을 사용 중인데 어느 순간부터 빙 웹마스터 검색엔진의 사이트맵의 상태가 오류로 표시되는 문제점이 발생하였습니다.
몇 년 동안 이상 없이 사용 중이라 일시적인 오류라 생각하고 시간이 지나면 복구 되겠지 하고 몇 달을 그냥 그대로 두었지만 전혀 복구가 안 되는 상태였습니다.
사이트맵을 여러 번 새로 제출해도 결과는 항상 오류 상태로 나타나는 문제점이 지속되고 있었습니다.
오류 내용은 403 (Forbidden) sitemap/feed를 가져오는 중에 Bingbot이 HTTP 403 응답을 수신했습니다. Bingbot에게 sitemap/feed 위치에 대한 접근 권한이 있는지 확인하세요. 입니다.
일반적으로 robot.txt에서 검색 로봇을 허용하면 문제가 발생하지 않는데, robot.txt에서 허용함에도 불구하고 오류가 발생하는 경우 .htaccess 파일에서 예외로 등록하면 문제가 해결 됩니다.
이번 글에서는 빙(Bing) 웹마스터 도구의 사이트맵 제출에서 sitemap/feed를 가져오는 중에 Bingbot이 HTTP 403 응답을 수신했습니다. 오류 해결 방법에 대해 알아보겠습니다.
403 (Forbidden) sitemap/feed를 가져오는 중에 Bingbot이 HTTP 403 응답을 수신했습니다. 오류 해결 방법
1. 빙 웹마스터에서 사이트맵을 제출하고 바로 발생한 오류 화면입니다.
2. 시간을 두고 다시 제출을 해 보고, 제출한 사이트맵을 삭제하고 새로 제출을 해 봐도 항상 결과는 동일하게 오류가 발생하고 있었습니다.
3. 해결 방법은 의외로 간단합니다.
4. 웹 사이트 root(루트) 폴더 한 단계 디렉터로에 있는 .htaccess 파일에 아래 내용 한 줄만 추가해 주면 문제는 해결됩니다.
- SetEnvIfNoCase User-Agent "bingbot" !go_out
- “bingbot”는 잘못된 입력 입니다. 다음처럼 입력하면 작동하지 않습니다.("과 “구분)
SetEnvIfNoCase User-Agent “bingbot” !go_out - .htaccess 파일 맨 아래에 새로 한 줄을 추가한 다음 입력해 주면 됩니다.
- SetEnvIfNoCase는 아파치(Apache) 환경 변수를 설정하는 구문입니다.
- 대표적인 크롤링 로봇은 다음과 같습니다.
- Bingbot : Bing의 크롤링 로봇
- Googlebot : Google의 크롤링 로봇
- Yeti : Naver의 크롤링 로봇
- Zumbot : Zum의 크롤링 로봇
- Daumoa : Daum의 크롤링 로봇
- Baidu : Baidu의 크롤링 로봇
- DuckDuckBot : DuckDuckGo의 크롤링 로봇
5. .htaccess 파일을 수정하고 다시 사이트맵을 제출하면 아래 화면처럼 상태가 “성공“으로 처리되는 것을 확인할 수 있습니다
6. 계속 남아 있던 찜찜함이 해결되는 순간입니다.
마무리
마이크로소프트 빙 웹마스터 도구의 Recommendations 설명에 보면 누락되거나 검색되지 않은 사이트맵에 대해 다음과 같이 권장 작업에 대한 설명을 하고 있습니다.
사이트 맵을 사용하면 검색 엔진이 사이트의 콘텐츠를 보다 효율적으로 검색하고 인덱싱할 수 있습니다. 사이트 맵을 제공하면 검색 엔진에 사이트의 구조와 구성은 물론 모든 중요한 웹 페이지의 위치를 알릴 수 있습니다. 이렇게 하면 검색 결과에서 사이트의 가시성이 향상되고 검색 엔진이 사이트를 더 효과적으로 크롤링하는 데 도움이 됩니다.
여기에서 설명한 내용을 참고해서 유사한 오류를 해결해 보시기 바랍니다.
카페24 웹호스팅 뿐만 아니라 티스토리(Tistory)나 다른 아파치(Apache) 서버를 사용하는 경우 모두 동일한 방법으로 처리가 가능합니다.
※ 함께 읽으면 도움이 될 만한 다른 포스팅 글입니다.
♥ 이 글이 도움이 되었기를 바랍니다. ^-^
댓글로 흔적을 남겨 주세요.