[글로벌 SEO] 다 국가 사이트 Google SEO | Googlebot Crawling Updating for International Contents

Googlebot is American ??

오늘은 구글의 검색로봇인 Googlebot에 대해서 얘기해 보려 합니다.
Googlebot은 링크를 따라 사이트를 방문하여 컨텐츠를 가지고 가고(Crawling) 검색DB에 저장(Indexing)하는 활동을 하고 있죠.
Googlebot을 포함한 검색로봇들이 내 사이트에 잘 방문하도록 하는 것이 SEO의 첫 걸음이라 할 수 있겠습니다.

이런 Googlebot이 하루에 Crawling하는 페이지가 전 세계적으로 무수히 많을텐데, 어느 지역에서 혹은 국가에서 출발을 할까요?

2014년 8월에 Incapsula 발표 자료에 의하면 약 1만 사이트의 Googlebot 활동을 조사해본 결과,
Googlebot이 출발하는 국가 중 미국이 98.12%, 영국이 1.17%, ,프랑스가 0.38%, 벨기에 0.16%, 덴마크가 0.09%, 중국이 0.07%라는 결과가 나왔습니다.

즉, Googlebot은 대부분 미국에서 출발하고 있고, 이 의미는 미국 IP주소를 가지고 활동한다라는 것이죠.
이러한 배경(Googlebot은 미국 국적)때문에 다양한 언어 컨텐츠를 제공하는 사이트 중 사용자 위치(IP address)나 브라우저 언어 세팅(Accept-Language HTTP Header)에 따라서 Contents를 제공하는 사이트의 Googlebot 접근의 어려움과 Google Local 부정확한 검색 결과 노출의 문제점이 있었습니다.

<예시 – 다국가 언어 사이트>

웹사이트: www.example.com (영문 컨텐츠는 같으나 국가 별 사이트가 Subfolder로 구분되어 있는 구조)

미국에서 접속 시 – www.example.com/us/ 로 이동.
영국에서 접속 시 – www.example.com/uk/ 로 이동.
UAE에서 접속 시 – www.example.com/ae/ 로 이동.

위와 같은 경우 Googlebot 입장에서는 www.example.com 방문 시, www.example.com/us/ 의 컨텐츠를 우선으로 Crawling 하기 때문에 /uk/, /ae/ 사이트로 접근하기가 어려운 환경이었습니다.
외부 링크 경로로 /uk/, /ae/ 사이트를 방문해서 검색DB에 저장하더라도, 명확하게 Google local 검색 결과에 /us/, /uk/, /ae/ 구분해서 노출 시키는 것이 Googlebot이 미국 국적(?)임으로 어려움을 가지고 있었던 것이 사실입니다.

저희가 진행했던 프로젝트 중에 Google UAE(아랍에미리트) 대상으로 진행했던 SEO 프로젝트의 예를 들자면,
아래와 같이 Google UAE에서 브랜드 명 검색 시 1위로 노출되는 사이트가 /ae/ 가 아니라 대표 도메인 혹은 us 사이트로 노출되는 경우가 많았습니다.

Google UAE “LG Electronics” 검색 결과 (2011년 2월)
LG-before

>>> www.lg.com/ae/ 사이트보다 www.lg.com 도메인이 우선적으로 노출

이런 문제점 개선을 위해서 Google은 지난 2013년에 hrelang tag 설정을 통해 내 사이트 언어가 어떤 국가를 타겟을 하는 지 설정할 수 있도록 하였습니다.
그리고 추가적으로 지난 1월에 지역 아주 조용히(?) International Contents Crawling 개선을 위한 update을 진행했습니다.

Googlebot is not American anymore.

1월에 발표된 Googelbot Crawling 기능에 대한 Update 된 내용은 크게 2가지 입니다.
– Geo-distributed crawling (지역 분산 크롤링): 기존 미국 IP 중심의 Crawling 활동을 했지만, 사이트에 근접한 국가의 위치한 IP로 Googlebot이 활동 함.
– Language-dependent crawling (언어 종속 크롤링): Googlebot에서 Http 헤더에 설정된 Accept-language 필드를 사용하여 크롤링 함.

즉, 전체적으로 Googlebot IP가 앞으로는 미국 중심이 아닌 해당 사이트에 가까운 국가에서 출발 할 것이고, Contents의 언어 및 국가 관련성을 최대한 명확하게 인지하여 Google Local 결과에 최대한 정확하게 반영하겠다 라는 의지가 담긴 것이라고 볼 수 있습니다.
실제로, 현재 Google UAE에서 같은 단어로 다시 검색 해 보니 아래와 같이 개선되어 있었습니다.

Google UAE “LG Electronics” 검색 결과 (2015년 8월 현재)
LG-after

>>> www.lg.com/ae/ 사이트 Google UAE 검색결과 상위에 우선적으로 노출

 

그럼, Google은 앞으로 자동으로 지역 기반의 컨텐츠를 알아서 구분할 수 있나요?

위와 같은 질문이 나올 수 있을것 같습니다.

답을 우선 드리자면 Google이 앞으로 위와 같은 Cralwing 기능 업데이트를 통해 최대한 노력 할 예정이지 그렇다고 100% 정확하게 한다라는 보장은 없습니다.
설정 할 수 있는 아래와 같은 Localization 작업은 진행해야 합니다.

Website Content Localization SEO 작업 2가지
– 구글 웹마스터 콘솔(구 웹마스터 도구)에서 Geo-targeting 설정 (관련 내용 링크)
– 구글 rel=alternate hreflang annotation 설정 (관련 내용 링크)

다 국가 언어 사이트 운영하시는 분들에게 위의 내용이 도움이 되셨길 바랍니다.
감사합니다.

1 답글
  1. Surprime says:

    결국 지역, 언어 타겟팅까지 고려해야 한단 말씀이시군요. ^^ 좋은 글 써주셔서 감사합니다. 글 잘 봤습니다.

    응답

댓글을 남겨주세요

Want to join the discussion?
Feel free to contribute!

댓글 남기기