Googlebot изменил сканирование локальных страниц

Компания «Google» объявила это в своем блоге для вебмастеров, там

говориться о маленьком изменении в сканировании страниц сайтов, язык которых изменяется от региона где он присутствует или языка посетителя.

В этих случаях поисковой робот «Google» может не проиндексировать все содержание страницы, т.к. по умолчанию его IP- адрес принадлежит США, и помимо этого, он посылает запросы HTTP без параметра Accept-Language в заголовке.

Для того чтобы не сталкиваться с этой проблемой «Google» запустил новые алгоритмы для индексации локальных страниц роботом Googlebot:

• Сканирование по гео регионам. Поисковик использует IP-адреса, присутствующие за пределами США. Также учитываются и адреса с Соединенных Штатах.
  
• Сканирование с учетом языка. Googlebot выполняет сканирование с параметром Accept-Language в заголовках запросов HTTP.
  
• Конфигурации используются автоматически для страниц, контент которых является локализованным.
  

Это нововведение от команды Гугл не затронуло атрибуты

rel=alternate hreflang и по прежнему советует ими пользоваться.