Сегодня мы рассмотрим 20 вариантов ускорения индексации сайта в Google — именно с этой проблемой я столкнулся примерно год назад при старте продвижения одного из своих проектов, в результате чего и родилась данная статья.
Многие SEO-специалисты в своей практике сталкивались с нежеланием поисковых систем индексировать те или иные страницы сайта, при этом в 90% случаев причины этих проблем бывают банальны: случайное закрытие страниц в robots.txt, запрет индексации через meta robots, некорректные канониклы и тому подобные варианты.
Однако, мало только лишь найти и устранить причину некорректной индексации. После ее устранения необходимо как можно скорее отправить на переиндексацию важный контент и удостовериться в том, что сайт и интересующие страницы стали индексироваться.
В этой статье мы поделимся всеми найденными вариантами индексации страниц в поисковой системе Google.
Способы ускорения индексации в Google
1. Google Search Console (GSC)
Самый распространенный способ индексации / переиндексации страниц в «ручном» режиме через панель вебмастера Google.
Страницы индексируются быстро (от нескольких секунд до появления в поиске), однако, работа происходит в постраничном режиме + необходимо время на сканирование страницы поисковым ботом, поэтому данный способ является эффективным, но не самым удобным, так как нельзя загрузить сразу список из группы URL и отправить на массовую индексацию.
P.S. Существуют дневные ограничения по числу URL для ручной индексации. Порядка 10-15 URL в день.
2. Sitemap.xml
Использование XML карты сайта является классическим методом ускорения индексации новых страниц. Реализуется это через указание гиперссылки на файл карты сайта Sitemap.xml в файле Robots.txt (само собой, перед этим необходимо создать сам файл Sitemap.xml).
Обычно этого бывает вполне достаточно для любого типа сайта.
Для создания карты сайта существует множество различных плагинов на популярных CMS, также ее можно создать при помощи одного из веб- или десктопных краулеров, например, через SiteAnalyzer.
3. Пингование Sitemap.xml
Пингование заставляет поискового робота сделать оперативный переобход вашего Sitemap.xml. Это своеобразный аналог добавления сайтмап в Google Search Console. Таким образом, мы отправляем Google дополнительный сигнал о необходимости переобхода карты сайта, что, тем самым, ускоряет вероятность индексации страниц (однако, не факт, что бот их сразу рванется обходить).
Ссылки для пингования сайтмап в Google и Bing:
4. Установка 301 редиректа со страниц трафикового сайта
Данное решение позволяет частично перенести статический вес и трафик с качественного сайта на сайт, для которого требуется большее внимание поисковых ботов, либо есть проблемы с его индексацией.
Я ставил редирект со страницы «Новости» сайта с хорошим трафиком на аналогичную страницу сайта, у которого были проблемы с индексацией. Редирект был «учтен» Google уже на второй день и страница сайта-донора исчезла из индекса гугла.
После того, как страница сайта-акцептора будет проиндексирована, редирект можно убирать.
5. Удаление сайта из Вебмастера Google и добавление сайта заново
Идея была в том, чтобы поисковик обратил «внимание» на сайт и, тем самым, снова прошелся по страницам.
Эксперимент не сработал, так как при повторном добавлении проекта в нем сразу отображался robots.txt и другие ранее примененные настройки – видимо при удалении сайт просто скрылся из списка, а потом при повторном «добавлении» его отобразили снова.
6. Полное закрытие сайта от индексации
Закрываем сайт от Google в robots.txt для полной деиндексации.
На момент тестирования в индексе болталась «первая» версия страницы с WWW и без сохраненной копии (молодой сайт). На обнаружение обновленной версии robots.txt Google понадобилось 1-2 часа. Через 2 дня единственная ранее проиндексированная страница исчезла из индекса. У сайта осталось 0 страниц в поиске гугла.
После полной деиндексации был открыт robots.txt для бота Google.
Однако, судя по логам, бот как заходил один раз в день, так один раз в день заходить и продолжил. По большому счету частота посещений сайта ботом Google не поменялась.
7. Добавление рекламы в Google AdSense
Обычно, если сайт не проходит модерацию в Google AdSense, то в личном кабинете появляется список возможных причин, почему не приняли сайт (проверка занимает до двух недель, у меня это заняло полторы). Данная информация может помочь с определением причин, что не так с сайтом.
Что в общем-то и произошло – сайт не приняли с пометкой «малополезный контент».
Не думаю, что низкий уровень индексации сайта был связан именно с этим. Но, по крайней мере, мы получили более-менее толковый ответ, который может пригодиться в другой раз (например, для определения санкций, наложенных на сайт).
8. Переобход через Google Translate
Данный метод основан на предположении о том, что «прогоняя» страницы через сервисы Google, мы обращаем на них дополнительное внимание поисковых ботов.
Вставляем URL сайта в Google переводчик, переходим по ссылке с переводом страницы, скрещиваем пальцы и надеемся на чудо.
В моем случае чуда не произошло.
9. «Льем» трафик из соцсетей и Телеграм
Для ускорения индексации сайта можно делиться публикациями в социальных сетях (Twitter, Facebook, Linkedin и т.п.), либо путем размещения постов в Telegram (по сути, это тоже самое, что и привлечение трафика с соцсетей, однако происходит путем размещения ссылок на сайт из рекламных постов на тематических каналах).
На текущий момент ссылки с соцсетей не индексируются поисковыми системами и не учитываются в ранжировании, поэтому данный вариант ускорения индексации сайта скорее всего будет не эффективен, однако, это может привлечь на сайт «живой» трафик, за счет которого поисковые боты станут заходить на него чаще и индексировать больше контента.
10. Трафик из контекста
Создаем рекламные кампании в Google AdWords и «льем» трафик на посадочные страницы для более быстрой их индексации, чтобы поисковые боты чаще посещали страницы сайта, увеличивая, тем самым, вероятность их индексации.
11. Проверка оптимизации для мобильных в Google Search Console
Используем страницу тестирования мобильной версии сайта для указания боту о новых страницах: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw
Опять же, гипотеза о том, что посылая Google дополнительный сигнал для переобхода страниц сайта через инструмент тестирования мобильной версии, он обратит на сайт более пристальное внимание. Однако не уверен, что это дает хоть сколько-то ощутимый результат.
12. Трафик из Pinterest
Pinterest является популярной контентной площадкой на западе, что делает его привлекательным не только для посетителей, но и для ботов поисковых систем. На нем постоянно «обитают» поисковые боты, особенно бот Google, поэтому путем несложного создания пинов, можно направить бота Google на интересующие страницы сайта.
В моем случае это не дало результатов.
13. Прогон через массовые индексаторы, основанные на вкладках браузера Google Chrome
На сколько я знаю, если эта тема когда-то и работала (сервис IndexGator и его аналоги), то сейчас она абсолютно мертва.
Да и по логам сервера – после подобной индексации робот на сайт не заходил.
14. Создание Sitemap.txt
Файл Sitemap.txt является упрощенным вариантом карты сайта Sitemap.xml. По сути, это все тот же список URL сайта, но без указания дополнительных атрибутов (lastmod, priority, frequency).
- https://mysite.ru/
- https://mysite.ru/page-1/
- https://mysite.ru/page-2/
- https://mysite.ru/page-3/
- https://mysite.ru/page-4/
- https://mysite.ru/page-5/
Данный вариант менее распространен, чем обычный Sitemap.xml, но, тем не менее, при добавлении ссылки на него в robots.txt, боты начинают его сканировать не менее охотно, чем обычный сайтмэп.
15. Внутренняя перелинковка
Ускорение индексации за счет проставления ссылок на новые страницы сайта с «хабовых» страниц (страницы с большим трафиком / весом).
Обычно для этого пишется скрипт, который берет пачки непроиндексированных ссылок из заранее подготовленного списка и размещает их на особо посещаемых страницах. После индексации страниц размещается следующий блок ссылок, и так далее. Индексация проверяется через различные сервисы либо через API Google Webmaster Tools.
16. Наращивание внешней ссылочной массы
Google признает, что страницы заслуживают доверия, если на них ведут ссылки с авторитетных сайтов.
Наличие обратных ссылок говорит Google о том, что страницы являются важными и их следует проиндексировать.
Таким образом, наращивая качественную внешнюю ссылочную массу на продвигаемые страницы и на сайт в целом можно сигнализировать Google о том, что данному сайту необходимо больше уделять внимания и чаще краулить контент.
17. Креативный метод при помощи Flickr (от Виктора Карпенко)
Создаем аккаунт на фотохостинге Flickr, заливаем туда кучу фотографий (тысячи, а лучше десятки тысяч) – фото берем не важно откуда, можно даже использовать другие фотохостинги, Инстаграм и т.п.
Под каждым фото пишем, что при использовании фото нужно ставить обратную ссылку на продвигаемый вами сайт (не забываем упомянуть его URL).
В результате можно бесплатно получать трафик и десятки ссылок ежемесячно с хороших сайтов и СМИ.
Примечание. Пример больше относится к линкбилдингу, но также и позволяет направить трафик на определенные страницы вашего сайта и тем самым улучшить их индексацию.
18. Индексация при помощи Google Indexing API
Выжимка инструкции для PHP с серча от пользователя Махмуд Аббас:
- Регистрируем сервисный аккаунт в Гугл Клауд, получаем ключ доступа (файл json), даем права сервисного аккаунта на серчконсоль, включаем API в гуглклауде.
- Создаем скрипт на PHP, из которого будут добавляться УРЛы в индекс.
- Качаем с Гитхаба клиент для работы с апи: https://github.com/googleapis/google-api-php-client
- Код для пакетного добавления запросов:
- В ответ $batch->execute() присылает массив по количеству ссылок в запросе (если в ответе есть \Google\Service\Exception, то код 429 – превышение лимита, 403 – проблемы с ключом доступа или включением api, 400 – кривые данные).
- Ссылка на описание ошибок: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
- Не забываем связать аккаунт API с консолью гугла + выставить себя владельцем (Owner), иначе скрипт не будет работать (в массиве будет приходить ошибка 404, что нет доступа для индексации сайта – Permission denied. Failed to verify the URL ownership).
Примечание: на написание скрипта у меня ушло ~40 минут, включая время на мелкие «затыки» и гугление ошибок.
Дополнительная информация:
- Более подробное описание по использованию Google Indexing API от SiteClinic – https://siteclinic.ru/blog/seo-instrumenty/indexing-api/
- Мини-исследование по ускорению индексации страниц через Google Indexing API от Айрата.
19. Блокировка доступа Гуглботу (кейс Владимира Вершинина)
Заметил, что плохо влетают на одном из проектов документы в индекс Гугла. Крутили, вертели – без толку.
По косвенным признакам возникла гипотеза, что боты не могут получить что-то из ресурсов, так как отсекаются на уровне сервиса по защите от DDoS.
Мы добавили перечень /ipranges/ в вайтлист сервиса защиты от ддоса 26 числа, и уже 27-го получили +50к документов в индексе, а на текущий момент за 15 дней уже +300к документов в индексе.
Большая часть «влетевших» документов лежала в GSC как «Просканировано, но пока не проиндексировано».
Ссылка на диапазон IP-адресов гуглоботов: https://developers.google.com/search/apis/ipranges/googlebot.json
20. Написать Джону Мюллеру
Написать в Твиттер Джону Мюллеру, описать свою проблему, скрестить пальцы и ждать ответа.
В моем случае это не сработало, мне никто не ответил, новых страниц в индексе не появилось. Странно, конечно, ну и ладно.
Но, кто знает, возможно вам повезет 🙂
* * *
Похоже, больше не осталось известных вариантов ускорения индексации как новых, так и старых страниц. Однако, если вдруг я что-то упустил, прошу поделиться собственными кейсами и примерами в комментариях – с удовольствием дополню ими статью.
P.S. Для полного охвата темы стоит упомянуть относительно новую возможность массовой индексации страниц через IndexNow (открытое API с возможностью добавления в индекс поисковых систем до 10 000 страниц в день). В настоящее время поддерживаются поисковые системы Яндекс и Bing. Возможно, что присоединение поисковой системы Google к данной технологии не за горами, хотя, если уже сейчас у технологии возникла небольшая армия критиков, кто знает, получит ли она развитие в будущем…
Источник: https://vc.ru/seo/899034-20-variantov-uskoreniya-indeksacii-sayta-v-google
Обсуждение:
Виктор Петров: — Это всё, к сожалению или счастью, ретроспектива. Гугл интенсивно избавляется от шлака в своих базах, и даже если что-то внесет в результате использования какой-то уязвимости — то с большой степенью вероятности чуть позже и выкинет, если не увидит реальной ценности и значимости.
Хороший контент + хорошие ссылки + грамотная техничка + Indexing API в качестве кнута — вот и весь реальный арсенал.
Андрей Симагин: — Виктор, в целом согласен.
Victor Dobrov: — Ботом индексирую свои сайты, залетает все в течение 1-2 суток, сам индекс сейчас это не проблема, благо выбор сервисов достойный, трафик важнее, ибо индекс не равно трафик, поэтому пол беды загнать в индекс, надо получить позиции в выдаче, а это тема более сложная. Бот которым загоняю @speedyindexbot
Я считаю что ручной индексации / сайтмап / перелинковки вполне достаточно для качественного сайта.
Также добавлю, что если все эти эти методы (или даже часть из них) не помогают в ускорении индексации сайта, то не факт что нужно тратить время на поиск дополнительных вариантов ускорения — скорее всего что-то не так именно с самим сайтом и лучше разобраться почему Гугл (или Яндекс) не хочет его индексировать. Обычно это неуникальный малополезный контент, например. Такие как не индексируй — не зайдут, либо нужно большое время «отстояться»…