Краулинговый бюджет сайта: что такое и как увеличить?

Что такое краулинговый бюджет?

Сначала давайте разберемся с взаимосвязанными терминами:
Краулинг сайта (Website Crawling) – это процесс сканирования страниц сайта поисковыми ботами для сбора информации и последующей индексации.
Краулинговый спрос (Crawl Demand) – количество страниц сайта, которые хочет просканировать Google бот.
Краулинговый бюджет (Crowl Budget) – это максимальное количество страниц одного сайта, которые может просканировать бот за определенный период времени.

Процесс попадания страниц сайтов в поисковую выдачу Google

Как и в реальной жизни любой бюджет имеет свой лимит. Это касается и краулингового бюджета. Если ресурс имеет много постоянно обновляемых страниц (от 1000), то нужно правильно этот бюджет распределить, чтобы просканировались все важные страницы. Раскрутка сайта не будет эффективной, если много оптимизированных страниц не попадут в индекс.

Как краулинговый бюджет влияет на оптимизацию сайта?

Данные о краулинговом бюджете можно узнать в Google Search Console в разделе «Статистика сканирования» (среднее количество просканированных за день страниц):


На увеличение краулингового бюджета и популярности сайта влияет:

• регулярное обновление страниц;
• наполнение сайта полезным контентом, который хорошо раскрывает тему;
• обновление старых статей;
• визуальный контент хорошего качества (изображения, фотографии, инфографика, диаграммы, видео) и т.д.

Если следовать этим рекомендациям, поисковики сочтут Ваш сайт полезным, и предоставят дополнительный краулинговый бюджет.

Поисковые системы считают: чем качественнее сайт – тем больше внимания ему нужно уделять.

Как увеличить краулинговый бюджет?

Кроме вышеописанного для увеличения краулингового бюджета нужно провести и другие улучшения на сайте:

1. Увеличить скорость загрузки страниц сайта
   Страница, которая долго загружается, негативно сказывается не только на поведении пользователей, но и тормозит сканирование поисковиками.
   
   Основные работы по оптимизации скорости загрузки страниц сайта:
   • хороший хостинг;
   • использование кэширования;
   • оптимизация размера изображений и т.п.
2. Убрать «битые» ссылки
   Если ссылки ведут на несуществующие страницы с ошибкой 404, то это не только негативно влияет на поведение пользователей, но и запутывает поисковые боты. Таким образом, краулинговый бюджет выбрасывается «на ветер».
   Для обнаружения «битых» ссылок используют специализированный софт: ScreamingFrog, WebSite Auditor, Netpeak Spider и др.
   
3. Правильно организовать структуру сайта
   Грамотная структура сайта помогает и пользователям, и ботам ориентироваться на сайте. Не следует важные страницы размещать далеко от главной страницы (уровень вложенности должен быть минимальным).
4. Корректная настройка карты сайта Sitemap.xml и файла robots.txt
   Мы уже писали о том как их правильно настроить в статьях: «Как правильно настроить карту сайта (Sitemap.xml)» и «FAQ robots.txt: часто задаваемые вопросы».
   Грамотное формирование этих файлов также важно для оптимизации расхода краулингового бюджета Вашего сайта. Ведь карта сайта подсказывает поисковикам как организован контент на сайте, а файл robots.txt – это рекомендации поисковым системам какие страницы сканировать, а какие нет. Таким образом, Вы сможете «не нужные» страницы исключить из списка сканирования, и направить ботов на важные.
5. Удаление цепочек редиректов
   Редиректы перенаправляют пользователей и поисковых роботов на другую страницу.  При этом расходуется немалый краулинговый бюджет. А если имеются целые цепочки редиректов, то робот и вовсе может не дойти до конечной страницы. Найти редиректы и цепочки помогут вышеописанные программы.
6. Удаление дублей, пустых и ненужных страниц
   Если будете следить за наличием таких страниц и регулярно удалять их – Вы сохраните много краулингового бюджета. Найти их можно с помощью того же ScreamingFrog.

    

7. Продуманная внутренняя перелинковка
   На сайтах с малым количеством страниц организовать перелинковку между страницами не трудно. Другое дело масштабные новостные порталы или интернет-магазины – здесь могут возникнуть проблемы. Поэтому перелинковке следует уделить особенное внимание.

Заключение

Надеемся Вы поняли, что можете повлиять на процесс формирования краулингового бюджета для своего сайта. Для этого есть определенные методы, применяя которые можно добиться оптимального расходования бюджета и сделать продвижение сайта более эффективным.
Остались вопросы или нужна помощь – обращайтесь!