Краулінговий бюджет сайту: що таке і як збільшити?

Що таке краулінговий бюджет?

Спочатку розберімося з взаємопов'язаними термінами:
Краулінг сайту (Website Crawling) – це процес сканування сторінок сайту пошуковими ботами для збору інформації та подальшої індексації.
Краулінговий попит (Crawl Demand) – кількість сторінок сайту, які хоче просканувати Google бот.
Краулінговий бюджет (Crowl Budget) – це максимальна кількість сторінок одного сайту, які може просканувати бот за певний період часу.

Процес потрапляння сторінок сайту в пошукову видачу Google

Як і в реальному житті будь-який бюджет має свій ліміт. Це стосується й краулінгового бюджету. Якщо сайт має багато постійно оновлюваних сторінок (від 1000), то потрібно правильно розподілити цей бюджет, щоб просканувати всі важливі сторінки. Розкрутка сайту не буде ефективною, якщо багато оптимізованих сторінок не потраплять в індекс.

Як краулінговий бюджет впливає на оптимізацію сайту?

Дані про краулінговий бюджет можна дізнатися в Google Search Console в розділі «Статистика сканування» (середня кількість просканованих за день сторінок):


На збільшення краулінгового бюджету і популярності сайту впливає:

• регулярне оновлення сторінок;
• наповнення сайту корисним контентом, який добре розкриває тему;
• оновлення старих статей;
• ізуальний контент хорошої якості (зображення, фотографії, інфографіка, діаграми, відео) і т.д.

Якщо слідувати цим рекомендаціям, пошуковики вважатимуть Ваш сайт корисним, і нададуть додатковий краулінговий бюджет.

Пошукові системи вважають: чим якісніший сайт – тим більше уваги йому потрібно приділяти.

Як збільшити краулінговий бюджет?

Крім вищеописаного для збільшення краулінгового бюджету потрібно провести й інші поліпшення на сайті:

1. Збільшити швидкість завантаження сторінок сайту
   Сторінка, яка довго завантажується, негативно позначається не тільки на поведінці користувачів, а й гальмує сканування пошуковими системами.
   
   Основні роботи по оптимізації швидкості завантаження сторінок сайту:
   • хороший хостинг;
   • використання кешування;
   • оптимізація розміру зображень і т.п.
2. Прибрати «биті» посилання
   Якщо посилання ведуть на не існуючі сторінки з помилкою 404, то це не тільки негативно впливає на поведінку користувачів, але і заплутує пошукові боти. Таким чином, краулінговий бюджет викидається «на вітер».
   Для виявлення «битих» посилань використовують спеціалізований софт: ScreamingFrog, WebSite Auditor, Netpeak Spider та ін.
   
3. Правильно організувати структуру сайту
   Грамотна структура сайту допомагає і користувачам, і ботам орієнтуватися на сайті. Не слід важливі сторінки розміщувати далеко від головної сторінки (рівень вкладеності повинен бути мінімальним).
4. Коректне налаштування карти сайту Sitemap.xml й файлу robots.txt
   Ми вже писали про те як їх правильно налаштувати в статтях: «Як правильно налаштувати карту сайту (Sitemap.xml)» і «FAQ robots.txt: запитання й відповіді».
   Грамотне формування цих файлів також важливе для оптимізації витрат краулінгового бюджету Вашого сайту. Адже карта сайту підказує пошукачам як організований контент на сайті, а файл robots.txt – це рекомендації пошуковим системам які сторінки сканувати, а які ні. Таким чином, Ви зможете «непотрібні» сторінки виключити зі списку сканування й направити ботів на важливі.
5. Видалення ланцюжків редіректів
   Редіректи перенаправляють користувачів й пошукових роботів на іншу сторінку. При цьому витрачається чималий краулінговий бюджет. А якщо є цілі ланцюжки редіректів, то робот й зовсім може не дійти до кінцевої сторінки. Знайти редіректи і ланцюжки допоможуть вищеописані програми.
6. Видалення дублів, порожніх й непотрібних сторінок
   Якщо будете стежити за наявністю таких сторінок і регулярно видаляти їх – Ви збережете багато краулінгового бюджету. Знайти їх можна за допомогою того ж ScreamingFrog.

    

7. Продумана внутрішня перелінковка
   На сайтах з малою кількістю сторінок організувати перелінковку між сторінками не важко. Інша справа масштабні новинні портали або інтернет-магазини – тут можуть виникнути проблеми. Тому перелінковці слід приділити особливу увагу.

Висновок

Сподіваємося Ви зрозуміли, що можете вплинути на процес формування краулінгового бюджету для свого сайту. Для цього є певні методи, застосовуючи які можна домогтися оптимального витрачання бюджету і зробити просування сайту більш ефективним.

Залишилися питання чи потрібна допомога – звертайтеся!