Для успішного просування мережі важлива швидка індексація сайту. Але іноді із цим виникають проблеми. У статті розповімо, чому так відбувається, та запропонуємо 10 способів, завдяки яким можна прискорити влучення сторінок до індексу.
Нормою вважається, якщо новий контент потрапляє в індекс за 30-40 хвилин у Google (це приблизно багато залежить від якості і ступеня розкрученості сайту). Коли процес затягується на тижні та місяці чи сторінки взагалі не потрапляють у пошук, потрібно шукати причину. Повільна індексація негативно впливає на просування, до того ж збільшується ризик викрадення контенту. Перед тим, як розповісти, що з цим робити, розберемо основні проблеми з індексацією та способи її перевірки.
Дізнатися, чи знаходяться сторінки в індексі, найпростіше на панелі вебмайстра «Гугл». Ще це можна зробити в SERP, використовуючи оператор “site”. Введіть у рядок пошуку “site:URL”, у видачі будуть усі документи, проскановані ботом. Для масової перевірки індексації можна використовувати спеціальні плагіни і розширення, наприклад, RDS bar.
Якщо сторінки не індексуються взагалі, то швидше за все встановлено заборону на обхід сайту ботами у файлі robots.txt або ресурс потрапив під фільтри.
Коли документи індексуються, але це відбувається надто довго, то причиною може бути недостатнє оновлення контенту або неправильна внутрішня оптимізація ресурсу. Далі розглянемо дії, які потрібно вжити за будь-яких проблем з індексацією.
Текстовий файл robots.txt містить інструкції для пошукових машин, які забороняють роботам обхід певних документів та розділів сайту. Якщо потрібно виключити з пошуку сторінки, їх закривають директивою Disallow. Найчастіше це персональні дані користувачів, логи сайту, архіви тощо. Перевірте, чи не закриті директивою Disallow відповідні індексації сторінки. Також важливо загалом подивитися коректність синтаксису robots.txt. Іноді виявляються конфлікти директив: роботі одночасно дозволяють і забороняють обхід. Ці та інші недоліки потрібно усунути. Виявити помилки можна за допомогою інструментів “Вебмайстра”.
Карта сайту – це файл із списком посилань на сторінки ресурсу. Вона буває двох форматів: XML та HTML. Першу необхідно зробити обов’язково, т.к. вона передає роботам дані про структуру майданчика та забезпечує швидку та коректну індексацію. Створити XML-карту можна за допомогою спеціальних сервісів: XML-Sitemaps, GSitemap Generator, SiteMapXml і т.д.
Sitemap.html є більш актуальною для користувачів. Для пошукових роботів практично не має значення, але ми рекомендуємо зробити її теж. По-перше, вона спрощує взаємодію відвідувачів із сайтом, по-друге, це один із прийомів перелінкування.
При зверненні краулера існуючі сторінки повинні видавати код відповіді 200, неіснуючі – 404. При цьому якщо час відповіді більше 2 секунд, то боти можуть не дочекатися і залишити документ. Це також уповільнює індексацію. Перевірте код статусу та швидкість відповіді в інструментах “Вебмайстра”.
Віддаленість документа від головної сторінки сайту теж має значення: що далі, то складніше роботу до нього дістатися. Оптимальний варіант – це шлях від головної довжиною в 2-3 кліки. Домогтися цього можна за допомогою створення правильної структури ресурсу та грамотної перелінкування.
Явні та неявні дублі завдають цілого ряду неприємностей: проблеми із зовнішніми URL, заміщення оригіналу дублюючим документом у пошукових системах, ймовірність песимізації тощо. Дублі також уповільнюють індексацію, тому їх важливо виявити і усунути.
Виявити дублюючий контент можна вручну. Але якщо сайт великий, то зручніше використовувати спеціальні сервіси, наприклад NetPeak Spider. Усувають дублі різними способами. Google рекомендує робити це через атрибут Canonical та редирект 301.
Розміщуйте на сайті унікальний матеріал: статті, скопійовані з інших ресурсів, робот може вважати дублем, що не має користі для читача. Крім цього, контент має бути релевантним та корисним. Пишіть для людей, але про SEO теж не забувайте, адже за ключовими словами аудиторія знаходить ваш сайт.
Важливо також частіше оновлювати матеріал, збільшуючи частоту заходів пошукових машин. Ось кілька рекомендацій для підтримки актуальності ресурсу:
- розміщуйте новий матеріал хоча б один раз на тиждень;
- оновлюйте застарілі дані;
- посилайтеся на новий контент із старих розділів;
- використовуйте заголовки, які повідомляють роботам про останні зміни (Last-Modified та If-Modified-Since).
Намагайтеся постійно покращувати веб-майданчик. Навіть найменші зміни у старих статтях (нові фото, кілька нових речень у тексті) позитивно оцінюються краулерами.
Після створення сайту зареєструйтесь у веб-майстрі Google. Так ви повідомите пошукові боти про створення нового ресурсу, зможете стежити за індексацією сторінок і посилань, виявляти помилки. При оновленні старого матеріалу або додаванні нового запитуйте індексування для конкретної URL-адреси, відправляючи гуглбота на переобхід.
Пінг-сервіси – онлайн-майданчики, які повідомляють пошукові системи про нову інформацію в мережі, тобто. усі зміни на вашому сайті не залишаться непоміченими. Перерахуємо найпопулярніші:
- Pingomatic.com;
- Auto-ping.com;
- Mypagerank.net;
- Totalping.com;
- Pingler.com;
- Bitacoras.com;
- Ping.in.
Таких сервісів багато, але краще не зловживати – оберіть 5-7. Не варто також додавати сотні адрес, виберіть лише найважливіші, щоб не створювати зайве навантаження на сервер.
Соціальні сигнали можуть значно прискорити індексацію. У Instagram, Facebook, Twitter, Tumblr, Telegram, Viber можна публікувати анонси про нові матеріали сайту із зазначенням посилання. Крім цього, рекомендуємо додавати кнопки соцмереж під кожною статтею, тому користувачі допомагатимуть роботам знаходити ваші сторінки.
Ще можна викладати анонси до нових постів у соціальних закладках. Для цього є послуги: bookmarkee.com, digg.com і т.д. У соціальних закладках добре працюють ключові слова. Вони повинні бути присутніми в тегах, у заголовку посилання та його описі.
Посилальна вага також важлива для хорошої індексації. Чим більше беклінків, тим швидше краулер виявить новий матеріал. Але лінки мають бути якісними та розташовуватися на релевантних трастових майданчиках. Також важлива природність профілю – робіть його різноманітним, що складається в основному з безанкорних посилань.
Всі ці методи дозволять пошуковим машинам швидко та якісно сканувати вміст ресурсу. Завдяки індексації новий матеріал практично миттєво потраплятиме у видачу, що призведе до збільшення трафіку і загалом покращить просування.
