Індексація сайту
У цій статті ми розповімо, як здійснити перевірку індексації сайту. Це дозволить переконатися, що пошукові системи бачать Ваш веб-ресурс, а користувачі можуть знайти його в пошуковій системі.
При індексуванні веб-краулер вбиває дані про платформу у спеціальну базу. Саме в ній пошукові системи надалі шукають результати, релевантні запитам користувачів.
Багато хто плутає індексацію сайту та сканування. Робот може досить швидко виконати сканування веб-ресурсу цілком. А додавання до індексу відбувається в рази повільніше. Крім того, деякі веб-сторінки можуть бути видалені з індексу або просто не потрапити туди.
Для збільшення швидкості індексування необхідно створити Sitemap з подальшим додаванням до Search Console.
Що потрібно знати про індексування:
- воно дозволяє web-сторінкам брати участь у пошуку;
- кожна пошукова машина має власний індекс та своїх ботів;
- налаштування ІВ здійснюється на початковому етапі SEO-просування;
- у Гугла є кілька роботів: Googlebot — основний, Googlebot News — для новин, Google Mobile — для мобільних версій тощо.
Пам’ятайте! У пошуку відображаються лише проіндексовані веб-сайти.
Содержание статьи
Як відбувається індексація сайту в Google
Процес індексування у Гугле є досить складним. Він складається з безлічі етапів, які взаємопов’язані між собою.
Ми виділимо три основні:
- Виявлення. Сайтовласник повинен підготувати файл sitemap.xml, який містить усі url, та надіслати його Гуглу. Якщо веб-краулер помітить нові адреси, додасть їх у чергу на сканування.
- Сканування. Пошуковиком проглядається кожна виявлена сторінка з метою зіставлення контенту та релевантних запитів. Отримана інформація надходить до індексу.
- Обробка. Це безпосередньо сама індексація у Google. Вона полягає в аналізі та обробці web-сторінок, а також розміщених на них відео, зображень та інших файлів. У процесі пошукача визначає, на яку позицію в пошуковій видачі поставити ваш ресурс. Проіндексовані лінки потрапляють до так званого каталогу (індексу).
Все це здійснюється з єдиною метою — надати користувачам найбільш актуальні відповіді на їхні запити.
Як перевірити індексацію сторінки
1. Пошукові оператори
Почнемо з найпростішого способу. Для цього в рядок пошуку Google необхідно ввести URL-адресу сторінки, яку потрібно перевірити. Якщо вона проіндексована, то опиниться на першій позиції у видачі.
Також можна використовувати команду «site:» перед посиланням, тоді пошук буде здійснюватись тільки по вашій платформі:
Якщо сторінка відсутня, то ще не підійшла її черга на сканування:
Для ознайомлення з повним списком урлів, які не проіндексувалися, можна скористатися Google Search Console.
2. Search Console
Якщо Вам необхідно перевірити індексацію сторінки в Google, рекомендуємо скористатися інструментами для веб-розробників. Для цього потрібно скопіювати адресу потрібної веб-сторінки в інструмент «Перевірка URL на ресурсі».
Перевірка в Search Console дозволяє отримати інформацію щодо заборон на індексування, а також дані про канонічний URL і статус сторінки.
Важливо! Великим плюсом інструменту є можливість запросити індексування окремого посилання, якщо воно зазнало будь-яких змін.
3. Сторонні сервіси
Також перевірку можна здійснити за допомогою плагінів та скриптів, які виступають як доповнення до браузера та за потреби активуються натисканням на іконку.
Найпопулярнішими вважаються такі букмарклети:
- Seo Magic;
- RDS bar;
- SEO-tools.
Детальну інформацію за підсумками перевірки індексації сторінок також надають такі сервіси, як Xseo, Seogadget, Netpeak Checker та ін. та ін.
Як перевірити індексацію сайту в Google
Щоб перевірити сайт на індексацію, необхідно виконати дві прості дії:
- З’ясувати, наскільки сторінковим є web-ресурс. На допомогу вам прийдуть спеціальні інструменти. Вони можуть бути як безкоштовними, так і платними. Якщо веб-сайт містить менше п’ятисот посилань, цілком підійдуть безкоштовні програми. Наприклад, безкоштовна версія сервісу Screaming Frog чи Site Analyzer. Кількість веб-сторінок вказується в розділі HTML.
- Далі потрібно зайти в Google Search Console і перейти в розділ «Покриття». Тут можна побачити, скільки вкладок проіндексовано “Без помилок”. При порівнянні з даними із Site Analyzer видно, що ця кількість практично однакова. З цього можна дійти невтішного висновку, що основні веб-сторінки проскановані. Якщо деякі потрапили до розділу “Виключено”, можна натиснути на знак запитання та з’ясувати причини виключення. Також цей звіт дозволяє відстежити історію індексування сайту Гуглі за певний період — 3, 6 місяців або 1 рік.
Також у розділі «Покриття» нерідко можна побачити сторінки, проскановані, але не проіндексовані. Це означає, що робот вже зібрав усі необхідні дані, але не встиг їх повністю обробити. Друга причина – погана якість контенту або його відсутність. Якщо через час перевірка сайту на індексацію покаже, що кількість посилань із таким статусом не змінилася, ситуацію доведеться виправляти. Можна піти шляхом унікалізації та додавання контенту або збільшити кількість зовнішніх посилань на веб-ресурс.
Якщо Вам необхідно перевірити одночасно кілька веб-сторінок, рекомендуємо скористатися популярним безкоштовним сервісом Index Checking. За його допомогою можна здійснити якісну перевірку понад 20 посилань за один захід.
Також перевірити індексацію сайту онлайн можна за допомогою інструмента Rute. Він дозволяє виявити закриті від неї вкладки та ті, на яких є технічні неполадки.
Можливі причини проблем з індексацією
Їх існує досить багато, але ми виділимо основні:
- недоступність або заборона індексації сайту для пошукових систем. У такому випадку потрібно перейти в налаштування CMS та перевірити, чи не варто зайва галочка в полі «видимість для пошукових систем»;
- відсутність або нестача якісних зворотних посилань. Вони є провідниками, які ведуть відвідувачів на ваш веб-сайт. Чим більше їх розміщено на сторонніх майданчиках, тим частіше відбувається сканування ресурсу;
- платформа давно не оновлювалася. Під оновленнями ми маємо на увазі створення та публікацію різного контенту. Важливо в цьому питанні дотримуватись регулярності та розміщувати унікальні матеріали, які мають цінність для користувачів. Це гарантовано допоможе прискорити індексацію сайту;
- неякісний контент — ще одна поширена проблема. Це скопійовані з інших джерел статті, дорвеї, дубльований контент та ін.
- ресурс відсутній в інструментах пошукових систем;
- проблеми на стороні пошукової машини. Так, навіть у Google бувають проблеми. На щастя власників сайтів, вони виникають досить рідко.
- Деякі вкладки краще самостійно закрити від індексу. Це дублі, застарілі урли, не актуальні статті та ін. Закрити сайт від індексації можна за допомогою файлу robots.txt. або тега NoIndex.
Як покращити індексацію сайту
1. Створити sitemap.xml
У цьому файлі містяться урли на всі сторінки. Він надає істотну допомогу пошуковцям у розумінні структури ресурсу. Кожне нове посилання обов’язково потрапляє в sitemap.xml, завдяки чому роботи його оперативніше знаходять.
Після того, як файл sitemap.xml буде створений, необхідно прописати в robots.txt шлях до нього:
Щоб повідомити Гуглу про ваш sitemap, необхідно в інструментах Search Console або файлі robots.txt вставити лінк на sitemap.
Як додати картку до Search Console, щоб проіндексувати сайт:
- Зайти до Search Console.
- Додати свій веб-ресурс або вибрати з переліку.
- Перейти до розділу Сканування>Файли Sitemap.
- Вибрати «додати новий sitemap», вставити урл і натиснути «додати».
Щоб не витрачати час на оновлення файлу після кожної нової сторінки, можна використовувати динамічний sitemap.xml. Його легко налаштувати, використовуючи плагіни (наприклад, для WordPress відмінно підходить All in One SEO Pack) або інструменти PHP. Динамічний файл завжди залишається актуальним, оскільки він створюється перед кожним зверненням робота.
2. Оновлення контенту
Проводячи аналіз змісту, пошукова машина перевіряє також унікальність сторінки. Контент, який раніше був проіндексований інших майданчиках, системою вважається марним, тобто. які не мають цінності для користувача. Через низьку унікальність контенту Google не індексує сайт. Тому не дивуйтесь, розміщуючи неякісний рерайт чи явний плагіат. Пошуковики неможливо обдурити, і вони вважають такий контент дублюючим. Для перевірки унікальності підійдуть будь-які безкоштовні послуги.
Щоб сподобатися пошуковим системам, веб-сайт має бути «живим». За відсутності нових публікацій протягом місяця робот перестане регулярно відвідувати його.
Для підтримки актуальності ресурсу потрібні:
- регулярність публікацій — мінімум 1 новий запис на тиждень;
- актуалізація та оновлення інформації;
- додавання посилань на новий контент на застарілих сторінках.
Важливо! Чим більше зусиль і часу буде витрачено на створення актуального контенту, тим вища ймовірність додати сторінку до індексу Google.
3. Технічна доступність
Переконайтеся, що бот має безпосередній доступ до файлів css та js. Вони допомагають індексатору краще зрозуміти структуру веб-сторінки. Перевірити, чи доступні службові файли, можна так: Google Search Console>Сканування>Подивитися як Googlebot. Рекомендуємо за допомогою даного інструменту здійснити перевірку найбільш важливих сторінок ресурсу та порівняти те, як вони виглядають для користувачів та пошукового бота. Уважно вивчіть звіт. При цьому, щоб проіндексувати сайт у Google, робота повинна мати можливість сканувати всі ресурси вашого домену.
4. Перелінковка
Щоб у пошукового бота виникло бажання відвідати нову web-page, додайте урли на інших вкладках website, але вже проіндексованих. При цьому контент для розміщення лінка слід вибирати зі схожою тематикою. Найбільш ефективними є переходи з головної та інших сторінок, що найбільш відвідувані. Також можна додавати лінки до блогових статей, якщо в контексті використовуються слова по темі. Власники інтернет-магазинів можуть швидше індексувати сайт, якщо додадуть блоки рекомендованих товарів чи комплектуючих.
5. Зовнішні посилання
Відмінний спосіб підвищити шанси влучення ресурсу в індекс — розміщення зовнішніх посилань. Важливо, щоб сторонні майданчики мали хорошу індексованість. Тоді при відвідуванні пошукової роботи побачить на сайті-донорі непроіндексований інтернет-портал і поставить його в чергу. Для цих цілей чудово підходять новинні чи інформаційні майданчики. Їхні роботи можуть відвідувати по кілька разів на день. Якщо все зробити правильно, можна досягти відмінного результату. Проте варто пам’ятати, що індексація сайту – це процес нешвидкий.
Цей метод набув широкого поширення кілька років тому. Під час, коли пошукові системи тільки почали сприймати сторінки в соцмережах як повноцінні веб-ресурси. Таким чином можна просто додати посилання та чекати ефекту. Однак важливо, щоб вона була прямою, а не у вигляді редиректу.
Тепер ви знаєте, як проіндексувати сайт у Google, і що впливає на цей процес. Компанія Solarweb надасть професійну консультацію з будь-яких питань щодо просування бізнесу в інтернеті. Телефонуйте (067) 846-62-75, (093) 350-32-19!