Индексация сайта

В данной статье мы расскажем, как осуществить проверку индексации сайта. Это позволит удостовериться, что поисковики видят ваш веб-ресурс, а пользователи могут найти его в поисковой системе.

При индексировании веб-краулер вбивает данные о платформе в специальную базу. Именно в ней поисковики в дальнейшем ищут результаты, релевантные запросам пользователей. 

Многие путают индексацию сайта и сканирование. Робот может довольно быстро выполнить сканирование веб-ресурса целиком. А добавление в индекс происходит в разы медленнее. Кроме того, некоторые веб-страницы могут быть удалены из индекса или просто туда не попасть.

Для увеличения скорости индексирования необходимо создать Sitemap с последующим добавлением в Search Console.

Что нужно знать об индексировании:

• оно позволяет web-страницам участвовать в поиске;
• каждая поисковая машина имеет собственный индекс и своих ботов;
• настройка ИС осуществляется на начальном этапе SEO-продвижения;
• у Гугла есть несколько роботов: Googlebot — основной, Googlebot News — для новостей, Google Mobile — для мобильных версий и пр.

Помните! В поиске отображаются только проиндексированные web-сайты.

Как происходит индексация сайта в Google

Процесс индексирования в Гугле является довольно сложным. Он состоит их множества этапов, которые взаимосвязаны между собой.

Мы выделим три основных:

1. Обнаружение. Сайтовладелец должен подготовить файл sitemap.xml, который содержит все url, и отправить его Гуглу. Если веб-краулер заметит новые адреса, то добавит их в очередь на сканирование.
2. Сканирование. Поисковиком просматривается каждая обнаруженная страничка с целью сопоставления контента и релевантных запросов. Полученная информация поступает в индекс.
3. Обработка. Это непосредственно сама индексация в Google. Она заключается в анализе и обработке web-страниц, а также размещенных на них видео, изображений и других файлов. В процессе поисковик определяет, на какую позицию в поисковой выдаче поставить ваш ресурс. Проиндексированные линки попадают в так называемый каталог (индекс).

Все это осуществляется с единой целью — предоставить пользователям наиболее актуальные ответы на их запросы.

Как проверить индексацию страницы

1. Поисковые операторы

Начнем с наиболее простого способа. Для этого в строку поиска Гугл необходимо ввести URL страницы, которую требуется проверить. Если она проиндексирована, то окажется на первой позиции в выдаче.

Также можно использовать команду «site:» перед ссылкой, тогда поиск будет осуществляться только по вашей платформе:

Если страничка отсутствует, значит еще не подошла ее очередь на сканирование:

Для ознакомления с полным списком урлов, которые не проиндексировались, можно воспользоваться Google Search Console.

2. Search Console

Если вам необходимо проверить индексацию страницы в Google, рекомендуем воспользоваться инструментами для веб-разработчиков. Для этого адрес нужной веб-страницы нужно скопировать и вставить в инструмент «Проверка URL на ресурсе».

Проверка в Search Console позволяет получить информацию касательно запретов на индексирование, а также данные о каноническом URL и статусе страницы.

Важно! Большим плюсом инструмента является возможность запросить индексирование отдельной ссылки, если она перетерпела какие-либо изменения.

3. Сторонние сервисы

Также проверку можно осуществить с помощью плагинов и скриптов, которые выступают в качестве дополнения к браузеру и при необходимости активируются нажатием на иконку. 

Наиболее популярными считаются следующие букмарклеты:

• Seo Magic;
• RDS bar;
• SEO-tools.

Детальную информацию по итогам проверки индексации страниц также предоставляют такие сервисы, как Xseo, Seogadget, Netpeak Checker и пр. С их помощью можно проверить, виден ли веб-ресурс в результатах выдачи, а также получить информацию касательно ссылочной массы, коды ответов и пр.

Как проверить индексацию сайта в Google

Чтобы проверить сайт на индексацию, необходимо выполнить два простых действия:

1. Выяснить, скольки страничным является web-ресурс. На помощь вам придут специальные инструменты. Они могут быть, как бесплатными, так и платными. Если веб-узел содержит менее пятисот ссылок, вполне подойдут бесплатные программы. К примеру, бесплатная версия сервиса Screaming Frog или Site Analyzer. Количество web-страниц указывается в разделе «HTML».
2. Далее требуется зайти в Google Search Console и перейти в раздел «Покрытие». Здесь можно увидеть, сколько вкладок проиндексировано «Без ошибок». При сравнении с данными из Site Analyzer видно, что это количество практически одинаковое. Из этого можно сделать вывод, что основные веб-страницы просканированы. Если некоторые попали в раздел «Исключено», можно нажать на знак вопроса и выяснить причины исключения. Также этот отчет позволяет отследить историю индексирования сайта Гугле за определенный период — 3, 6 месяцев или 1 год.

Также в разделе «Покрытие» нередко можно увидеть страницы, которые просканированы, но не проиндексированы. Это означает, что робот уже собрал все необходимые данные, но не успел их полностью обработать. Вторая причина — плохое качество контента или его отсутствие. Если через время проверка сайта на индексацию покажет, что количество ссылок с таким статусом не изменилось, ситуацию придется исправлять. Можно пойти путем уникализации и добавления контента или же увеличить количество внешних ссылок на веб-ресурс.

Если вам необходимо проверить одновременно несколько web-страниц, рекомендуем воспользоваться популярным бесплатным сервисом Index Checking. С его помощью можно осуществить качественную проверку более 20 ссылок за один заход.

Также проверить индексацию сайта онлайн можно используя инструмент Rute. Он позволяет выявить закрытые от нее вкладки и те, на которых имеются технические неполадки.

Возможные причины проблем с индексацией

Их существует довольно много, но мы выделим основные:

• недоступность или запрет индексации сайта для поисковиков. В таком случае нужно перейти в настройки CMS и проверить, не стоит ли лишняя галочка в поле «видимость для поисковых систем»;
• отсутствие или недостаток качественных обратных ссылок. Они являются проводниками, приводящими посетителей на ваш веб-сайт. Чем больше их размещено на сторонних площадках, тем чаще происходит сканирование ресурса;
• платформа давно не обновлялась. Под обновлениями мы подразумеваем создание и публикацию различного контента. Важно в этом вопросе соблюдать регулярность и размещать уникальные материалы, которые имеют ценность для пользователей. Это гарантировано поможет ускорить индексацию сайта;
• некачественный контент — еще одна распространенная проблема. Это скопированные с других источников статьи, дорвеи, дублированный контент и пр.;
• ресурс отсутствует в инструментах поисковиков;
• проблемы на стороне поисковой машины. Да, даже в Google бывают проблемы. К счастью сайтовладельцев, они возникают довольно редко.

Некоторые вкладки лучше самостоятельно закрыть от индекса. Это дубли, устаревшие урлы, не актуальные статьи и пр. Закрыть сайт от индексации можно с помощью файла robots.txt. или тега NoIndex.  

Как улучшить индексацию сайта

1. Создать sitemap.xml

В этом файле содержатся урлы на все странички. Он оказывает существенную помощь поисковикам в понимании структуры ресурса. Каждая новая ссылка обязательно попадает в sitemap.xml, благодаря чему роботы ее оперативнее находят.

После того, как файл sitemap.xml будет создан, необходимо прописать в robots.txt путь к нему:

Чтобы сообщить Гуглу о вашем sitemap, необходимо в инструментах Search Console или файле robots.txt вставить линк на sitemap.

Как добавить карту в Search Console, чтобы проиндексировать сайт:

• Зайти в Search Console.
• Добавить свой веб-ресурс или выбрать из перечня.
• Перейти в раздел Сканирование>Файлы Sitemap.
• Выбрать «добавить новую sitemap», вставить урл и нажать «добавить».

Чтобы не тратить время на обновление файла после каждой новой страницы, можно применять динамический sitemap.xml. Его легко настроить используя плагины (к примеру, для WordPress отлично подходит All in One SEO Pack) или инструменты PHP. Динамический файл всегда остается актуальным, так как создается перед каждым обращением робота.

2. Обновление контента

Проводя анализ содержания, поисковая машина проверяет также уникальность страницы. Контент, который ранее был проиндексирован на других площадках, системой считается бесполезным, т.е. не имеющим ценности для пользователя. Из-за низкой уникальности контента Гугл не индексирует сайт. Поэтому не удивляйтесь, размещая некачественный рерайт или явный плагиат. Поисковики невозможно обманут, и они посчитают такой контент дублирующим. Для проверки уникальности подойдут любые бесплатные сервисы.

Чтобы понравиться поисковикам, веб-сайт должен быть «живым». При отсутствии новых публикаций в течение месяца робот перестанет регулярно его посещать.

Для поддержания актуальности ресурса нужны:

• регулярность публикаций — минимум 1 новая запись в неделю;
• актуализация и обновление информации;
• добавление ссылок на новый контент на устаревших страничках.

Важно! Чем больше усилий и времени будет затрачено на создание актуального контента, тем выше вероятность добавить страницу в индекс Google.

3. Техническая доступность

Убедитесь в том, что бот имеет непосредственный доступ к файлам css и js. Они помогают индексатору лучше понять структуру web-страницы. Проверить, доступны ли служебные файлы, можно так: Google Search Console>«Сканирование»>«Посмотреть как Googlebot». Рекомендуем с помощью данного инструмента осуществить проверку наиболее важных страниц ресурса и сравнить то, как они выглядят для пользователей и для поискового бота. Внимательно изучите отчет. При этом, чтобы проиндексировать сайт в Гугл, у робота должна быть возможность сканировать все ресурсы вашего домена. 

4. Перелинковка

Чтобы у поискового бота возникло желание посетить новую web-page, добавьте урлы на других вкладках website, но уже проиндексированных. При этом контент для размещения линка следует выбирать с похожей тематикой. Наиболее эффективными являются переходы с главной и других наиболее посещаемых страниц. Также можно добавлять линки в блоговых статьях, если в контексте используются слова по теме. Владельцы интернет-магазинов могут быстрее индексировать сайт, если добавят блоки рекомендованных товаров или комплектующих.

5. Внешние ссылки

Отличный способ повысить шансы попадания ресурса в индекс — размещение внешних ссылок. Важно, чтобы у сторонних площадок была хорошая индексируемость. Тогда при посещении поисковой робот увидит на сайте-доноре непроиндексированный интернет-портал и поставит его в очередь. Для этих целей отлично подходят новостные или информационные площадки. Их роботы могут посещать по нескольку раз за день. Если все сделать правильно, можно добиться отличного результата. Однако стоит помнить, что индексация сайта — это процесс небыстрый.

Этот метод получил широкое распространение несколько лет назад. Во время, когда поисковики только начали воспринимать страницы в соцсетях как полноценные веб-ресурсы. Таким образом можно просто добавить ссылку и ждать эффекта. Однако важно, чтобы она была прямой, а не в виде редиректа.

Теперь вы знаете, как проиндексировать сайт в Гугл, и что влияет на этот процесс. Компания Solarweb предоставит профессиональную консультацию по любым вопросам, касающимся продвижения бизнеса в интернете. Звоните (067) 846-62-75, (093) 350-32-19!