Как проводится проверка индексации сайта

При работе с веб-сайтом многие уделяют пристальное внимание SEO-оптимизации страниц, покупке ссылок, заказу рекламы. Но игнорируют такую немаловажную вещь, как индексация сайта. Это может привести к плачевным результатам, когда месяцы работы уходят в пустую, а бюджет тратится без какой-либо отдачи. По этой причине очень важно понять, что это за процедура, как проверить индексацию сайта и его отдельных страниц и что делать, чтобы ускорить процесс. Также стоит разобраться в причинах отсутствия страниц ресурса в индексе поисковых систем.

Весь материал можно разбить на следующие составляющие:

• какую роль играет индексация;
• как проверить индексацию сайта в Yandex и Google (используемые инструменты);
• как определить наличие страниц с помощью сторонних инструментов (плагины, букмарклеты);
• как использовать популярные сервисы для анализа;
• почему проект не индексируется.

Какую роль играет индексация

Главная задача любого проекта в интернете — это привлечение пользователей, которые впоследствии могут стать клиентами (или просто найти интересующую их информацию). Это будет влиять на уровень посещаемости, конверсию, инвестиционную привлекательность для рекламодателей и так далее. Львиная доля трафика приходится на поисковые системы (самые популярные — это Яндекс и Google), из которых люди попадают на ваш проект через предоставленные ссылки. Последние ведут на страницы с соответствующими ключевыми словами, которые в той или иной форме вводили пользователи в качестве запроса. Роботы поисковиков анализируют интернет ресурсы, собирают данные и добавляют их в свою систему для дальнейшего обслуживания посетителей. Таким образом, чтобы конкретный пользователь увидел ваш сайт или, если быть точнее, конкретную страницу в поисковой выдаче, она должна быть добавлена в базу поисковика. То есть должна быть проведена индексация сайта в Гугл или Яндекс. Если процедура не завершена, через поисковую систему вас банально не найдут.

В этом вопросе имеет значение множество факторов и технологий работы. Очень важно, чтобы индексация сайта в Яндекс или Google охватывала как старые, так и новые страницы, все актуальные изменения в их содержании. В этом вам могут помочь различные инструменты и подходы. Например, очень востребована внутренняя перелинковка. Она обеспечивает переход с одной страницы ресурса на другую посредством установленной ссылки, что помогает ботам быстро пройти весь ресурс. Результатом станет полная индексация страниц сайта.

Другой важный фактор — уникальность контента. Чем больше схожих частей текста представлено на веб-сайте, тем ниже скорость индексирования. Или же она может быть полностью заблокирована, если поисковый робот посчитает, что ваш текстовый материал неуникален и был взят с других ресурсов. Поэтому уникальный контент — первое, что нужно реализовать, чтобы проверка индексации страницы проходила успешно.

Здесь стоит добавить и то, что наличие вашего проекта в поисковой системе — это в некоем роде защита от злоумышленников. Пока ресурс не будет отображаться в поисковике, ПС не сможет обнаружить ваши тексты при определении уникальности. Этим могут воспользоваться плохие люди, которые скопируют материалы с вашего проекта и опубликуют на своем. И после проверки индексация сайта в Google или Yandex уже будет проведена у них, но не у вас.

Вывод прост: регулярно следите, проиндексировался ли ваш проект. И делайте все возможное для ускорения процесса.

Проверка индексации в Yandex и Google

Есть множество инструментов и технологий для анализа доступности страниц вашего сайта в поисковых системах. Это могут быть как наработки самих ПС, так и сторонние инструменты. Начнем с отечественного поисковика. Узнать, прошла ли индексация сайта в Яндексе можно, используя специальные операторы при вводе поискового запроса:

• host. Загружает данные с доменов и поддоменов, показывает сведения об индексированных страницах;
• site. Показывает все страницы, доступные в базе ПС.

Чтобы ими воспользоваться, достаточно в поисковой строке ввести, к примеру, «site:адрес сайта». Вы получите всю необходимую информацию. Это поможет как узнать проиндексирован ли сайт, так и найти страницы, недоступные в базе.

Аналогично можно использовать и оператор host, чтобы получить дополнительные сведения и провести полный анализ проекта.

Обязательно обратите внимание на правильность написания команд, включая знаки препинания и пробелы. Если допустите ошибку, то получите недостоверные данные или вовсе пустую страницу. Не будет лишним проводить анализ, используя адрес сайта с www и без (при использовании host). Результаты могут быть совершенно разными.

Теперь необходимо разобраться, как проходит индексирование сайта в Google. Здесь используется уже знакомый нам оператор site. При этом важно отметить, что ввод адреса домена с www и без www покажет разные результаты в отличие от предыдущего поисковика. Этим проверка индексации страницы в Яндексе отличается от аналогичной процедуры в зарубежной системе. Попробуйте ввести в Google запрос «site:адрес сайта» (с www и без) и проанализируйте результаты.

Итоги проверки могут сильно различаться.

Что касается анализа конкретной страницы, то здесь все очень просто. Вам достаточно ввести ее адрес в поисковую строку и начать поиск. Если в выдаче появится ее сниппет (краткая информация), то все в порядке — проверка индексации страниц прошла успешно. Это актуально и для Яндекса, и для Гугла.

Инструменты проверки поисковых систем

Мы рассмотрели методы проверки каждой конкретной страницы или сайта целиком. А как провести более точный и глубокий анализ? Для этого можно использовать инструменты поисковиков. К примеру, сервис Yandex Webmaster. Здесь можно проверить индексацию страниц, вбив адрес в строку и нажать «Проверить URL». По завершении анализа предоставляется подробная информация по конкретным страницам ресурса.

Вы можете нажать на ссылку «Готово» в строке «Статус», чтобы получить более детальные сведения:

• посещал ли этот адрес бот поисковой системы;
• прошла ли индексация сайта Яндексом;
• когда бот последний раз посещал ресурс;
• статус доступа страницы и пр.

Эта информация очень полезна, так как позволяет определить состояние вашего проекта. Возможно, бот не может проиндексировать страницу, так как она банально недоступна. Рекомендации по решению проблем вы можете получить в разделе «Помощь».

Как проверить индексацию сайта в Гугл? Здесь также есть инструмент для вебмастеров — Google Webmaster. Необходимо зайти в раздел «Индекс Google», выбрать пункт «Статус индексирования» и нажать на кнопку «Расширенные данные».

Здесь доступны подробные сведения:

• состояние ресурса;
• количество проиндексированных страниц;
• количество заблокированных страниц (в том числе недоступных для ботов через robots.txt).

Как определить наличие страниц с помощью сторонних инструментов

Помимо поисковых систем, проверка сайта в Google и Yandex может быть проведена и с помощью сторонних инструментов. Например, это специальные плагины или букмарклеты — программы на JavaScript (или других языках), автоматизирующие процесс сбора информации. Все, что нужно здесь, — это ввести адрес сайта и запустить систему. Тут не требуется работать с самими поисковиками.

Плагины доступны в большом спектре и для самых разных браузеров: Google Chrome, Firefox и пр. Некоторые из них бесплатны. Другие же за отдельную плату предложат вам расширенный функционал. Букмарклеты работают как закладки. Вы сохраняете сайт, потом открываете закладку и получаете всю необходимую информацию. Имеет смысл использовать несколько плагинов, чтобы с высокой точностью определить, прошла ли проверка индексации сайта. Дело в том, что у инструментов могут различаться алгоритмы работы. И по одной и той же странице могут быть получены разные данные.

Популярные сервисы для анализа

Разумеется, это далеко не все возможности, доступные вебмастеру. Если вам нужна комплексная информация и ряд других сведений, то посмотреть индексацию сайта можно через специальные онлайн-сервисы. Причем каждый сможет подобрать инструмент под себя, опираясь на внешний вид, скорость работы, перечень предоставляемых данных и пр. Если вам требуется комплексная проверка сайта в Google и Яндекс, попробуйте следующие сервисы.

XSEO

Популярный ресурс, который много лет выручает SEO-специалистов.

После ввода адреса веб-сайта в соответствующее поле вы получите следующий набор сведений:

• данные веб-сайта;
• параметры ТИЦ и PR;
• наличие проекта в каталогах;
• активные внешние ссылки;
• количество страниц в Яндексе и Гугл;

Удобно, полезно, точно. Профессиональная проверка сайта на индексацию.

PR-CY

Все так же: вводите адрес домена и запускаете. Сервис показывает количество страниц в базе поисковиков, а также можно разделять индексы Гугла на второстепенный и главный.

Webmasters

Крупный SEO-форум, где можно не только найти полезную информацию, но и проверить сайт на индексацию в Гугле и Яндексе. Ресурс работает достаточно быстро и предоставляет полный набор информации, которой будет достаточно, чтобы сделать выводы по проекту и начать комплексную SEO оптимизацию. Главным достоинством сервиса является массовая проверка индексации страниц — возможность проводить одновременно анализ нескольких сайтов, что очень удобно на практике.

Почему проект не индексируется

Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.

Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.

Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.

Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.

Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.

В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.

В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.

Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.

В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.

Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:

• возраст сайта;
• состояние внутренней оптимизации (перелинковка);
• наличие ошибок на сайте;
• скорость загрузки страниц;
• количество и качество контента.

По этой причине рекомендуем регулярно проверять индексацию. Если же страницы даже спустя длительное время не добавляются в базу, не помешает организовать комплексный аудит с привлечением квалифицированных специалистов.