Как выбрать материал, в который можно добавить ссылку на новый? Для этого используется поисковик и специальный тип запроса «ключевое слово сайт: домен.ру», например, для этой статьи можно выбрать следующие страницы для перелинковки:
Индексация сайта
Для открытия интернет-магазина, запуска информационного или развлекательного портала в сети необходим сайт; это буквально место или сегмент в виртуальном пространстве с уникальным адресом (доменом), где находится контент и файлы проекта. Но для того, чтобы ресурс можно было найти среди других, он должен быть «зарегистрирован» в специальной базе данных поисковой системы — индексе.
Что такое индексация сайта? Как его запустить и проверить правильно? Можно ли ускорить этот процесс и вообще отказаться от него? На что влияет индекс? На все вопросы подробно даны ответы в этой статье.
Разбираемся в понятиях
Индексация страниц — это процесс сбора, проверки и внесения информации о содержании сайта в базу данных поисковых систем. Такая сложная и трудоемкая работа поручается специальным роботам, которые полностью обходят весь сайт и, следуя установленным алгоритмам ПС, собирают информацию со страниц. При индексации учитываются внешние и внутренние ссылки, графические элементы, текстовое наполнение и прочее. Если ресурс проходит проверку, он включается в индекс ПС, то есть пользователи смогут найти его с помощью поисковых запросов.
Вся информация в базе данных представляет собой смесь данных, собранных поисковыми роботами с интернет-сайтов. Пользователю, запросившему доступ к такой библиотеке через PS, сначала предлагается каталог сайтов с информацией, относящейся к запросу. Поисковые системы ранжируют ресурсы по собственным алгоритмам, учитывая полезность, тематику и другие параметры. Просмотрев краткую информацию о ресурсе (заголовок + сниппет), пользователь нажимает на позицию в выдаче и переходит на лендинг для дальнейшего изучения.
Попытки структурировать сайты в сети предпринимались в конце 90-х годов прошлого века. В то время алгоритмы PS только разрабатывались, поэтому индекс выглядел как предметный указатель ключевых слов, которые боты находили на просматриваемых ими страницах. Следовательно, в ТОП проблемы часто попадали переоптимизированные и абсолютно бесполезные для пользователей сайты. Алгоритмы отбора за 20-30 лет разработки усложнились. Сейчас роботы смотрят не только на контент, который идет в тему, но и на его качество, полезность для людей, доступность сайта с разных устройств, скорость загрузки и многое другое.
Я не говорю, что вы должны публиковать сообщения каждый день, хотя это было бы идеально. Но нужно выработать определенную частоту публикации записей. Если вы публикуете по несколько постов в день в течение длительного времени, то на вашем сайте буквально будут жить спидботы поисковых систем, и контент попадет в индекс практически моментально.
Как индексирует сайты Гугл и Яндекс
Яндекс и Google, пожалуй, самые популярные поисковые системы в России. Чтобы поисковые системы проиндексировали ваш сайт, вам необходимо сообщить об этом. Вы можете сделать это двумя способами:
- Добавить сайт в индексацию с помощью ссылок на другие ресурсы в Интернете – этот способ считается оптимальным, так как найденные таким образом страницы робот считает полезными, а их индексация происходит быстрее – от 12 часов до двух недель.
- Отправьте сайт на индексацию, заполнив специальную форму поисковика вручную с помощью Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и т.д.
Второй способ более медленный, сайт стоит в очереди и индексируется две недели и более.
В среднем новые сайты и страницы индексируются за 1-2 недели.
Считается, что Google быстрее индексирует сайты. Это связано с тем, что поисковая система Google индексирует все страницы, как полезные, так и бесполезные. Однако в рейтинг попадает только качественный контент.
Яндекс медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.
Сайт индексируется так:
- поисковый робот находит портал и изучает его содержимое;
- полученная информация заносится в базу данных;
- примерно через две недели материал, успешно прошедший индексацию, появится в результатах поиска по запросу.
Есть 3 способа проверить индексацию сайта и его страниц в Google и Яндексе:
- использовать инструменты для веб-мастеров: google.com/webmasters или webmaster.yandex.ru;
- при вводе специальных команд в поисковую строку команда для Яндекса будет выглядеть так: host — имя сайта + домен верхнего уровня; а для Google — сайт: имя сайта + домен;
- с помощью специальных автоматических сервисов.
Проверяем индексацию
Это можно сделать с помощью:
От того, насколько быстро роботы проиндексируют его, зависит скорость появления нового материала в результатах поиска, тем быстрее целевая аудитория придет на сайт.
Чтобы ускорить индексацию поисковыми системами, нужно следовать некоторым рекомендациям.
- Добавьте свой сайт в поисковую систему.
- Регулярно наполняйте проект уникальным и полезным контентом.
- Навигация по сайту должна быть удобной, доступ к страницам должен быть не дальше 3-х кликов от главной.
- Разместите ресурс на быстром и надежном хостинге.
- Правильно настройте robots.txt — уберите ненужные баны, закройте служебные страницы от индексации.
- Проверка на ошибки, количество ключевых слов.
- Сделать внутренние ссылки (ссылки на другие страницы).
- Размещайте ссылки на статьи в социальных сетях, социальных закладках.
- Вы можете создать одну карту сайта, даже две, для посетителей и для роботов.
В этой статье мы расскажем вам, что делать на вашем сайте, чтобы у вас никогда не было проблем с индексацией новых или старых страниц. Да, мы пишем о старом контенте неспроста, потому что вы можете его обновить и тогда его нужно переиндексировать. Но обо всем по порядку.
Структура сайта
Как бы глупо это ни звучало, структура сайта должна быть последовательной и логичной.
В целом правильная и понятная структура сайта важна не только для поисковых систем, но и для пользователей.
Под «правильной структурой» мы подразумеваем что-то вроде следующего изображения:
Правильная структура сайта
Там, где есть главная страница, страницы основных категорий, подкатегории и товары/услуги/регистрации. Пользователь должен четко понимать, где он сейчас находится и куда ему нужно идти, чтобы добраться туда, куда ему нужно.
Это как метро. Представьте, если все ветки перемешаются между собой и карты метро исчезнут? Это то, что приведет к хаосу. Это ваш сайт. Если его посещают тысячи людей и в нем нет логической структуры, хаос и недостойное поведение неизбежны.
Но раз уж мы сейчас заговорили об индексации, то поговорим о роботах. Это бездушные машины, которые сами ничего не могут угадать. Они просто ходят по ссылкам. Если вы запустили новый контент и он лежит где-то в закромах, куда не щелкнула человеческая рука, бот может долго его не находить. Такой подход значительно замедлит индексацию вашего сайта.
Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть за 3-4 клика с главной страницы.
Промоутирование на главной
Понятно, что главная страница — это самая посещаемая страница сайта. Пользователи и роботы заходят на главную страницу сайта, чтобы сначала оценить, что нового на сайте. Это означает, что если вы размещаете весь новый контент на главной странице, все, как поисковые роботы, так и пользователи, увидят его быстрее. Разве это не то, что нам нужно?
Блокировать с новым контентом
Размещение нового контента на главной странице имеет два преимущества: он быстрее индексируется и главная страница переносит часть своего веса, что, несомненно, помогает в SEO-продвижении сайта. Поэтому, продвигая весь новый контент на главной странице сайта, вы убиваете двух зайцев одним выстрелом.
Чтобы попасть в первые несколько строк номера, сайт должен присутствовать в индексе целевых поисковых систем. И попасть туда действительно важно, так как первые 10 ссылок собирают 95% поискового трафика.
Как закрыть сайт от индексации и зачем это делать
Поисковые роботы не будут индексировать страницы, доступ к которым вы закрыли. Эти страницы не будут отображаться в результатах поиска, они не будут известны поисковым системам.
Например, сайт скрывается от поисковых систем, когда страницы сайта меняются полностью или почти полностью. Сайт не будет виден, пока он не будет полностью готов.
Чаще всего закрываются отдельные страницы, например, страницы с технической информацией, служебные страницы, конфиденциальные данные, дубликаты, страницы, над которыми ведется работа. Если вы проиндексируете такие страницы, вы можете не появиться в результатах поиска.
Есть два способа отключить сканирование:
1. Через файл robots.txt. Закрыть сайт или несколько страниц от индексации проще всего в специальном файле: robots.txt. Они прописывают правила для поисковых роботов, то есть сообщают поисковым системам, как сайт должен быть проиндексирован. Чтобы запретить индексацию страницы, файла или всей папки, достаточно написать директиву Disallow рядом с путем. И не забудьте добавить в начало правила директиву User-agent. С вашей помощью поисковый бот поймет, к какому поисковому боту относятся правила. Вот пример, где для всех поисковых ботов звездочка (*) в директиве агента пользователя означает «все», индексация всего сайта запрещена:
2. Через метатег robots на странице. Подходит, когда нужно скрыть страницу. На выбранной странице в метатеге robots добавьте значения noindex и nofollow в атрибут content. Noindex — страница закрыта для индексации, nofollow — запрещает роботу переходить по ссылкам на странице:
Как ускорить индексацию сайта
Чем быстрее поисковые роботы сканируют новые страницы, тем быстрее контент сайта появляется в результатах поиска и начинает привлекать трафик. Соблюдение этих правил может повлиять на скорость индексирования.
- Зарегистрируйте сайт на быстром хостинге.
- Отправьте сайт на индексацию в Яндекс и Google самостоятельно; это можно сделать в Webmaster и Google Search Console соответственно.
- Правильно сформировать файл robots.txt: Запретить индексацию технических и сервисных страниц.
- Создайте файл sitemap.xml — это карта сайта, которая помогает роботам быстро проверять структуру сайта и индексировать новые страницы. Карта сайта должна находиться в корневой папке сайта.
- Проверяйте страницы на наличие дубликатов.
- Проверьте контент на количество ключевых слов — если их недостаточно или слишком много, сайту потребуется больше времени для проверки.
- Регулярно публикуйте на сайте новый контент, который интересует пользователей. Настройте перелинковку — связывайте страницы внутри одного сайта ссылками.
- Уменьшите вес изображений и видео: тяжелая графика замедляет скорость загрузки сайта и негативно влияет на индексацию.
- Улучшить юзабилити сайта: облегчить навигацию, простой дизайн, организовать необходимые кнопки и формы, которые упростят процесс покупки, добавить оплату в один клик, раздел с информацией о компании и доставке. Это все поведенческие факторы. Они влияют на позицию сайта в результатах поиска.
Конкретную рекомендацию дать сложно. Если у вас очень маленький сайт, скорее всего, HTML-карта не даст вам ничего полезного. Если вы чувствуете, что со структурой не все просто, то лучше перестраховаться и все-таки сделать карту.
Проверка индексации сайта в поисковых системах
Есть несколько способов проверить, проиндексирован ли веб-адрес, как через поисковые системы, так и с помощью сторонних сервисов.
Специальные операторы
Количество разделов, проиндексированных через ПС, можно проверить с помощью специального оператора «сайт:домен.ру». Для этого необходимо после него в строке добавить адрес веб-ресурса. Примерное количество указано вверху результатов поиска.
«Найдено 640 результатов» означает, что в индексе поисковой системы находится 640 страниц этого сайта.
Фраза «Результаты: примерно 603» указывает на 603 проиндексированных страницы сайта исследования.
Если результаты в разных ПС сильно отличаются, это говорит о том, что есть проблемы в обнаружении страниц роботами на сайтах или другие проблемы. Посмотрите ошибки, которые указаны в сервисах для Вебмастеров.
Сервисы для вебмастеров
Если вы используете Google Search Console, выберите ресурс, информацию о котором вы хотите просмотреть, и в блоке «Индекс» нажмите «Покрытие». Таким образом, вы увидите, какие страницы проиндексированы Google, а какие страницы имеют проблемы.
При работе с панелью вебмастера Яндекса нужно открыть меню «Индексация сайта» и перейти на вкладку «Страницы в поиске».
Этот метод позволяет увидеть, сколько URL проиндексировано, и отследить динамику.
Сторонние сервисы
Верификация будет возможна бесплатно с помощью сторонних сервисов. Для этого подходят инструменты от pr-cy.ru. Для просмотра данных индексации нужно указать ссылку на свободной строке и нажать «Проверить». После этого на экране появится информация о том, как добраться до индекса, пробках и последних событиях. Ресурс показывает количество ошибок и успешных текстов.
Аналогично работают инструменты be1.ru. Указание адреса и нажатие кнопки «Анализировать» приводит пользователя к ключевым показателям. Здесь также легко увидеть, адаптирован ли сервис для использования на мобильных устройствах, какова скорость загрузки и динамика трафика.
Видеоролик про проверку и ускорению индексации
В обучающем видео, которое специалисты студии подготовили к SEO-марафону, мы рассказываем о поисковой индексации. В нем мы объясняем, что это такое, почему это важно для SEO и как и где проверить индексацию сайта. Даем рекомендации, как ускорить индексацию страниц поисковыми системами.
