Поисковый робот и индексация сайта
+1

Робот поисковой системы
Очень важно, особенно на начальном этапе продвижения сайта, добиться его правильной индексации в поисковой системе. От этого в определенной мере зависит дальнейший рост популярности вашего ресурса.
В этой статье я попробую доступно объяснить, как страницы вашего сайта появляются в результатах поиска, как происходит индексация сайтов и, наконец, кто же такие поисковые роботы, чем они занимаются и как выполняют свои функции.

И так, обо всем по порядку.
Индексирование представляет собой процедуру просмотра интернет-страниц и занесения информации о них в базы данных. Именно этим и занимаются роботы поисковых систем. Они представляют собой специальные программы, по принципу действия, напоминающие стандартные браузеры. Роботы (англ. Crawler) анализируют содержание веб-страницы, и заносят информацию о нем на сервер поисковой системы. Робот хранит на нем список URL проиндексированных документов. Переход роботом на другие страницы сайта осуществляется по ссылкам, расположенным на данной странице. Таким образом, любая страница, на которую есть ссылки, может быть проиндексирована и, следовательно, будет доступна через поиск. Страницы с парольной защитой и с требование заполнить регистрационную форму не индексируются поисковыми системами.

В случаях, когда на ваш сайт еще нет внешних ссылок с других сайтов или их очень мало, полезно будет добавить его в списки поисковых систем. Это должно ускорить обнаружение роботом вашего сайта и его индексирование.
После того как робот впервые посетил ваш сайт, он будет периодически на него возвращаться для обновления информации о нем. После появление новых ссылок на страницах робот автоматически посетит их, и добавит себе информацию о новых страницах.

Существуют несколько разновидностей роботов: основные роботы, роботы, роботы, проверяющие сайт на доступность, роботы, индексирующие только картинки, роботы, индексирующие ленты подписки и др. Так основными считаются роботы, осуществляющие поиск и индексацию информации для добавления ее в основные базы данных. О их работе чуть позже, а пока пару слов о роботах, предназначенных для индексации только картинок. Этот робот представляет собой достаточно полезный инструмент для продвижения вашего сайта. В основном данный робот обращает внимание на содержание тегов <alt>, а также имена файлов ваших изображений. Так что в обязательном порядке обдуманно назначайте имена вашим файлам изображений, а также заполняйте теги альтернативного описания <alt>.
Первым посещают сайт роботы, проверяющие доступность сайта, и если сайт доступен, вслед за ними и другие поисковые роботы. Если вспомнить об основном индексирующем роботе, то сначала он обращается к файлу robot.txt, если такой присутствует на сайте, для того чтобы узнать, какие страницы нужно индексировать, а какие нет, а затем уже переходит на главную страницу. Более подробно об управлении индексацией сайта с помощью файла robot.txt я расскажу в одной из последующих статей. Необходимо также помнить, что индексируются не только документы HTML, но также PDF, DOC, RTF, TXT, Flash и др.

Чтобы ускорить индексирование вашего сайта нужно проделать несколько операций:
— запретить индексацию не информационных страниц в файле robot.txt;
— создать файл sitemap, который будет содержать информацию обо всех страницах сайта, подлежащих индексированию;
— а также создать карту сайта для пользователей, которая будет представлять собой меню, содержащее ссылки на все документы сайта.

И еще! Необходимо знать, что выпадение страниц из поиска может происходить еще и из-за сбоев в работе вашего сервера. Если во время посещения роботом страницы вашего сайта возник сбой в работе сервера, и страница оказалась недоступной, то робот удалит ее из поиска. Так что тщательно выбирайте хостинг – это поможет в будущем избежать вам многих проблем.

+1
Понравилась запись? Подпишитесь по RSS или E-mail!
Категории: Разное. Прямая ссылка на запись.

Комментарии к записи Поисковый робот и индексация сайта: 2

  1. МихаилUA сказал(а):

    Доброе время суток.
    Всё собираюсь зарегистрировать свой сайт.
    Вовремя попалась статья.
    Благодарен

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *