 Белый каталог сайтов KNEHT
Поисковые роботы и описание их работы
Автоматизированные программы, путешествующие по страницам и собирающие информацию и ссылки, называют поисковыми роботами.
Если вы зарегистрировали новую страницу в каталогах, то тотчас же роботом добавляется в список, для просмотра сайтов, новый URL. Даже если вы ничего не регистрируете, роботы найдут ваш сайт, потому, что в сети есть другие сайты, которые ссылаются на ваш. Вот по этой причине и важно размещать ссылки на других страницах.
Придя на сайт, роботы в первую очередь находят файл robots.txt., из которого узнают, есть ли на сайте страницы, недоступные роботам. Как правило, это те директории, которые не содержат информации, нужной роботу, или ту информацию, которую ему не надо знать.
Роботы собирают и сохраняют все ссылки с посещаемых страниц, для того, чтобы позже перейти по ним на следующие сайты. Весь интернет связан ссылками, так роботы и перемещаются.
Посмотреть информацию о том, посетил ли уже робот ваш сайт, можно посмотрев лог – файлы сервера и статистическую обработку файла. Выявив роботов на своей странице, вы увидите, какие страницы они посещают и с какой интенсивностью.
Некоторых роботов очень легко вычислить по именам, например \"Googlebot\". Другие же шифруются, и вычислить их не так легко. Помимо подсчёта визитов роботов на ваш сайт, и их идентификации, статистика может выявить роботов-агрессоров, которые не желательны, для посещений вашей страницы.
После внедрения на ваш сайт, робот будет периодически там появляться, и обновлять собранную информацию. Важнейшим элементом в работе поисковиков является постоянная индексация сайта. Конечный результат оптимизации сайта зависит от того, каким образом проиндексирован в поисковиках ваш сайт, и в каких поисковиках.
Как происходит процесс индексации?
В самом начале робот добавляет адрес сайта на специальную страницу, выдавая сообщение: адрес такой-то успешно добавлен. По мере следующих посещений роботом вашей страницы он станет доступным для поиска.
Поэтому в самом начале продвижения вашего сайта вам непременно нужно добиться того, чтобы роботы поисковых систем находили и индексировали ваш сайт. Найдя ваш сайт, поисковая страница по словам ссылок определяет, о чём он. Каждый робот имеет свой индивидуальный алгоритм, для обработки и оценки полученной информации. А за этим, в зависимости от настроек робота, полученная информация индексируется и добавляется в базу данных поисковика.
Опубликовано: 08.01.2011
Каталог сайтов публикует материалы, связанные с интернет-технологиями, созданием, оптимизацией и продвижением сайтов,
а также другие полезные и интересные статьи, способные заинтересовать посетителей. Если Вы располагаете подобными материалами
и хотите опубликовать их на нашем сайте, то можете это сделать ЗДЕСЬ или отправляйте их нам по E-mail, указанному в разделе «Контакты» меню Справка.
Установка ссылок допускается только по теме статей и не более двух. Имя и E-mail автора публикуется по Вашему желанию. |
|
|
В настоящее время в сети существует масса сервисов, предлагающих услуги автоматической регистрации сайтов, размещения статей и объявлений в тысячах каталогов сайтов, статей и досок объявлений....(Полный текст)
|
|
Основной задачей любого владельца сайта является обеспечение постоянного притока посетителей на его ресурс, а основным источником интернет-трафика являются поисковые системы. Вот почему так важно не...(Полный текст)
|
|
Интернет - это не только безграничное море информации, постоянно обновляемой и дополняемой. Интернет - это неиссякаемый источник дохода. Почему, спросите вы? Да потому, что каждый день каталоги...(Полный текст)
|
|
Авто/Мото 
Бизнес 
Здоровье 
Интернет 
Компьютеры 
Культура 
Мобильная связь 
Образование 
Общество 
Отдых и досуг 
СМИ 
Спорт 
Справки 
Товары 
Финансы 
Прочее