 Белый каталог сайтов KNEHT
Поисковые роботы и описание их работы
Автоматизированные программы, путешествующие по страницам и собирающие информацию и ссылки, называют поисковыми роботами.
Если вы зарегистрировали новую страницу в каталогах, то тотчас же роботом добавляется в список, для просмотра сайтов, новый URL. Даже если вы ничего не регистрируете, роботы найдут ваш сайт, потому, что в сети есть другие сайты, которые ссылаются на ваш. Вот по этой причине и важно размещать ссылки на других страницах.
Придя на сайт, роботы в первую очередь находят файл robots.txt., из которого узнают, есть ли на сайте страницы, недоступные роботам. Как правило, это те директории, которые не содержат информации, нужной роботу, или ту информацию, которую ему не надо знать.
Роботы собирают и сохраняют все ссылки с посещаемых страниц, для того, чтобы позже перейти по ним на следующие сайты. Весь интернет связан ссылками, так роботы и перемещаются.
Посмотреть информацию о том, посетил ли уже робот ваш сайт, можно посмотрев лог – файлы сервера и статистическую обработку файла. Выявив роботов на своей странице, вы увидите, какие страницы они посещают и с какой интенсивностью.
Некоторых роботов очень легко вычислить по именам, например \"Googlebot\". Другие же шифруются, и вычислить их не так легко. Помимо подсчёта визитов роботов на ваш сайт, и их идентификации, статистика может выявить роботов-агрессоров, которые не желательны, для посещений вашей страницы.
После внедрения на ваш сайт, робот будет периодически там появляться, и обновлять собранную информацию. Важнейшим элементом в работе поисковиков является постоянная индексация сайта. Конечный результат оптимизации сайта зависит от того, каким образом проиндексирован в поисковиках ваш сайт, и в каких поисковиках.
Как происходит процесс индексации?
В самом начале робот добавляет адрес сайта на специальную страницу, выдавая сообщение: адрес такой-то успешно добавлен. По мере следующих посещений роботом вашей страницы он станет доступным для поиска.
Поэтому в самом начале продвижения вашего сайта вам непременно нужно добиться того, чтобы роботы поисковых систем находили и индексировали ваш сайт. Найдя ваш сайт, поисковая страница по словам ссылок определяет, о чём он. Каждый робот имеет свой индивидуальный алгоритм, для обработки и оценки полученной информации. А за этим, в зависимости от настроек робота, полученная информация индексируется и добавляется в базу данных поисковика.
Опубликовано: 08.01.2011
Каталог сайтов публикует материалы, связанные с интернет-технологиями, созданием, оптимизацией и продвижением сайтов,
а также другие полезные и интересные статьи, способные заинтересовать посетителей. Если Вы располагаете подобными материалами
и хотите опубликовать их на нашем сайте, то можете это сделать ЗДЕСЬ или отправляйте их нам по E-mail, указанному в разделе «Контакты» меню Справка.
Установка ссылок допускается только по теме статей и не более двух. Имя и E-mail автора публикуется по Вашему желанию. |
|
Раньше предприниматели не очень стремились заключать контракты на поставки своей продукции государству, так как оно не раз обманывало их, устанавливая свои...(Полный текст)
|
|
<p dir="ltr">Сегодня владелец сайта должен понимать, какая ответственность находится на его плечах, если он берется за ведение портала в сети. Сайт – это визитная карточка вашей...(Полный текст)
|
Знаете, что такое настоящий азарт? Это самое удивительное на Земле чувство. Что может быть лучше того, чем само предвкушение победы. И только в настоящей Лотерее...(Полный текст)
|
|
Авто/Мото 
Бизнес 
Здоровье 
Интернет 
Компьютеры 
Культура 
Мобильная связь 
Образование 
Общество 
Отдых и досуг 
СМИ 
Спорт 
Справки 
Товары 
Финансы 
Прочее