• О КОМПАНИИ
• УСЛУГИ
• ПОРТФОЛИО
• КОНТАКТЫ

• ИНСТРУКЦИИ ПО ЭКСПЛУАТАЦИИ

Что такое поисковый робот

Поисковый робот – это элемент поисковой системы, который занимается сбором новых данных о сайтах и их обновлениях.

Поисковый робот действует почти также, как браузер - считывает информацию с веб-страниц.

При этом поисковые системы могут иметь нескольких поисковых роботов, каждый из которых имеет свое конкретное задание для определенного сайта.

Стоит отметить, что одним из самых важных файлов для робота является корневой файл robots.txt, расположенный на подконтрольном сервере. Данный файл является инструкцией для робота, поэтому при отсутствии его, сайт может остаться непроиндексированным поисковыми системами.