Переходим к пунктам, на которые необходимо обратить большое внимание во время оптимизации.

Первое: файл robotx. txt. Мы уже разглядывали этот файл, по этому пройдемся по данному пункту поверхностно.

Вы, наверняка, еще не забыли, зачем нужен robots. txt. Этот файл находится в корневой директории, и его важная задача – донести до поисковых роботов команды, которые написал web-мастер. Подробная статья про - как сделать факел из бумаги pzforum.net.

Главная команда: user-agent, позволяет задать наименование бота.

С помощью команды dissalow можно воспретить доступ к файлам или к целой папке. Путь указывается от корневого каталога, в большинстве случаев указывается сам каталог.

Наличие файла необязательно, но эксперты советуют создавать robotx. txt для абсолютно всех сайтов, даже в том случае, если вы не запланировали ставить никаких запретов. Если вы прочитаете предыдущие статьи про файл robotx. txt, то узнаете, что у любого сайта есть папки, которые лучше закрыть от индексации. Если не применяете никаких запретов, то создайте пустой файл, чтобы потом добавить корректировки.

Этот файл может потребоваться в любое время, тем более когда поисковые машины проиндексируют неиспользуемые страницы или дубли, способных привести к бану сайта. Поисковые машины не любят дублирующие страницы и накладуют на подобный интернет ресурс фильтр.