Техническая оптимизация сайта: robots.txt, карта сайта, canonical и коды ответа

Техническая база выступает обязательным фундаментом: если сервер отдает страницы без задержек и ошибок, а служебные файлы направляют робота по верным адресам, в дело вступает контент. Поисковый робот должен не просто открыть страницу, но и найти на ней понятный ответ на запрос пользователя, логичную иерархию подзаголовков и удобную внутреннюю перелинковку между смежными темами.

Понять, как улучшить сайт с помощью внутренней оптимизации, достаточно просто: когда робот без проблем сканирует страницы, переходите к проработке тегов Title и Description, очищайте страницы от неинформативных блоков и связывайте статьи перекрестными ссылками. Без исправной техники качественные тексты не получат видимости в поиске, но и идеальная техническая настройка без содержательного наполнения не приведет посетителей из поиска.

Составить файл можно в обычном текстовом редакторе, придерживаясь строгих правил синтаксиса поисковых систем.

Шаг 1. Определите служебные разделы. Выпишите адреса страниц, которые не несут ценности для людей в поиске: панель управления, результаты внутреннего поиска, корзина заказов, страницы авторизации и системные скрипты.

Шаг 2. Задайте правила для роботов. Пропишите строку с указанием робота и перечислите запрещающие команды для каждого служебного каталога.

Шаг 3. Укажите ссылку на карту сайта. Добавьте директиву с полным адресом XML-карты, чтобы роботы сразу знали, где искать полный список актуальных страниц.

Шаг 4. Загрузите файл на сервер и проверьте синтаксис. Разместите готовый документ в корневой директории сайта и откройте его в браузере по прямому адресу.

Пример базового файла robots.txt для небольшого сайта выглядит следующим образом:

Plaintext

User-agent: *

Disallow: /admin/

Disallow: /cart/

Disallow: /search/

Allow: /

Clean-param: utm_source&utm_medium /catalog/

Sitemap: https://site.ru/sitemap.xml

Директива Clean-param в robots.txt убирает из сканирования копии страниц, которые формируются из-за добавления рекламных или партнерских меток. Когда пользователь кликает по рекламе, в адрес страницы подставляются параметры, но благодаря этой инструкции поисковый робот понимает, что содержание страницы не изменилось, и не тратит время на повторный обход одного и того же товара. Эту директиву понимает только Яндекс, другие поисковые системы её игнорируют.

Важно четко понимать, что значит Disallow в robots.txt: эта директива запрещает поисковому роботу переходить по адресу и сканировать его содержимое, но не гарантирует полное исчезновение адреса из результатов поиска. Если на закрытую страницу ведут внешние или внутренние ссылки, поисковая система может добавить адрес в поисковую выдачу без описания и текста.

Устаревшие команды Host и Crawl-delay современные поисковые системы больше не учитывают. Для указания главного зеркала сайта и перенаправления посетителей с адресов без SSL-сертификата сейчас используют стандартный серверный механизм, о котором подробно рассказывает статья редирект 301.

Через robots.txt запретить индексацию раздела можно одной строкой Disallow, указав путь к нужной папке или знак косой черты для полного закрытия всего сайта. Однако этот метод работает только как просьба не посещать страницы при сканировании.

Нужно помнить: чтобы закрыть сайт от индексации, robots.txt не годится, если страницы уже попали в поиск и сохранены в базе робота. В такой ситуации робот просто перестанет заходить на страницы, зафиксирует старую копию и не сможет прочитать запрещающие метатеги в HTML-коде. Если сайт находится на этапе разработки или тестирования, самым надежным решением будет закрыть доступ к нему паролем на уровне сервера.

Регулярная проверка robots.txt помогает избежать ситуаций, когда после обновления сайта важные разделы каталога оказываются заблокированы. В Яндекс Вебмастере для этого открывают раздел «Инструменты» и выбирают пункт «Анализ robots.txt», где можно вставить адрес любой страницы и сразу увидеть, разрешен ли к ней доступ. В Google Search Console аналогичные данные о доступности файлов и страниц можно проверить через отчёт о файле robots.txt или функцию проверки конкретного URL.

В файле sitemap.xml собраны адреса страниц, дата их последнего обновления и указания на приоритет сканирования для поисковых роботов. Этот файл должен содержать только чистые канонические адреса, которые доступны без перенаправлений, отдают корректный код ответа 200 и полностью открыты для сканирования и отображения в результатах поиска.

Служебный файл sitemap не заставляет робота в обязательном порядке взять страницы в поиск, а служит подсказкой, какие адреса существуют и когда в них вносились правки. У файла есть четкий предел по размеру и общему количеству включаемых ссылок, поэтому большой сайт делит карту на несколько файлов и объединяет их через общий индексный документ.

Процесс генерации карты сайта зависит от используемой платформы и размера проекта.

Шаг 1. Активируйте генерацию карты в вашей системе управления. Большинство современных систем управления сайтом и облачных конструкторов создают файл карты автоматически и обновляют его при добавлении новых страниц.

Шаг 2. Проверьте содержимое сформированного файла. Откройте сформированный адрес в браузере и убедитесь, что в перечень не попали тестовые разделы, дублирующие параметры, страницы с редиректами или несуществующие адреса.

Шаг 3. Сообщите поисковым системам адрес карты. Пропишите путь к файлу в robots.txt и добавьте ссылку в панели для вебмастеров.

Современный генератор sitemap встроен почти в каждую CMS, что избавляет владельца сайта от необходимости формировать разметку вручную. Отдельные программы для сканирования и генерации XML-списков требуются в основном старым самописным проектам, где нет встроенных модулей автоматизации.

Создать sitemap.xml вручную имеет смысл только для сайта из нескольких страниц, когда структура статична и не меняется годами. Если проект регулярно публикует статьи или пополняет товарные позиции, ручной файл быстро устареет, ведь каждую новую ссылку придется вносить самостоятельно.

Популярный блоговый движок sitemap WordPress делает встроенными средствами, а специализированные SEO-плагины позволяют гибко настраивать вывод определенных типов записей, исключая лишние таксономии. Чтобы поисковые системы вовремя узнавали об обновлениях, файл регистрируют в панелях управления: для Яндекса инструкцию описывает материал Яндекс Вебмастер, а для зарубежного поисковика шаги раскрыты в статье Google Search Console.

Специальный тег размещается в секции заголовка HTML-документа и сообщает роботу, куда направлять ссылочный вес и какой именно адрес показывать людям в поиске.

HTML

<link rel="canonical" href="https://site.ru/catalog/item/" />

Важно помнить, что указание канонического адреса служит рекомендацией для поисковой машины, а не строгим приказом. Поисковый робот сопоставляет содержимое страниц, и если страницы заметно отличаются друг от друга текстом или структурой, поисковик вправе проигнорировать подсказку и оставить в выдаче оба адреса.

Задать правильный канонический адрес можно вручную в шаблоне страницы, через интерфейс используемой CMS или с помощью модулей для поисковой оптимизации. Канонический URL обязательно должен быть полным, содержать протокол https, отдавать серверный код 200 и быть доступным для сканирования без каких-либо запретов в файле robots.txt.

Если на странице с параметрами сортировки указать адрес основной категории как канонический, поисковая система объединит сигналы этих страниц и будет отображать в выдаче только чистый адрес категории.

В Яндекс Вебмастере в разделе «Индексирование» в отчёте «Страницы в поиске» можно увидеть отдельный статус для адресов, которые робот счел второстепенными копиями. Поисковая система фиксирует, что на странице обнаружен другой канонический адрес, либо алгоритм самостоятельно выбрал более подходящий URL для отображения в результатах поиска.

Если поисковая система выбрала тот адрес, который вы и планировали сделать основным, никаких действий предпринимать не требуется. Если же робот ошибочно признал неканонической важную страницу, проверьте правильность тега в коде, исключите дублирование контента и убедитесь, что внутренние ссылки на сайте ведут строго на целевой адрес.

Когда страницу требуется полностью исключить из результатов поиска, не закрывая к ней доступ пользователям по прямой ссылке, применяют служебный метатег. Метатег robots со значением noindex сообщает роботу, что документ нельзя сохранять в поисковую базу.

HTML

<meta name="robots" content="noindex, follow" />

Пара noindex, nofollow значит, что поисковый робот не должен добавлять текущую страницу в поисковую выдачу и не должен переходить по ссылкам, которые на ней размещены. На практике чаще используют комбинацию noindex, follow: она скрывает от поиска служебные или архивные страницы, но позволяет роботу свободно идти по ссылкам дальше, не прерывая обход сайта.

Служебный тег noindex Яндекса работает совершенно иначе: это не метатег заголовка, а специальный тег разметки в теле страницы, с помощью которого можно скрыть от учета Яндексом отдельный фрагмент текста, например блок технической информации или сквозное меню. Робот Google этот закрывающий тег не обрабатывает и воспринимает заключенный в него текст как обычную часть страницы.

Распространенная ошибка вебмастеров — одновременная попытка закрыть страницу через файл robots.txt и с помощью метатега noindex. Если робот встречает запрет на обход в текстовом файле, он просто не загружает саму страницу и не может прочесть метатег в коде, из-за чего адрес может продолжить отображаться в поиске.

Контролировать корректность серверных заголовков можно с помощью стандартных и общедоступных инструментов.

Проверить ответ сервера можно без программ: в Яндекс Вебмастере в разделе «Инструменты» есть «Проверка ответа сервера» — вставляете адрес страницы и видите код. Сервис сразу показывает не только сам числовой статус, но и время ответа сервера, а также заголовки перенаправления, если для страницы настроен редирект.

Проверить код ответа сервера можно прямо в браузере с помощью встроенных инструментов разработчика. Для этого достаточно открыть панель исследования элементов, перейти на вкладку анализа сети, обновить страницу и посмотреть числовой статус в первой строке загруженного документа.

Для массовой проверки страниц используют сторонние решения. Специальная программа-краулер, которая обходит сайт как робот, сканирует все внутренние ссылки проекта подряд и формирует наглядный список страниц с указанием кодов ответа, помогая моментально обнаружить скрытые сбои.

Регулярная проверка кода ответа сервера жизненно необходима после глобального переноса сайта, изменения структуры каталога или массового удаления старых товаров, чтобы не потерять накопленные позиции в поиске.

Битые ссылки — это ссылки на страницы, которых больше нет на сайте или адрес которых был написан с опечаткой. Переходя по такому адресу, пользователь упирается в страницу с ошибкой, испытывает разочарование и закрывает сайт, а поисковый робот впустую расходует время, выделенное на обход проекта.

Плановая проверка битых ссылок выполняется через панели для вебмастеров или краулеры. В Яндекс Вебмастере для этого предусмотрен специальный раздел «Ссылки», где фиксируются некорректные внутренние переходы. Устраняют проблему либо прямой правкой ссылки в тексте, либо настройкой постоянного редиректа 301 на актуальный раздел.

Адаптивность сайта — это способность страниц автоматически подстраиваться под размер экрана телефона или планшета без потери читаемости и функционала. Полноценная мобильная версия сайта сегодня критически важна: большинство пользователей просматривают веб-страницы со смартфонов, а поисковые системы оценивают технические параметры сайта в первую очередь по его мобильной версии.

Своевременная проверка адаптивности сайта позволяет убедиться, что посетители не испытывают трудностей при заказе услуг. Проверить верстку можно вручную на собственном смартфоне, через режим эмуляции устройств в инструментах разработчика браузера или с помощью специализированного инструмента Google PageSpeed Insights. Главное, на что следует обращать внимание: отсутствие горизонтальной прокрутки, крупный и легко читаемый шрифт, а также достаточное расстояние между интерактивными кнопками и ссылками меню.

На ранжирование мобильных страниц напрямую влияет быстродействие верстки. О том, как измерить время отрисовки и оптимизировать тяжелые скрипты, читайте в обзоре скорость загрузки сайта. Также важно проследить, чтобы протокол https и главное зеркало были согласованы: адреса с www и без него, а также старые незащищенные страницы должны перенаправлять на единый адрес через постоянный редирект.