info@mybigtime.ru 8 (800) 201-11-32
SEO · Техническая оптимизация

Настройка robots.txt и sitemap.xml

Robots.txt, который не закрывает нужное и закрывает мусор, и sitemap, в которых только индексируемые страницы с актуальными датами: базовая настройка, от которой зависит, что поиск увидит. Настройка robots.txt и sitemap.xml.

2–3 днятиповой срок Поиск видит нужное, мусор закрыт. от 8 000 ₽стоимость Ориентир для базового варианта. Точная цена — после бесплатного разбора задачи.
Все услуги направления
exchange.log
[09:00:28] что закрыто Аудит ok[09:12:35] мусор закрыт, нужное о Правила ok[09:20:44] только индексируемые Sitemap ok[09:41:27] из CMS Автоматизация ok[10:04:46] изображения, видео Специальные 389 шт[10:29:07] вебмастеры Контроль ok[10:41:00] summary ошибок 0, вручную 0

Что входит в работу

Наведите на карточку — раскроем, что именно делаем и зачем.

Почему robots и sitemap важны

Одна строка в robots закрыла весь каталог после переезда — трафик исчез за неделю; sitemap с закрытыми и удалёнными страницами вводит робота в заблуждение. Настройка robots.txt и sitemap.xml — базовая, но критичная: правильные правила закрытия, актуальные карты только с индексируемыми страницами, автоматическое обновление из CMS. Проверяем в вебмастерах и контролируем после каждого обновления сайта.

Как делаем

Аудит robots и sitemap → правила закрытия и открытия → sitemap по типам с фильтрацией → автоматизация генерации → специальные карты → валидация и контроль. 2–5 дней.

Пример

Сайт после редизайна: robots закрывал каталог, sitemap содержал 3 000 удалённых адресов. Исправлены директивы, sitemap перегенерирована с фильтрацией, автоматизация. Каталог вернулся в индекс за 3 недели, ошибки в вебмастерах исчезли.

Как настраиваются robots и sitemap

Схема работы — уточняется под вашу задачу.

Что делаем

Типовой состав — уточняется под вашу задачу.

ЭлементЧто делаемДля когоРезультат
Аудитчто закрытоSEOошибки
Правиламусор закрыт, нужное открытопоисккорректно
Sitemapтолько индексируемыероботдоверяет
Автоматизацияиз CMSИТактуально
Специальныеизображения, видеопоискполнота
Контрольвебмастерыруководствобез сюрпризов

Аудит и настройка robots.txt, генерация sitemap.xml по типам страниц с фильтрацией, автоматизация в CMS, sitemap для изображений и видео, валидация в Яндекс и Google.

Сколько стоит

Robots и sitemap

Настройка и проверка

  • Аудит
  • Правила robots
  • Sitemap по типам
  • Валидация
от 8 000 ₽2–3 дня Узнать подробнее Поиск видит нужное, мусор закрыт.

Для большого сайта

Автоматизация и специальные карты

  • Всё из базового
  • Автоматическая генерация из CMS
  • Индексный файл и специальные карты
  • Контроль после обновлений
от 25 000 ₽4–5 дней Узнать подробнее Карты актуальны всегда.

Сопровождение

Ежемесячно

  • Консультации и правки настроек
  • Обновления систем и доработок
  • Новые сценарии и отчёты по запросу
  • Реакция на проблему — до 4 часов
от 3 000 ₽по договору Узнать подробнее Проверка robots и sitemap после обновлений сайта.

Разбор задачи бесплатный: по его итогам получаете план работ и точную цену.

Как идёт работа

01

Разбор задачи

Бесплатно: цели, текущая ситуация, ограничения и бюджет. На выходе — план работ и точная цена.

02

Подготовка

Данные, доступы, согласование состава работ и сроков; фиксируем, что считаем результатом.

03

Работа

Выполняем по этапам с промежуточными результатами — вы видите прогресс, а не ждёте финала.

04

Сдача и поддержка

Передаём материалы и доступы, обучаем команду. 30 дней на вопросы и правки.

Что остаётся у вас

Результат работ с исходниками и доступами у вас
Документы и инструкции для команды
Понятные показатели для оценки эффекта
30 дней поддержки после сдачи

Частые вопросы

Настройка и проверка — от 8 000 ₽, большой сайт с автоматизацией — от 25 000 ₽.

2–3 дня; большой сайт — 4–5 дней.

Служебные разделы, параметры, поиск по сайту, дубли; не закрывать стили и скрипты, нужные для рендера.

Только индексируемые страницы с кодом 200, без закрытых и редиректов; актуальные даты изменения.

Для больших сайтов — по типам страниц через индексный файл; для изображений и видео — специальные.

После каждого обновления сайта: одна строка в robots может закрыть всё.

Здравствуйте! Меня зовут , я из компании . Связаться со мной можно по телефону , а обсудить хочу .

Спасибо, записали Свяжемся с вами в течение рабочего дня.