Почему индексация — отдельная задача
Половина каталога не в индексе, зато проиндексированы тысячи страниц фильтров и параметров; новые страницы попадают в индекс через месяц. Управление индексацией наводит порядок: открыть нужное, закрыть мусор правильными методами, актуальные sitemap, ускорение новых страниц. Для больших сайтов критичен краулинговый бюджет — робот должен тратить лимит на важное.
Как делаем
Анализ индекса и логов → открытие нужного → закрытие мусора → sitemap и robots → ускорение новых страниц → правила для краулингового бюджета → контроль по вебмастерам. 1–3 недели.
Пример
Магазин: 8 000 товаров, в индексе 3 000 плюс 30 000 мусорных страниц. Открыт каталог, закрыты параметры и служебные, sitemap по типам, правила бюджета. Через 2 месяца в индексе 7 800 товаров и 1 500 категорий без мусора; трафик вырос на 60%.