Нужно ли настраивать редирект для файла robots и sitemap при переезде сайта?

Нужно ли настраивать редирект для robots.txt

Нет, ни в коем случае нельзя запрещать индексацию в robots.txt на старом домене. Это критическая ошибка, которая может сорвать переезд сайта.

Если вы запретите сканирование старого сайта (например, директивой Disallow: /), поисковые роботы перестанут заходить на его страницы. В результате они просто не увидят ваши 301-е редиректы, не смогут склеить старые адреса с новыми и не передадут ссылочный вес и накопленные сигналы новому домену.

Ниже подробный разбор того, как поступить правильно.

Что делать с самим файлом `robots.txt`?

У вас есть два безопасных варианта, оба допустимы для Яндекса и Google:

Вариант А: Настроить 301 редирект для robots.txt (Рекомендуется Яндекс)

Яндекс официально подтверждает, что поддерживает редирект с robots.txt старого сайта на robots.txt нового.
- В этом случае робот перейдет по редиректу, прочитает файл на новом домене и будет использовать его правила.
- Важно: Убедитесь, что директивы в новом файле подходят и для старых URL (то есть не блокируют их), пока происходит склейка.
Вариант Б: Оставить файл доступным (код 200 OK) и разрешить все

Вы можете оставить физический файл robots.txt на старом домене без редиректа, но в нём должно быть разрешено сканирование всех страниц, с которых стоят редиректы.

Пример безопасного содержания для старого сайта:
```
User-agent: *
Allow: /
```
Или просто удалить файл (ответ сервера 404 тоже воспринимается как «сканирование разрешено»), но явный файл с Allow надежнее для контроля.

Почему нельзя запрещать индексацию (`Disallow`)?

Логика работы поискового робота при переезде выглядит так:

Робот приходит на старый URL (например, old-site.ru/page1).
Первым делом он проверяет robots.txt на старом домене (old-site.ru/robots.txt).
Сценарий ошибки: Если он видит Disallow: /, он разворачивается и уходит. Он не загружает страницу и не узнает, что на ней стоит 301 редирект. Склейка не происходит.
Правильный сценарий: Если сканирование разрешено (или стоит редирект на новый открытый robots.txt), робот загружает страницу, получает код ответа 301, переходит на новый адрес и передает вес.

Краткий чек-лист для переезда

Страницы сайта: Настройте постраничный 301 редирект со старых URL на аналогичные новые.
Robots.txt: Либо настройте 301 редирект на новый файл, либо оставьте старый файл открытым (Allow: /).
Яндекс.Вебмастер: Используйте инструмент «Переезд сайта» (хотя директива Host отменена, уведомление о смене главного зеркала через панель ускоряет процесс).
Google Search Console: Используйте инструмент Change of Address для уведомления о смене домена.

Нужно ли настраивать редирект для карты сайта sitemap.xml при переезде сайта

Официальные рекомендации Google и логика работы Яндекса здесь сходятся: файл карты сайта (sitemap.xml) лучше не редиректить, а оставить доступным по старому адресу на время переезда.

Вот что говорят официальные справки:

Google (Google Search Central)

В официальной документации по переносу сайтов Google дает прямую инструкцию не удалять и не редиректить старую карту сайта сразу.

Что делать: Google рекомендует отправить в Search Console две карты сайта:

Старую карту (со старыми URL) — чтобы робот прошел по ней, увидел редиректы и быстрее удалил старые страницы из индекса.
Новую карту (с новыми URL) — чтобы робот быстрее проиндексировал новый контент.

Цитата из справки: «Отправьте два файла Sitemap, которые вы подготовили ранее… Со временем количество проиндексированных страниц из старого файла Sitemap уменьшится до нуля».

Вывод: Если вы поставите 301 редирект на сам файл sitemap.xml, Googlebot просто попадет в новую карту и потеряет список старых адресов, которые ему нужно перепроверить для склейки.

Яндекс (Яндекс.Вебмастер)

У Яндекса нет жесткого запрета на редирект самой карты сайта, но его инструменты работают по той же логике.

Инструмент «Переезд сайта»: Для успешного переезда в Яндексе критически важно, чтобы робот обошел старые страницы и увидел, что они отдают код 301.
Логика: Оставленный на старом домене sitemap.xml (доступный по коду 200) служит списком адресов для приоритетного переобхода. Если вы его уберете, робот будет переобходить старые страницы в порядке общей очереди (что может быть медленно).

После того как в Вебмастере вы увидите, что зеркала склеены (главным зеркалом стал новый домен), старую карту сайта можно удалять.

Итоговый алгоритм по официальным источникам:

Не ставьте редирект на файл sitemap.xml на старом домене.
Внутри этого файла должны остаться старые ссылки (которые теперь отдают 301 редирект при переходе).
В robots.txt старого сайта оставьте директиву Sitemap: http://old-site.ru/sitemap.xml.
На новом домене создайте абсолютно новый sitemap.xml с новыми ссылками.