robots.txt управляет тем, какие разделы сайта поисковый робот может обходить — служебные страницы админки, поиск по сайту и корзину обычно стоит закрывать здесь.
sitemap.xml, наоборот, перечисляет страницы, которые нужно проиндексировать — ссылку на него стоит указать прямо в robots.txt строкой Sitemap.
Готовый robots.txt под конкретную CMS можно собрать «Генератором robots.txt» из раздела «Программы» — он учитывает типовые служебные пути Joomla и WordPress.
User-agent: *
Disallow: /administrator/
Sitemap: https://amersoft.ru/sitemap.xml
