Что делает поле с символами?

Для каждого символа добавляется Disallow: *символ. Так закрывают адреса с ?&= и другими знаками в URL.

Яндекс использует Host как главное зеркало. Строка появляется, когда указан адрес сайта.

Куда уходят данные формы?

Никуда. Текст файла собирается в браузере.

Нужна ли регистрация?

Нет. Скопируйте или скачайте robots.txt и загрузите на сервер.

Генератор robots.txt

Собирает файл правил для поисковых роботов: агент, Disallow, Host и Sitemap.

Адрес вашего сайта

Выберите, для какого робота указать правила

Для всехТолько ЯндексТолько GoogleДля другого

Запретить все страницы, содержащие символы

Для каждого символа добавится правило вроде Disallow: *?

Запретить конкретные страницы и папки

По одному пути на строку, например /admin или /private/

Адрес XML-карты сайта

Ваш robots.txt

User-agent: *
Disallow: /admin
Disallow: *?
Disallow: *&
Disallow: *=

smart_toy

Агенты

Правила для Яндекса, Google и других ботов

folder_off

Разделы

Disallow, пути и символы в адресе

account_tree

Sitemap

Укажите карту сайта в готовом файле

Загрузка генератора robots.txt…

Описание

Укажите сайт, роботов, закрытые пути и символы в адресе — файл появится сразу. Его можно скопировать или скачать и положить в корень сайта. Генерация идёт в браузере, данные никуда не отправляются.