SEO и сайты

Генератор robots.txt

Создайте правила Allow, Disallow, User-agent и ссылку на карту сайта.

Быстро и бесплатно
Данные остаются у вас
Без регистрации

Исходные данные

На вашем устройстве

По умолчанию все роботы

Задержка обхода

URL карты сайта

Googlebot

Googlebot-Image

Googlebot-Video

Googlebot-News

bingbot

Googlebot-Mobile

MSNBot

Slurp

Yahoo-MMCrawler

Yahoo-Blogs

Teoma

Gigabot

ia_archiver

Nutch

Alexa

Baiduspider

NaverBot

MSNBot-Media

YandexBot

YandexImages

YandexVideo

YandexAdditionalBot

Использование страниц в ответах Поиска с Алисой. Требуется доступ основного YandexBot.

OAI-SearchBot

Поиск и ссылки на источники в ChatGPT. Не управляет обучением моделей.

PerplexityBot

Поиск и ссылки на источники в Perplexity. Не управляет обучением моделей.

Claude-SearchBot

Индексирование для поиска Claude. Не управляет обучением моделей.

Claude-User

Получение страниц по запросам пользователей Claude. Учитывает robots.txt.

Applebot

Поиск Apple: Spotlight, Siri и Safari.

GPTBot

Сбор контента для обучения моделей OpenAI. Отдельно от поиска ChatGPT.

ClaudeBot

Сбор контента для обучения моделей Anthropic. Отдельно от поиска Claude.

CCBot

Общедоступный веб-корпус Common Crawl. Не гарантирует появление в ИИ-ответах.

Google-Extended

Обучение Gemini и использование контента для ответов в отдельных продуктах Google. Не управляет AI Overviews в Поиске Google.

Applebot-Extended

Использование данных для обучения моделей Apple. Не запрещает поиск Applebot.

Запрещенные папки

Путь от корня сайта 1

Результат

Здесь появится результат

Введите данные и нажмите «Выполнить»

Как пользоваться

01
Настройте правила обхода
Выберите общее правило и отдельные настройки поисковых и ИИ-ботов. Укажите карту сайта и папки, закрытые для обхода.
02
Выполните обработку
Выберите нужные параметры и нажмите «Выполнить». Во время обработки оставайтесь на странице.
03
Проверьте результат
Результат появится в соседнем блоке. Его можно скопировать или сохранить в текстовый файл.

ОБ ИНСТРУМЕНТЕ