Robots.txt и .htaccess конструктор
Robots.txt и .htaccess конструктор
Ежегодно десятки интернет-магазинов теряют весь органический трафик из Яндекса из-за случайного добавления строки «Disallow: /» в robots.txt. Восстановление позиций после такой ошибки занимает от 2 до 6 месяцев. Конструктор включает многоуровневую защиту, которая физически не позволяет сохранить robots.txt с директивой, закрывающей весь сайт от индексации.
Яндекс обрабатывает robots.txt иначе, чем другие поисковые системы. Робот Яндекса поддерживает собственные директивы: Clean-param для управления GET-параметрами, Host для указания главного зеркала (актуально до полного перехода на HTTPS). Конструктор учитывает все специфические директивы Яндекса и формирует корректный файл с разделением правил для User-agent: Yandex и User-agent: Googlebot.
Два конструктора в одном решении
Конструктор robots.txt
Визуальное создание и редактирование robots.txt с учётом специфики Яндекса. Раздельные правила для роботов Яндекса, Google и других поисковых систем. Поддержка директив Clean-param, Crawl-delay и Host.
- Раздельные правила для Yandex и Googlebot
- Директивы Allow, Disallow, Clean-param
- Указание Sitemap и Host
- Crawl-delay для управления нагрузкой
- Защита от Disallow: / для всего сайта
- Предпросмотр итогового файла
Конструктор .htaccess
Безопасное управление серверной конфигурацией Apache через визуальный интерфейс. Редиректы, кеширование, сжатие, заголовки безопасности. Каждое правило применяется только после успешной проверки синтаксиса.
- Редиректы 301: www, HTTPS, слеши
- Настройка браузерного кеширования
- Gzip/Deflate сжатие
- Заголовки безопасности (CSP, HSTS)
- Защита от хотлинка изображений
- Блокировка ботов и IP-адресов
Библиотека готовых шаблонов
Расширенные возможности конструктора
Проверка синтаксиса
Мгновенная валидация каждого правила перед сохранением. Для robots.txt проверяется корректность директив, для .htaccess — синтаксис Apache. Ошибки подсвечиваются в реальном времени с пояснением.
Защита от критических ошибок
Многоуровневая блокировка опасных директив. Невозможно сохранить robots.txt с «Disallow: /» для всего сайта, невозможно записать .htaccess с синтаксической ошибкой, вызывающей 500 Internal Server Error.
Автоматические бэкапы
Перед каждым сохранением создаётся резервная копия текущей версии файла. Хранится история последних 20 версий с возможностью мгновенного отката к любой предыдущей конфигурации одним кликом.
Визуальный конструктор правил
Добавление директив через удобные формы без знания синтаксиса. Выпадающие списки для выбора типа правила, поля ввода путей, переключатели Allow/Disallow. Результат отображается в виде готового текста файла.
Тестирование URL
Встроенный тестер: введите URL и проверьте, разрешён или заблокирован он текущими правилами для робота Яндекса и Googlebot. Наглядный ответ: зелёный — разрешено, красный — заблокировано, с указанием конкретной строки правила.
Сравнение версий
Визуальное сравнение текущей и предыдущей версий файла. Добавленные строки подсвечены зелёным, удалённые — красным. Позволяет быстро отследить, какие изменения были внесены и кем.
Директивы Яндекса
Полная поддержка специфических директив робота Яндекса: Clean-param для управления GET-параметрами, Host для главного зеркала, Crawl-delay для регулирования интенсивности обхода. Подсказки по каждой директиве из документации Яндекс.Вебмастера.
Мультисайтовость
Поддержка многосайтовой конфигурации 1С-Битрикс. Каждый сайт может иметь собственный robots.txt и .htaccess с индивидуальными правилами. Переключение между конфигурациями из единого интерфейса.
Журнал изменений
Полная история всех редактирований с указанием автора, даты и конкретных изменений. Если несколько администраторов работают с файлами, всегда можно отследить, кто и когда внёс определённую правку.
Алгоритм работы конструктора
Загрузка текущей конфигурации
Конструктор считывает актуальные файлы robots.txt и .htaccess с сервера, парсит содержимое и представляет его в визуальном интерфейсе в виде структурированного списка правил. Каждая директива отображается отдельным блоком с пояснением. Отдельно выделяются правила для робота Яндекса и Googlebot.
Редактирование через визуальный интерфейс
Администратор добавляет, изменяет или удаляет правила через удобные формы. Доступны выпадающие списки директив, поля для указания путей, переключатели Allow/Disallow, выбор User-agent. Можно применить готовый шаблон из библиотеки одним кликом — правила подставляются автоматически с учётом структуры конкретного сайта.
Проверка синтаксиса в реальном времени
Каждое добавленное или изменённое правило мгновенно проверяется на корректность синтаксиса. Для robots.txt валидируются директивы по спецификации и рекомендациям Яндекс.Вебмастера. Для .htaccess выполняется проверка синтаксиса Apache-модулей. Обнаруженные ошибки подсвечиваются красным с текстовым пояснением проблемы.
Многоуровневая защита
Перед сохранением скрипт выполняет серию критических проверок. Блокируется попытка закрыть весь сайт от индексации (Disallow: / без Allow). Обнаруживаются конфликтующие правила, которые могут привести к непредсказуемому поведению. Проверяется, не заблокированы ли файлы CSS и JS, необходимые роботу Яндекса для рендеринга страниц.
Создание резервной копии
Автоматически создаётся бэкап текущей версии файла с меткой времени. Хранится история последних 20 версий. В любой момент администратор может откатиться к предыдущей конфигурации одним кликом, если новые правила привели к нежелательным последствиям.
Тестирование перед применением
Встроенный тестер URL позволяет проверить, как новые правила повлияют на доступность конкретных страниц для робота Яндекса. Администратор вводит адрес — конструктор показывает, разрешён ли доступ по текущим правилам и по новым. Тестируются наиболее важные страницы: главная, карточки товаров, разделы каталога.
Сохранение и журналирование
После прохождения всех проверок файл записывается на сервер. В журнал добавляется запись с указанием автора изменений, даты, списка добавленных и удалённых правил. При работе в многосайтовой конфигурации изменения применяются только к выбранному сайту, не затрагивая остальные.
Схема работы конструктора
конструктор правил
шаблонов (30+)
текстовый режим
Disallow: /
конфликтов правил
доступность
Сравнение: ручное редактирование vs конструктор
| Параметр | Ручное редактирование | Конструктор PRO |
|---|---|---|
| Проверка синтаксиса | Отсутствует, ошибки видны только по последствиям | Мгновенная валидация в реальном времени |
| Защита от критических ошибок | Нет — Disallow: / легко написать случайно | Многоуровневая блокировка опасных директив |
| Резервные копии | Ручное копирование, часто забывают | Автоматические бэкапы перед каждым сохранением |
| Откат к предыдущей версии | Только если сохранена копия вручную | Мгновенный откат к любой из 20 версий |
| Тестирование URL | Проверка через Яндекс.Вебмастер вручную | Встроенный тестер для Yandex и Googlebot |
| Знание синтаксиса | Требуется знание Apache и спецификации | Визуальные формы, знание синтаксиса не нужно |
| Директивы Яндекса | Нужно помнить Clean-param, Host | Подсказки и шаблоны по каждой директиве |
| Готовые шаблоны | Копирование из интернета с рисками | 30+ проверенных шаблонов для типовых задач |
| Журнал изменений | Отсутствует | Полная история с автором и датой каждой правки |
| Доступ к серверу | Нужен FTP/SSH | Редактирование из админпанели Битрикс |
Структура файлов проекта
- php_interface/
- scripts/
- robots_htaccess_constructor/ Корневая директория компонента
- index.php Административный интерфейс, главная панель управления
- robots_editor.php Модуль визуального редактирования robots.txt, парсинг и генерация
- htaccess_editor.php Модуль визуального редактирования .htaccess, парсинг секций
- validator.php Проверка синтаксиса robots.txt и .htaccess, обнаружение конфликтов
- protector.php Многоуровневая защита от критических ошибок индексации
- url_tester.php Тестирование доступности URL для Yandex и Googlebot
- backup_manager.php Управление резервными копиями, хранение 20 версий, откат
- diff_viewer.php Визуальное сравнение версий файлов, подсветка изменений
- template_library.php Библиотека шаблонов правил для типовых задач
- config.php Конфигурация: пути к файлам, лимит бэкапов, мультисайтовость
- logger.php Журнал изменений с указанием автора, даты, списка правок
- ajax_handler.php Обработка AJAX-запросов: валидация, тестирование, сохранение
- assets/ Ресурсы интерфейса
- style.css Стили конструктора, подсветка синтаксиса, формы
- script.js JS-логика: визуальный конструктор, валидация, diff, тестер URL
- backups/ Резервные копии файлов с метками времени
- logs/ Журналы всех операций редактирования
- changes_log.json История изменений с авторами и датами
Если необходима индивидуальная разработка
Детализация работ по файлам проекта
Условия и гарантии
Лицензия
Стоимость указана за лицензию для размещения на одном веб-проекте. Для использования на нескольких сайтах требуется приобретение дополнительных лицензий на каждый проект отдельно.
Гарантия работоспособности
Каждый сайт индивидуален. Если при работе компонента на сайте клиента возникнут ошибки, компания ВеоМедиа исправит их бесплатно в рамках гарантийной поддержки после приобретения лицензии.
Доработки
Каждый компонент можно дорабатывать по индивидуальным требованиям клиента. Условия и стоимость дополнительных функций оговариваются отдельно. Текущий компонент предоставляется исключительно с функциями, описанными в разделе возможностей выше.
Готовый к работе
Компонент предоставляется с полным набором описанных функций. Библиотека шаблонов адаптирована под специфику 1С-Битрикс, а защитные механизмы учитывают директивы робота Яндекса и требования Яндекс.Вебмастера 2026 года.
