ШколГидБот: кто заходит на ваш сайт

1. Кто мы

ШколГид (shkolgid.ru) — небольшой сервис, который помогает родителям выбрать школу в Москве. Ведёт его Фроловский Иван. Бот работает на нашем компьютере и принадлежит только нам, это не поисковая система и не перепродажа данных.

2. Зачем мы читаем страницы

Родителям нужны точные и свежие сведения: когда начинается приём, какие классы и профили набирают, какие документы нужны, когда регистрация, олимпиада или день открытых дверей. Бот замечает, что на странице что-то изменилось. Изменение разбирает программа с помощью ИИ-сервиса, а каждый факт мы сверяем с цитатой из страницы. Когда мы приводим факт родителям, мы указываем, откуда он взят и когда проверен.

3. Что именно мы читаем

• Публичные страницы школ, которые открываются без входа и пароля: разделы «Приём», «Документы», «Новости», «Сведения об образовательной организации», страницы мероприятий.
• Публичные страницы и ленты департамента образования и открытых государственных реестров, в которых есть сведения об этих школах.
• Публичные каналы школ в Telegram в веб-версии (t.me/s/…).

Чего мы не делаем:

• не заходим в закрытые разделы, личные кабинеты и формы входа;
• не собираем и не храним персональные данные: фамилии сотрудников и учителей, имена и результаты детей, контакты частных лиц. Такие поля вырезаются до сохранения копии страницы;
• не перебираем адреса страниц подряд: читаем только те, на которые ведут ссылки с сайта или из реестров;
• не обходим капчу и защиту от ботов: если сайт её показывает, мы пропускаем его до следующего дня;
• не отключаем проверку сертификатов сайта.

4. Как часто мы приходим

• К одному сайту — не чаще одного запроса в 1,5 секунды, без параллельных запросов.
• Обычно это несколько страниц раз в сутки или раз в неделю. Чаще всего заходим в период приёма, когда сведения меняются быстрее.
• Если сайт отвечает ошибкой или медленно, мы делаем не больше двух повторов, а после двух неудач подряд откладываем сайт до следующего захода.
• Там, где сайт поддерживает условные запросы (ETag, If-Modified-Since), мы не скачиваем страницу заново, пока она не изменилась.

5. robots.txt

Мы читаем robots.txt вашего сайта и выполняем его. Закрытое для нас или для всех роботов мы не собираем. Чтобы закрыть сайт только от нашего бота, добавьте в robots.txt:

Вместо / можно указать отдельные разделы. Если задан Crawl-delay, мы увеличим паузу между запросами до этого значения.

6. Как с нами связаться

Telegram: @ivan_shkolgid. Почта: hello@shkolgid.ru. Пишите, если бот создаёт нагрузку, ведёт себя странно или вы хотите уточнить, какие страницы вашего сайта мы читаем.

7. Как попросить исключить сайт

1. Самый быстрый способ — запись в robots.txt из раздела 5. Бот проверяет файл перед заходом на сайт.
2. Либо напишите нам в Telegram или на почту и укажите адрес сайта. Мы исключим его из обхода в течение 3 рабочих дней и подтвердим ответом.
3. Если нужно, мы удалим уже сохранённые копии страниц вашего сайта. Напишите об этом в сообщении.

Объяснять причину не нужно.

8. Изменения

Если правила работы бота изменятся, новая редакция появится на этой странице с новой датой, а номер версии в подписи вырастет.