TolkBot
Это бот сервиса Толк — ИИ-помощника для Яндекс Директа. Он открывает страницу сайта, когда пользователь Толка просит помочь с рекламой для неё.
TolkBot/1.0 (+https://tolk-ads.ru/bot/) Только по запросу человека
Бот открывает страницу, только когда пользователь Толка сам указал её адрес — например, своего сайта, чтобы описать бизнес для рекламы. Обхода сайтов и индексации нет.
Одна страница
Бот загружает только указанный адрес и не ходит по ссылкам. Следует не более чем за тремя перенаправлениями.
Бережно к серверу
Один GET-запрос, ожидание ответа — не дольше 10 секунд, читается не больше 1,5 МБ HTML.
Только публичные адреса
Внутренние и локальные адреса бот не открывает: каждый адрес и каждое перенаправление проверяются.
Что бот делает со страницей
Читает текст страницы — заголовки и описание, — чтобы ИИ составил черновик описания бизнеса: что продаётся, в каком регионе и какие запросы точно не подходят (они пойдут в минус-слова). Черновик видит только пользователь, сохраняет его он сам. Страница никуда не публикуется.
Как ограничить доступ
Бот работает от имени конкретного человека, который сам ввёл адрес, поэтому robots.txt он не читает — как браузер. Если вы хотите закрыть сайт от TolkBot, отклоняйте запросы с этим User-Agent на сервере или напишите нам на .