Радар (отслеживание изменений и сбор метатегов)

Радар — это инструмент, который поможет:

отслеживать изменения и получать уведомления, если на страницах что‑то изменилось. Как получать уведомления в Telegram →
собрать метатеги с любого сайта, а также следить за кодом ответа страницы;
собрать любой другой контент со страницы.

Используйте Радар, чтобы спарсить данные со страниц ваших конкурентов, или отслеживайте изменения на своем сайте, чтобы следить за тем, чтобы сайт не упал и на нем не изменилась какая‑то важная информация. Топвизор собирает Title, Description, H1, HTTP‑код страницы; остальной контент (по умолчанию выключен; нужно включить в Настройках Радара).

Как собирать с помощью Радара любой контент со страницы →

Как следить в Радаре за доступностью сайта →

Читайте, как удобно использовать Радар, в Топвизор‑Журнале →

Я хочу отслеживать rel=canonical, H2 и другие заголовки. У вас что, нельзя это сделать?

Можно! Чтобы отслеживать любую информацию на странице, включите сбор Контента в Настройках инструмента. Тогда Робот соберет весь контент страницы, и вы сможете найти нужные метатеги и заголовки в результатах сбора. Чтобы сразу собирать только нужный вам контент, используйте регулярные выражения.

Как перейти в раздел Радар

перейдите в Список проектов и нажмите под URL проекта;
нажмите в левом меню, если вы находитесь внутри проекта;
откройте список проектов в шапке сайта, нажмите справа от нужного проекта, а затем

Как добавить URL для отслеживания и запустить проверку

Перейдите в раздел Радар.
Нажмите на панели с фильтрами.
Выберите Страницы для проверки.
Нажмите и загрузите URL удобным вам способом.
Нажмите и подтвердите запуск проверки во всплывающем окне.

Я отслеживаю страницы конкурентов. Как добавить URL с разными доменами в один проект?

Добавить страницы с разными доменами в один проект в интерфейсе нельзя, но тут может помочь Поддержка. Напишите нам в чат ID проекта и пришлите список URL для Радара, и мы добавим все URL в указанный проект. Либо вы можете создать несколько отдельных проектов для каждого домена самостоятельно.

Радар (отслеживание изменений): как настроить отслеживание изменений на страницах сайта

Отчеты в Радаре хранятся 270 дней 🗑️
Количество отчетов, которые можно сделать, не ограничено, однако они хранятся 270 дней. По истечении 270 дней отчет удалится.

Как добавить Топвизор в White List

Если на вашем сайте стоит антибот‑система, робот может не собрать данные для анализа. Чтобы разрешить роботу Топвизора доступ к сайту, добавьте в White List следующие блоки IP‑адресов:

95.213.136.168/29 (Восточная Европа);
31.148.128.128/25 (Западная Европа).

Рекомендуем указать сразу оба блока, чтобы при смене настроек не нужно было менять настройки White List. Нужно указывать именно диапазоны адресов, так как проверка может происходить с разных IP. Если у вашего сайта нет возможности добавить в исключения диапазон, напишите нам в чат — мы сделаем так, чтобы ваш сайт парсился с одного IP.

Я запустил проверку, но никакие данные не собрались. В чем проблема?

Во время первой проверки собираются данные для дальнейшего отслеживания. Теперь, если на страницах произойдут изменения, Радар обнаружит их во время следующей проверки. Чтобы просмотреть всю собранную информацию, выберите фильтр "Все" вместо "С изменениями" на панели с фильтрами.

Я выбрал "Все", но никакие данные все равно не отображаются. У вас точно что‑то сломалось!

Такое возможно, если наш Робот не может получить доступ к сайту или сайт заблокирован с каких‑то IP. Добавьте нашего Робота в исключения (он представляется как ПК: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36), а также добавьте в White List следующие блоки IP‑адресов:

95.213.136.168/29 (Восточная Европа)
31.148.128.128/25 (Западная Европа)

Рекомендуем указать сразу оба блока, чтобы при смене настроек не нужно было менять настройки White List. Если это не помогло, напишите нам в чат.

Полностью автоматизируйте работу в Топвизоре ⚡️
Настройте автоматическую проверку проекта, а также отправку отчета После проверки. Тогда вы получите отчет на e‑mail, в Информер или в Telegram, если Робот обнаружит изменения на страницах. Как настроить проверку и уведомления →

Карта интерфейса

Запуск проверки.
Выбор проверки.
Фильтр по изменениям.
Фильтр по тегам.
Экспорт и Настройки инструмента.
Разделы инструмента и количество изменений в них.
Фильтры. Нажмите на Фильтры, чтобы открыть поиск, фильтр по коду ответа и другие фильтры.
Теги. Наведите курсор слева от URL, чтобы добавить или переименовать тег.
Коды ответа страниц. Нажмите на код ответа, чтобы увидеть цепочку редиректов.
Нажмите на чтобы открыть окно с историей отслеживаемого элемента.
Значение выбранного параметра и его изменения. Красным цветом показаны удаленные данные, а зеленым — добавленные.

User Agent Робота Топвизора

По умолчанию Робот Топвизора представляется как User Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, но вы можете указать свой User Agent. Обращаем внимание, что это примеры User Agent и они могут меняться в зависимости от текущей версии браузера. Список всех доступных UserAgent:

ПК TopvisorBot: Mozilla/5.0 (compatible; TopvisorBot/1.0);
Смартфон TopvisorBot: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 (compatible; TopvisorBot/1.0);
ПК: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36;
Планшет: Mozilla/5.0 (iPad; CPU OS 9_2_1 like Mac OS X) AppleWebKit/601.1.45 (KHTML, like Gecko) Mobile/13D11;
Смартфон: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 (compatible; TopvisorBot/1.0);
YandexBot/3.0: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots);
YandexBot/3.0 (mobile): Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots);
Googlebot/2.1: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html);
Googlebot/2.1 (mobile): Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).