О проекте

Открытый каталог с прозрачной технической проверкой

AI OFF Discovery помогает поисковым роботам и людям обнаруживать общедоступные веб-страницы. Перед публикацией каждый URL проходит автоматическую техническую проверку.

Что проверяется

• доступность домена, TLS и HTTP-ответ;
• цепочка перенаправлений и тип документа;
• директивы robots.txt и noindex;
• адрес canonical;
• отсутствие очевидных технических препятствий для обхода.

Что создаётся

Для принятого URL создаётся отдельная публичная карточка со ссылкой rel="sponsored ugc". Карточка добавляется в Sitemap и RSS самого каталога. Исходный внешний URL не выдаётся за страницу домена Discovery.

Принципы

Мы стремимся показывать происхождение ссылки, время проверки и применённые технические критерии. У владельца страницы или правообладателя есть возможность запросить удаление публикации.