UfrontKnowledgeBot

Qué descarga

UfrontKnowledgeBot descarga solo las páginas web que un cliente de Ufront ha añadido como fuente de conocimiento para su propio agente de IA, y el robots.txt de esos sitios. También descarga los feeds de datos de inmuebles (JSON o XML) que un cliente ha configurado para sus propios anuncios; para esos feeds no lee robots.txt. No sigue enlaces ni rastrea la web. Puede volver a descargar la misma página más tarde para mantener al agente actualizado, y entonces pide solo los cambios (If-None-Match, If-Modified-Since).

Cómo descarga

Usa solo HTTPS, lee páginas de texto y HTML de hasta 2 MB, espera como máximo 10 segundos y sigue como máximo 5 redirecciones. Se identifica con el User-Agent UfrontKnowledgeBot/1.0.

robots.txt

Antes de cada página (no para los feeds), y otra vez tras cada redirección, lee el /robots.txt de ese sitio. Respeta las líneas Disallow de los grupos para UfrontKnowledgeBot y para *. Las reglas son prefijos de ruta simples: no lee las líneas Allow ni los comodines * y $. Si robots.txt responde con un error del servidor, no descarga la página y lo intenta más tarde.

Cómo bloquearlo

Añada estas líneas a su robots.txt. Para bloquear solo una parte del sitio, use esa ruta en lugar de /.

User-agent: UfrontKnowledgeBot
Disallow: /