¿Qué está cambiando exactamente?
Desde ahora, cualquier nuevo cliente de Cloudflare tendrá activado por defecto un filtro que impide el acceso de bots de IA conocidos a su sitio. Hasta hace poco, los bloqueos dependían del archivo robots.txt
, que no es más que una sugerencia que muchos rastreadores simplemente ignoran. Cloudflare ya había empezado a ofrecer herramientas para frenar estos accesos, pero ahora da un paso más firme: la opción de bloqueo es automática.
Esto significa que si alguien monta una nueva web usando los servicios de esta compañía, los bots que se identifican como recolectores de datos para entrenar modelos de IA (como los de OpenAI, Google, Anthropic o Perplexity) serán bloqueados de entrada, sin que el propietario tenga que configurarlo manualmente.
Un modelo de «pago por rastreo»
Una de las iniciativas más novedosas que acompaña esta decisión es el programa «Pay Per Crawl», o «pago por rastreo». Se trata de un sistema piloto en el que ciertos editores y creadores de contenido podrán establecer tarifas para que los rastreadores de IA accedan a sus webs. Es decir, si una empresa de IA quiere usar ese contenido para entrenar sus modelos, tendrá que pagar lo que el propietario del sitio haya fijado.
Esto funciona como una especie de peaje digital. Las compañías de IA podrán ver el precio estipulado, y decidir si acceden bajo esas condiciones o si simplemente evitan ese sitio. De momento, esta opción está reservada para «algunos de los principales editores y creadores», pero Cloudflare planea extenderla.
Una barrera extra: el «laberinto para bots»
En marzo, Cloudflare lanzó también una función curiosa y efectiva: el «AI Labyrinth». Este sistema lleva a los rastreadores por caminos confusos y sin salida dentro del sitio, haciendo que el bot se pierda y abandone la tarea de escanear el contenido. Es como poner espejos en un pasillo para confundir a quien quiere entrar sin permiso.
Con esta herramienta, Cloudflare se asegura de que incluso los bots que no respetan los protocolos de exclusión (como robots.txt
) tengan dificultades para recopilar información de forma masiva.
Transparencia en el uso de los datos
Otro avance relevante es que Cloudflare está trabajando con las empresas de IA para que sus rastreadores se identifiquen claramente y especifiquen para qué están recolectando contenido: si es para entrenamiento de modelos, para inferencia (respuestas automáticas), o para servicios de búsqueda.
Esto permite a los propietarios de sitios web tomar decisiones informadas sobre a quién dejar pasar y a quién bloquear, en función del uso final de su contenido. Es una forma de devolver cierto control a los creadores frente a la automatización de la recopilación de datos.
Los medios tradicionales apoyan la iniciativa
Organizaciones como The Associated Press, The Atlantic, Fortune, Stack Overflow y Quora ya respaldan este movimiento. Para ellos, la proliferación de chatbots y motores de búsqueda con IA ha reducido el tráfico hacia sus webs, ya que muchos usuarios obtienen respuestas directas desde los modelos sin visitar las fuentes originales.
Matthew Prince, CEO de Cloudflare, lo resume así: «La gente confía cada vez más en las respuestas que dan las IA, lo que significa que están dejando de leer el contenido original». De allí la importancia de establecer barreras y mecanismos de compensación.
Protección sin frenar la innovación
Cloudflare aclara que su objetivo no es frenar el desarrollo de la inteligencia artificial, sino establecer reglas claras que respeten el trabajo de los creadores de contenido. Permitir el uso de información de calidad, pero con permiso y remuneración justa, parece ser la filosofía que sustenta esta nueva estrategia.
En otras palabras, se busca un equilibrio: fomentar el avance tecnológico sin sacrificar los derechos de quienes generan el contenido que sustenta gran parte de ese progreso.
☞ El artículo completo original de Natalia Polo lo puedes ver aquí
No hay comentarios.:
Publicar un comentario