Cómo organizar correctamente las comprobaciones del pool de proxies: Monitoreo de proxies y filtrado automático

¿Te gustaría probar Octo Browser con descuento?
Usa el código promocional OCTOSCRAPER para obtener un 30% de descuento en cualquier suscripción. Esta oferta es válida solo para nuevos usuarios.

Por qué fallan los proxies y por qué necesitas monitorizarlos regularmente

Incluso los proxies de alta calidad pueden dejar de cumplir con tus requisitos con el tiempo. Puede haber varias razones para esto:

• Bloqueos por parte de los sitios web de destino.
  Con un raspado web agresivo, algunas direcciones IP pueden acabar en listas negras o recibir bloqueos temporales. Como resultado, el proxy técnicamente sigue activo, pero todas las solicitudes enrutadas a través de él son rechazadas (reciben CAPTCHAs, códigos de estado 403, etc.).

• Tiempo de inactividad o fallo del servidor proxy.
  Nadie es inmune a los problemas de red, incluso los proveedores más caros. Las caídas del servidor o los pagos vencidos pueden dejar fuera del flujo de trabajo general a un perfil activo.

• Vencimiento del tiempo de vida del proxy.
  Si utilizas proxies con una vida útil fija (día, semana o mes), una vez que expira, la dirección IP deja de funcionar.

• Conexión inestable.
  Los proxies pueden sufrir de alta latencia o velocidades fluctuating debido a la congestión del canal o a ubicaciones geográficamente remotas.

• Detección de anonimato.
  Algunos proxies pueden empezar a filtrar tu dirección IP real o ser transparentes desde el principio. Otros pueden resultar ser proxies de centros de datos, lo que automáticamente significa acceso bloqueado a algunos recursos, ya que las IPs de los pools de centros de datos a menudo no son efectivas para eludir restricciones.

Como resultado, sin un sistema de monitorización, corres el riesgo de acumular proxies ineficaces o que no funcionan en tu pool, lo que en última instancia reduce las tasas de éxito del raspado web y conduce a una mayor latencia, bloqueos y CAPTCHAs frecuentes.

Métricas que vale la pena rastrear en un pool de proxies

Para comprobar proxies correctamente, no basta con verificar simplemente si una dirección IP está activa. Necesitas recopilar varias métricas para cada proxy:

• Disponibilidad (tiempo de actividad).
  El porcentaje de comprobaciones exitosas. En otras palabras, con qué frecuencia responde el proxy a tus solicitudes de prueba. Lo ideal es contar con proxies con un tiempo de actividad cercano al 100%. Si un proxy falla con frecuencia al responder, es de poca utilidad.

• Tiempo de respuesta.
  Medición del tiempo de respuesta a través del proxy a un endpoint de destino, por ejemplo, una solicitud HTTP a una página rápida. Una alta latencia (cientos de milisegundos o incluso segundos) indica un proxy lento. Los proxies muy lentos pueden convertirse en un cuello de botella, por lo que tiene sentido marcarlos o descartarlos, o usarlos solo para tareas que no sean críticas en cuanto al tiempo.

• Tasa de éxito.
  Una métrica similar al tiempo de actividad, pero medida durante cargas de trabajo reales: la proporción de solicitudes que pasan a través de un proxy sin errores (excluyendo los errores del lado del destino). Si la tasa de éxito de un proxy es notablemente inferior al promedio de tu pool, es probable que tenga problemas, ya sea por bloqueos frecuentes o inestabilidad.

• Frecuencia y tipos de errores.
  Es útil registrar qué tipo de fallos ocurren: tiempos de espera de conexión agotados, errores de DNS a través del proxy, errores HTTP (403, 500, etc.). Los tiempos de espera agotados frecuentes indican una baja disponibilidad, mientras que los errores 403 sistemáticos sugieren fuertemente que la IP está bloqueada por el recurso de destino.

• Bases de datos de reputación de IP.
  Si se requiere el máximo sigilo, vale la pena rastrear si tus proxies son identificados como proxies o servicios VPN por diversas bases de datos (como ipwho.is o ip-api.com).

Dependiendo de tu tarea específica, elige las métricas que necesitas monitorizar y evalúa tus proxies en función de ellas.

Por ejemplo, al parsear resultados de búsqueda, es crítico que el proxy no esté bloqueado por el motor de búsqueda y que tenga una velocidad aceptable. Para el raspado de datos a gran escala, el tiempo de actividad máximo y la ausencia de marcas claras de proxy pueden ser más importantes, incluso a expensas de la velocidad.

Herramientas para comprobar tus proxies: scripts y soluciones listas para usar

Para organizar la monitorización de proxies, puedes elegir una de las dos opciones posibles o combinarlas:

• usar herramientas listas para usar (plataformas, servicios);
• escribir tu propio script de comprobación adaptado a tus tareas.

Uso de plataformas especializadas

Si tienes un proyecto grande o prefieres soluciones listas para usar, existe software disponible para gestionar pools de proxies. Por ejemplo, la plataforma de código abierto Rota — Plataforma de Rotación de Proxies ofrece un panel de control pulido para el seguimiento en tiempo real de miles de proxies. Comprueba automáticamente los proxies, elimina del pool los que no sirven y visualiza métricas.

Algunos proveedores de proxies también ofrecen sistemas de seguimiento similares en sus paneles de control. Normalmente, estos son comprobadores estándar que verifican la disponibilidad de direcciones IP específicas del pool y excluyen automáticamente los proxies que no funcionan.

Tu propio script de comprobación de proxies

Esta es una opción más flexible que te permite controlar completamente el proceso de comprobación. Para demostrar tal solución, echemos un vistazo al script de código abierto ip_mass_check.

Este es un producto no comercial creado únicamente para uso personal. El comprobador implementa un mecanismo multihilo para la comprobación masiva de direcciones IP y determina la reputación de la IP en función de varias fuentes.

Esto es lo que puede hacer el script:

• Comprobar listas de IP (incluidos los rangos CIDR) para obtener datos de geolocalización, afiliación de alojamiento, VPN, estado del proxy, etc. Utiliza servicios como ipwho.is, ip-api.com y AbuseIPDB. Basándose en estos datos, el script calcula una puntuación de sospecha si los datos de diferentes servicios divergen significativamente o si el ASN pertenece a centros de datos en la nube.

• Procesar gran cantidad de IPs en paralelo. El script está diseñado para comprobaciones masivas y admite la configuración del número de hilos y la limitación de velocidad a través de la línea de comandos.

• Crear informes. Los resultados se muestran en la consola y se guardan en un archivo CSV. Para cada dirección IP, el informe incluye todos los campos recopilados (país, región, ciudad, proveedor, ASN), las banderas devueltas por los servicios y un veredicto final con las razones enumeradas.

A diferencia de los comprobadores predeterminados proporcionados por algunos proveedores de proxies, este script no solo hace un ping al proxy, sino que en realidad evalúa la reputación de la IP.

Para entender cómo funciona una solución manual, este script es ideal. Puedes conectar cualquier criterio que consideres crítico para filtrar direcciones IP y tener confianza en la integridad de los datos, ya que tú mismo controlas el comprobador.

Automatización de la monitorización y filtrado de proxies: cómo construir un pipeline

Naturalmente, ejecutar un script manualmente cada vez no es la mejor opción. Lo ideal es que las comprobaciones de proxies no requieran tu intervención en absoluto. Para lograr esto, necesitas convertir el proceso en un flujo de trabajo continuo y automatizado. Así es como puedes construirlo tú mismo:

1. Almacenamiento de la lista de proxies.
   Debe haber una única fuente autorizada para tu lista actual de proxies. Puede ser un archivo, una base de datos o incluso una clave de Redis — lo importante es que tanto el raspador principal como el script de comprobación accedan a la misma lista. El script de comprobación marca el estado del proxy en el almacenamiento (válido / inválido), y el raspador extrae solo los proxies marcados. Alternativamente, puedes mantener dos archivos, por ejemplo, proxies_active.txt y proxies_disabled.txt, o incluso mantener la estructura de datos en memoria si todo se ejecuta dentro de una misma aplicación (esta última opción no se recomienda para ejecuciones a gran escala).

2. Comprobaciones periódicas de proxies.
   Ejecuta el proceso de monitorización en un intervalo de tiempo adecuado. Este intervalo debe depender de la intensidad con la que se usen los proxies y de su confiabilidad. En la práctica, realizar comprobaciones cada 5–10 minutos suele ser suficiente para una reacción rápida. Puedes configurar esto como un hilo en segundo plano o mediante un programador externo. En cada iteración, el script toma la lista actual de proxies activos y los somete a las siguientes pruebas:

• En la primera ejecución, realiza una comprobación de reputación extendida (usando tu propio script o servicios de terceros) para obtener información sobre el tipo de IP, geografía, banderas de proxy/VPN, etc. Dado que esto consume muchos recursos, puedes repetirlo una vez por hora o solo cuando se añade un proxy por primera vez al pool.

• Cada vez que cambies a una nueva IP, o según un programa basado en el tiempo, realiza una solicitud HTTP rápida a través del proxy a una URL de control (cualquier recurso ligero — el objetivo es comprobar la disponibilidad de la IP). Verifica que se reciba una respuesta con un estado 200 OK en un tiempo razonable. Esta es la comprobación básica de disponibilidad y velocidad.

• Mide el tiempo de respuesta y registra el código de respuesta o el error.

3. Recopilación de métricas.
   Almacena los resultados de las comprobaciones. Recomendamos guardar el historial: por ejemplo, contadores de intentos exitosos y fallidos por proxy, el tiempo medio de respuesta y la marca de tiempo del último uso exitoso. Estos datos son útiles tanto para la toma de decisiones como para la analítica general.

4. Decisiones de filtrado.
   Esta es la etapa clave: decidir automáticamente qué proxies se consideran inactivos. Basándote en las métricas recopiladas, define las reglas de filtrado:

• Si un proxy no responde durante N comprobaciones consecutivas (por ejemplo, tres tiempos de espera agotados seguidos), exclúyelo del pool.

• Si la tasa de éxito de las solicitudes a través de un proxy durante un período reciente cae por debajo de un umbral definido (por ejemplo, por debajo del 80%, o tu valor aceptable), elimínalo. Esto protege contra problemas intermitentes cuando el proxy funciona de manera inconsistente.

• Si el tiempo medio de respuesta en las comprobaciones recientes supera un límite aceptable (por ejemplo, más de 2 segundos), puedes poner en cuarentena o eliminar el proxy para que no ralentice el sistema.

• Si una comprobación de reputación extendida muestra características no deseadas (por ejemplo, la IP está marcada como VPN pública o pertenece al país equivocado), descártala de inmediato.

• Si un proxy ha expirado por tiempo de vida (por ejemplo, el proveedor lo emitió por un día y conoces la hora de vencimiento), elimínalo según lo programado.

Todos los criterios son definidos por ti. Recomendamos evitar un filtrado excesivamente agresivo y no bloquear un proxy basándose en un único fallo, ya que puede ser un problema de red puntual. Es mejor combinar reglas: por ejemplo, emitir una advertencia cuando la tasa de éxito caiga por debajo del 90% y eliminar la IP cuando caiga por debajo del 50% o tras tres tiempos de espera agotados consecutivos.

5. Eliminación y reemplazo automáticos.
   Después de identificar los proxies que no funcionan, debes eliminarlos de la lista activa. También es importante asegurarse de que el raspador principal ya no use un proxy excluido (esto importa si la dirección IP ya está en cola para solicitudes): es posible que debas abortar las tareas en esa dirección o al menos dejar de asignarle nuevas tareas. Más allá de la eliminación, una buena práctica es automatizar el reemplazo para que el pool de proxies se mantenga en un tamaño constante. Puedes integrarlo con la API de tu proveedor de proxies para obtener nuevos proxies que reemplacen a los descartados. Por ejemplo, si compraste un pool de 100 proxies y 5 fueron filtrados, el script puede solicitar inmediatamente 5 nuevas IPs a través de la API y añadirlas al pool. La solución más sencilla es mantener una lista de reserva de proxies de reemplazo.

6. Registro y notificaciones.
   Un sistema totalmente automatizado es perfecto, pero siempre es útil saber qué está pasando. Configura un registro básico: qué proxies se eliminaron, cuándo y por qué razón. Esto ayuda con la resolución de problemas y ofrece una visión de la calidad de tus fuentes de proxies. Para una configuración más avanzada, configura notificaciones a través de Telegram o correo electrónico si, por ejemplo, tu algoritmo de filtrado eliminó demasiados proxies en la última hora (lo que puede indicar que el proveedor desactivó tu red), o si el tamaño total del pool cae por debajo de un umbral crítico. Algunas situaciones requieren intervención y no querrás perdértelas.

Con este pipeline en marcha, el sistema monitoriza la salud del pool de proxies y lo reabastece a tiempo. Tu intervención es mínima, ya que solo necesitas echar un vistazo ocasional a los informes o responder a las alertas.

Recomendaciones finales:

• Multihilo y distribución de la carga.
  Al comprobar listas grandes de proxies, no las proceses de forma estrictamente secuencial, ya que puede llevar demasiado tiempo. Utiliza hilos paralelos o divide la lista y compruébala desde múltiples nodos. Esto es especialmente importante si dependes de APIs externas (servicios de geo-IP o AbuseIPDB): evita sobrecargarlas. Además, almacena en caché los resultados de las comprobaciones de reputación de IP si vuelves a comprobar con frecuencia las mismas direcciones: por ejemplo, no tiene sentido realizar una comprobación completa de reputación cada hora si la dirección IP no ha cambiado.

• Estados intermedios.
  Introduce el concepto de cuarentena para los proxies. Un proxy que falla temporalmente no necesariamente tiene que ser eliminado de forma permanente — puedes excluirlo de su uso durante un tiempo y volver a comprobarlo más tarde. Es muy posible que se recupere después de una hora.

• Rotación de proxies.
  Incluso si los proxies son buenos, no uses el mismo durante demasiado tiempo en sitios sensibles. Ten una estrategia de rotación basada en el número de solicitudes o en el tiempo de vida de la sesión. Esto reduce la posibilidad de bloqueos y distribuye la carga de forma uniforme en todo el pool de proxies.

• Usa etiquetas y grupos.
  Si tienes proxies de diferentes tipos (HTTP/HTTPS, SOCKS, móviles, residenciales, centros de datos), mantenlos agrupados. Por ejemplo, etiqueta cada proxy con atributos como tipo, origen (proveedor) y geolocalización. Durante el seguimiento, podrías notar que, por ejemplo, los proxies residenciales de Europa tienen una mayor latencia — eso es normal. Sin embargo, si las métricas divergen repentinamente dentro del mismo grupo, esa es una señal para investigar.

• Gestión de errores en el raspador.
  Hasta que todos los problemas se gestionen a nivel de monitorización, asegúrate de que tu raspador principal pueda reaccionar con gracia ante fallos de proxy. Como mínimo, vuelve a intentar la solicitud con otro proxy si el actual no está funcionando correctamente. Aquí es donde ayuda una estrecha integración entre el seguimiento y el raspador: marca un proxy como potencialmente inactivo cuando ocurra un fallo.

Conclusiones

La monitorización de proxies y el filtrado automático son componentes esenciales de la infraestructura moderna de raspado y datos. Sin ellos, la eficiencia de tu pool de proxies se degradará inevitablemente: se acumularán proxies que no funcionan, las velocidades caerán y las tasas de éxito de las solicitudes disminuirán.

La comprobación regular de la disponibilidad, velocidad y sigilo de los proxies mantiene la salud de tu pool, lo que aumenta directamente el éxito de tus proyectos de raspado web. La automatización de este proceso elimina la rutina manual y reduce el error humano, ya que el propio sistema se asegura de que solo se utilicen los mejores proxies disponibles.