Planificación y automatización de tareas

Yekale7

Buenas MV!

No recuerdo si en algún post antiguo pregunté sobre un "Task Scheduler" para la ejecución de scripts y/o tareas, en mi caso, principalmente para scripts de python. He encontrado 'Airflow' que aparentemente cumple con lo que busco, pero antes de desplegar nada pregunto si es una buena opción o hay alternativas mejores.

Airflow

Gracias!

hda

Me interesa. Me quedo por acá.

Entiendo que cron te resulta insuficiente y que IFTTT sería demasiado o innecesario, ¿no?

2 respuestas
Yekale7

#2 Utilizo systemd, pero igualmente cron me sería ineficiente.

Las opciones que he visto:

  • Airflow
  • Prefect
  • Temporal
  • Dagster
  • IFFT que has nombrado.

No he indagado en ninguna todavía, aunque alguna opción parece ser excesiva para mi objetivo.

Mi caso:

  1. Script A se ejecuta recurrentemente con X parámetros de entrada
  2. Script A se tiene que ejecutar con Y parámetros y no se puede ejecutar si ya está ejecutandose (Con X párametros)
  3. Script A con Y parámetros se tiene que ejecutar recurrentemente (aunque con menor frecuencia que 1.)

Otro caso (estaría bien elegir una opción que lo permitiese) sería:

Eecutar Script B y Script C (simultáneamente) antes que Script D

1
Yekale7

La opción que más me convence es Airflow. Veo un punto negativo bastante grande:

https://airflow.apache.org/docs/apache-airflow/2.3.4/docker-compose.yaml

Muchos contenedores, tiene pinta de ser demandante de recursos y el despliegue con su docker-compose no me gusta nada.
Revisaré si hay algún despliegue más básico

1 respuesta
B

Airflow es una herramienta bastante potente, en la prueba técnica para entrar a mi actual empresa me pedían montar un airflow en docker y orquestar una serie de ETLs que tenía que montar yo también con Spark-Scala.

Arflow se usa mucho en entornos reales de big data, por lo que a malas, seguro que te va bien aprenderlo

2 respuestas
willy_chaos

#5 algun buen tuto o manual que tengas por la mano, tambien estoy interesado en tema de automatización

1 respuesta
B

.

Yekale7

#5 Pues suerte. Estoy viendo que crea un base de datos postgres (puerto 5432) y el webserver (puerto 8080) que me colisiona con mi actual DB y Traefik. Estoy toqueteando el compose, pero no me gusta nada empezar así...

1 respuesta
crb2222

#8 pero los puertos deberían ser totalmente configurables, no he usado la app pero se que se usa en entornos empresariales donde eso es básico

1 respuesta
xPipOx

En mi curro usamos Tivoli Workload Scheduler de IBM y la verdad que :nauseated_face:

Calzeta

#2 ¿Para qué quieres hacer transformadas inversas aquí?

ejejejeje

1
D10X

#4 Pero si no quieres Docker, ¿Por qué usas docker?

Tienes varias opciones de instalación https://airflow.apache.org/docs/apache-airflow/stable/installation/index.html

O montate tu el composer de 0 y listo.

1 respuesta
Yekale7

#9 Sí, he podido configurar y apañar el docker-compose.

#12 Si quiero docker, incluso ya lo tengo montado. No me convencía nada la cantidad de recursos y contenedores

Yekale7

Al final, me he decidido por probar y utilizar Prefech:

https://github.com/PrefectHQ/prefect

Airflow está bastante top, pero demasiados recursos para lo que deseo hacer.

12 días después
G

No me gusta la programación, pero quiero compartir con ustedes esta https://apix-drive.com/es/integracia-cms-sistemy de comercio electrónico porque me ahorró innumerables horas.
He estado tratando de automatizar mi flujo de trabajo y bóveda para realizar un seguimiento de las reuniones y los elementos de acción, así como el estado general. Realmente tuve la suerte de encontrar ApiX-Drive.

Usuarios habituales