Automatizacion: Ideas!

Lecherito

Pues debido al debate con @hda sobre automatizacion y procesos en los que tengo algo para hacerme la vida mas facil, he decidido crear este hilo para poder compartir las ideas. Una vez compartida la idea, si a la gente le gusta se crea un hilo con un peque;o tutorial de como se hace/haria y que la gente lo pueda implementar.

Sin mas dilacion, voy a empezar con lo que yo hago y mis ideas.

Bases

Me compre un NAS (Synology) con soporte para docker para poder automatizar y crear proyectos rapidito, desde estas navidades hasta ahora he ido sentando un poco las bases y un poco jugando con docker para poder iterar rapido en las ideas.

Tecnologias

  1. Docker: Instalar Docker en Synology es easy
  2. Kotlin: Estoy usando Kotlin multiplataforma para todo lo que estoy haciendo, hay cosas que solo las hago para la JVM pero en general estoy tirando para ejecutables nativos.
  3. Gradle: Para hacer build de los proyectos e incluso ejecutar algunos de los procesos

Contenedores

Todo esta automatizado en este aspecto, estoy usando docker compose y tengo un archivo con toda la configuracion de los contenedores. Que se actualizan una vez a la semana de madrugada, y se levantan solos cuando hago un commit a ese fichero en concreto.

  1. Bazarr: Subtitulos para las series
  2. Gilab-runner: El runner de gitlab para integracion continua (es necesario si quieres usar CI)
  3. Gitlab: Tengo todos mis proyectos personales que no quiero que esten en Github (gorrito de papel de plata incoming)
  4. Grafana: Visor de datos, normalmente metricas, pero lo he adaptado para pillar datos de postgres sobre mis transacciones bancarias)
  5. Jackett: Agregador de APIs para torrenting
  6. Nginx: Routing desde subdominios hasta los puertos (del tipo: plex.mydomain.com)
  7. Plex: Tengo plex pass (lifetime) y lo uso para las series que no estan en Netflix (y Anime)
  8. Postgres: Monitorizacion, ahora mismo solo es para los bancos pero tengo alguna que otra idea por medio
  9. Radarr: Una vez configurado, se baja las peliculas automaticamente
  10. Runners: Estas son las imagenes que levanta el gitlab-runner y que son (o no) reutilizables, se borran cada X y sin problema.
  11. Sonarr: Igual que Radarr, pero para las series

Lo que yo tengo

  1. Las series y las peliculas se bajan automaticamente y me envian un mensaje a Telegram cuando estan disponibles en Plex.
  2. Plugin para firefox que envia lo que veo desde Netflix hacia Trakt.tv
  3. Las transacciones de los bancos las exporto y las subo al proyecto donde se meten en el postgres y puedo ver datos en grafana del tipo: Ahorros totales, gastos totales, ahorro mensual... etc
  4. WIP: Estoy trabajando en un templater, basicamente quiero un template para proyectos que hago (normalmente dentro del NAS) y poder crear proyectos en cuestion de segundos. Los templates estan alojados en Github y cada uno puede tener los suyos propios, por ejemplo quiero tener un template que es un servicio con Ktor en nativo y el packaging vaya en docker asi solo me preocupo de escribir el codigo que necesito en vez de todo el wrapper cada vez. Una especie de mvn-archetype pero sin ser esa basura. (Aunque esto me esta llevando mas de lo que me gustaria)
  5. Dotfiles: Tengo todas mis dotfiles en Gitlab y tengo la configuracion comun en un sitio y ademas en cada uno de los sistemas que uso, tengo comandos y cosas especificas:
    1. NAS: Tengo comandos para los gitlab runners etc
    2. Mac: Cosas del mac
    3. WSL Ubuntu: Mierdas de ubuntu
  6. Internamente tengo ejecutables para manejar mis proyectos, lo tengo todo configurado en un JSON. Cada proyecto tiene un alias y puedo hacer build, update y clear sin tan siquiera estar en ese directorio: build dotfiles, o para navegar facilmente al proyecto cdp dotfiles. Todo tiene autocompletado asi que no me tengo ni que acordar de los nombres
  7. Para el mac tengo Alfred, bastante curioso el programita ya que ahora puedo ejecutar builds etc con el Cmd+Space, ademas de tener todos mis favoritos (uso el mac para programar), y URLs como search engines en vez de todo en Firefox.
NSFW

Ideas

  1. Automatizar completamente lo de los bancos, que cada vez que haya una transaccion, o diariamente inserte lo nuevo en la base de datos.
  2. Crear un webhook para que desde plex, se a;adan las cosas que ves a Trakt.tv
  3. Visor de datos de Trakt.tv

Recursos

Para mas recursos, hilos en profundidad, tenemos el hilo de los recursos

Si quieres que tus ideas se a;adan aqui, nombrame con @Lecherito

PD: El titulo es random, si teneis alguna idea mejor proponedla y se cambia.

29
hda
 Automatized-MV2021.R1

Le quité el sitio al pato XD

2
HeXaN

Lo que yo tengo:

  • Radarr + Sonarr: descargas de series y películas de forma automática. Se descargan organizaditas dentro de mi librería de PLEX y es un gozo.
  • Bot de Telegram que me avisa de notificaciones (firmas incluidas) y mensajes privados en el foro. Los mensajes privados además puedo responderlos.
  • Bot de Telegram que me inserta en un Google Docs los gastos que voy haciendo: gasolina, luz, agua, gasoil de la caldera...
  • Descargador automático de Chaturbate. Me baja automáticamente las retransmisiones de mis modelos preferidas y las organiza en carpetas (también dentro de PLEX).
4 7 respuestas
LLoid

Me gusta esta mierda y la seguiré de cerca

Lecherito

He a;adido otras cuantas cosas que tengo para facilitar mi vida de dev/automatizacion.

Leos

Leo todo esto y siento que estoy desperdiciando mi vida sin tener todo eso automatizado xD

10
Lecherito

Respecto arduino y esas cosas, todavia no me he puesto mucho dado que no tengo mucho espacio donde estoy ahora pero tengo planes ya de comprarme una casa, asi que ahi supongo que empezare a cacharrear mucho mas con la electronica.

1 respuesta
DiSKuN

Creo que va siendo hora jubilar mi raspberry y empezar a montar un NAS con Radarr y Sonarr como tiene #3
https://medium.com/@ruben.gargar/tu-netflix-casero-plex-sonarr-radarr-sobre-nas-653839832f82

1 respuesta
KazuluDev

Vengo a quedarme, está mierda me encanta. Mi gran problema en cuanto a comprar un NAS es que no sabría con qué llenar todo ese almacenamiento.

2 respuestas
Lecherito

#9 Tengo en gitlab hasta un repositorio con un diario, cosas que he aprendido en cada proyecto que he hecho, etc etc. Hazme caso que el espacio se llena solo si tienes ideas (y series y peliculas xD)

Tengo un Synology DS718+ con 4TB en Raid0 (creo que es, el clon) asi no pierdo datos, una vpn para poder conectarme y a full todo

3 respuestas
KazuluDev

#10 juraría que clon es RAID1 pero siempre tengo que mirarlo cuando quiero hacerlo xD

1 respuesta
Fyn4r

#10 #11 raid0 te "suma" la capacidad de los discos como si fuesen uno solo, el 1 es el que hace el espejo.

DiSKuN

#10 Raid 1 es el mirror de un disco a otro . Raid 0 es que trabajan en paralelo.

Mirando el modelo de NAS, los ¿discos han de ser mecánicos?
¿No hay problemas de rendimiento al compartir los videos?

1 respuesta
Leos

#9 Same, pero viendo las ideas y cosas que ha puesto #1 ya empiezo a pensar varias cosillas, aunque si hace un how-to de algunas cosillas, me animaria aún más

1 respuesta
Lecherito

#14 De que ideas buscas el how-to?

Y eso, me referia al raid1, nunca recuerdo esas mierdas.

#13 Pues mira, tengo el NAS en Espa;a y llevo 6 meses usandolo desde otro pais con VPN, ningun problema mas alla de que mi internet aqui no es nada del otro mundo y la calidad minima que bajo es 1080p.

2 respuestas
Aeran

#8 que guapada.

DiSKuN

#15 perfecte, nada mas que añadir.

Ahora solo hay que conseguir els diners para comprar el NAS y discos.

Aunque primero voy a probar radarr y sonarr en docker en la rasp, para ver como se porta

Fyn4r

Por cierto, últimamente uso mucho los webhooks de discord y me gustan bastante para enviar mensajes de petadas en servicios, despliegues, pull requests y cosas del estilo. Para trabajar en grupos pequeños sin un duro esta bastante guay xd

1 respuesta
Zdot

Me siento tonto.

De mayor quiero ser como vosotros

1 respuesta
neil90

#19 Todo es ponerse

RaymaN

32
elfito

#7 Si quieres ayuda en electrónica/microelectrónica PM :)

Buen curro. Algún día con tiempo me pondré a trastear con ello

vago_21

gracias, ahora me siento imbécil

3
KazuluDev

#18 Slack no te gusta? Es el que suelo ver usar para eso.

1 respuesta
Fyn4r

#24 planteamos usar slack pero como nuestros amigos, conocidos y demás plebs usan discord nos pareció peor desperdigarnos aún más.

1
Leos

#15 pues del tema de bancos, importador y eso no, pero el tema de mostrar en grafana, que miras y que quieres tener controlados, etc

Lo del Json para hacer build sin estar en el directorio

Lo del templater también me llama la atención ver cómo lo estás planteando

Y quizás un como hacer una configuración con lo indispensable de un nas estaría guay!

1 respuesta
Lecherito

#26 Justo estoy haciendo el hilo para lo de hacer build sin estar en el directorio, creo que es de lo mas util que he hecho xD

Lo del templater, por ahora tengo un proyecto de kotlin multiplataforma que compila pero todavia no esta del todo, cuando lo tenga mas potable supongo que abrire otro hilo.

1
codek0rZ

Mola el hilo.

Yo llevo mirando meses un NAS para pillarme y creo que me he decidido por un QNAP pero no sé qué modelo (solo quiero dos bahías para raid1).

Estoy valorando los diferentes modelos QNAP TS-231:

  • QNAP TS-231
  • QNAP TS-231+
  • QNAP TS-231P2

Pero no sé si merece la pena gastar más o quedarme con el más barato

1 respuesta
Lecherito

#28 Pues a crear un hilo (incluso en hardware y software), este es para ideas, no preguntas!

Ahora en una de las ideas, la del workspace (#27) he creado un hilo para ello: https://www.mediavida.com/foro/dev/automatizacion-workspace-655572 sintiendolo mucho no puedo poner todo el codigo pero bueno, se puede hacer una idea de las utilidades que tengo y se pueden pillar ideas.

Runig006

Intriga pura y dura, ya que solo es para monitoreo, no te renta más dejar Kibana con su propio Elasticsearch en vez de Grafana? Lo digo porque siempre me ha parecido mucho más facil de mantener una linea temporal "gigante" en Elastic, antes que en un SQL

Ya, le tengo demasiado vicio a Elastic, pero es que es demasiado comodo.

2 respuestas

Usuarios habituales

  • HeXaN
  • Lecherito
  • vago_21
  • Fyn4r
  • keiya
  • NeV3rKilL
  • Runig006