Dudas sobre escalado de aplicación web

Si usas amazon como tienes pensado te aviso de que no hay límite en el autoescalado, lo máximo que puedes hacer es que si te pasas de X pasta te mande un aviso para que lo sepas.

Lo digo por que si lo abres al público tienes que tener cuidado por que internet está lleno de bots y gente con ganas de tocar las pelotas y como alguien consiga forzar tu servicio de forma que se dispare el trabajo de tu servidor te puedes encontrar de la noche a la mañana con una factura que te puede dejar tieso.

que sepas que a más de uno le ha pasado, así que no es una riesgo teórico, es algo que ocurre de verdad

No se muy bien que estás streameabdo pero ffmpeg usa un montón de recurso, a lo mejor si usas servidores como wowza en local ahorras recursos.
Si me explicas un poco mejor lo que quieres hacer con el streaming te puedo ayudar.

Bueno, gracias a todos por las respuestas de momento he dado un paso hacia atrás y estoy estudiando si hay alguna forma mejor o más eficiente de hacer el transcoding sin tener que levantar yo toda mi infraestructura.

Estoy pensando utilizar Elastic Transcoder y así quitarme de líos de k8s y colas y escalados. Cuando necesite hacer un stream lo mando a Elastic Transcoder, me da de output los chunks .ts y la playlist .m3u8 y eso lo puedo utilizar desde ffmpeg para enviar a distintos rtmps sin tener que reencodear.

El tema es que en mi aplicación ahora mismo un mismo input de vídeo puede tener varios outputs. Es decir, yo tengo una url http://asdfasdf.com/playlist.m3u8 y quiero, por un lado, meterle un filtro de ffmpeg para añadir mis gráficos por encima, y por otro lado enviarlo a varios servidores rtmp.

Ahora mismo esto lo hago reencodeando cada vez con ffmpeg, lo cual es absurdo porque si quiero enviar el mismo input a 4 outputs estoy gastando 3 veces la cpu a lo tonto. Como es mi infraestructura, pues no me importa, pero quiero montarlo bien.

Así que he pensado coger el input http://asdfasdf.com/playlist.m3u8 , pasarlo a elastic transcode, meterle watermark (Que el propio elastic transcode te deja) outputearlo a un bucket y que mi aplicación pille con ffmpeg de ese bucket y lo reestreamee, sin reencodear, a los distintos servidores rtmp que quiero.

Esto me ahorraria todo el tema de las colas y orquestración de los workers, pero por otro lado no tengo ni idea de si es más caro ni si Elastic transcode permite usar como input una url (me da que no). Tendría que encontrar una forma de pasarlo de http://asdfasdf.com/playlist.m3u8 a un bucket de s3 de forma rápida, y luego usar eso como input en el Elastic Transcode.

Vamos, que le sigo dando vueltas a todo el proceso, y a ver si saco algo en claro.

#11 había estado viendo tanto MediaConvert como Elastic Transcoder y no me ha terminado de quedar claro las diferencias entre ambos.

Así a primera vista me da la sensación de que media convert es más avanzado y “nuevo” , con más features, pero aún así dejaron Elastic Transcoder, que es más viejo, para los clientes que todavía lo usan?

Es por eso que hoy en día, si empiezas con algo, se recomienda MediaConvert?

En principio para cada vídeo será una resolución solo. Usando un m3u8 como input, poniéndole una watermark y dándome un m3u8 y sus respectivos chunks como output, que luego desde ffmpeg puedo enviar, sin reencodear, a distintos rtmps

#13 Gracias! A mí también me salió ese mensaje recomendando MediaConvert.

Ya que has estado mirando tema de precios, igual te suena o recuerdas: Como yo voy a hacer streamings en directo, no aprovecharé el encodear más rápido que realtime. Crees que saldrá más caro utilizar MediaConvert para encodear, digamos, 3h de streaming que levantarme un EC2 muy limitado de recursos, meterle ffmpeg y encodear con ffmpeg "a mano", y luego tirar el EC2 una vez acabe el streaming?

En ambos casos, si mi input dura 3h, el output y el tiempo de procesado será 3h, use MediaConvert, ffmpeg ejecutado en ec2 o ffmpeg ejecutado en mi hardware propio