Anime con fotogramas añadidos mediante IA

...Supongo que te hará ilusión, pero AfterEffects, Camtasia Studio y Filmora9, entre seguramente muchos otros, ya hacen esta conversión. El algoritmo en sí no es nuevo, seguramente mejore algo, pero existe un problema clave, o varios.

El primero de ellos, duplicar los fotogramas no siempre es aconsejable. Si, es bonito de ver ese movimiento tan suavizado por tener más FPS, pero si la animación original estaba a 30 (que si está a 60 no tiene sentido alguno) tiende a producir un efecto de blur y hace que los ojos se cansen mucho antes.

Lo segundo, al ser una conversión de 30 a 60 FPS, el algoritmo se inventa los que faltan. El algoritmo lo único que hace es coger parte del fotograma anterior, del siguiente, mezclarlos y redibujar lo que falte. Para escenas en los que no haya cambios de plano completos (cambiar de una escena clara a una oscura o de un personaje atacando a otro) el movimiento se suaviza, pero cuando los hay, ocurre una intercalación de los fotogramas, es decir, se ve el fotograma del primer plano partido por la mitad (no mitad, si no a trozos) junto con el del segundo plano de la misma forma, provocando una distorsión similar a cuando la antena de televisión se mueve por el viento y la imagen se congela y se parte a cuadros.

Tercero, muchos anime están pensados para verse a 30 fps, mismamente la danza de Chika a 60 fps no se ve del todo "orgánica" como se pensó al hacerse (están dibujados incluso los pies que tu no ves en el vídeo para representar el movimiento real de un cuerpo humano). La velocidad de los movimientos se hace muy falsa y difusa.

Que canse o no los ojos, depende del gusto de cada uno, pero si ves anime que en origen está hecho a 30 fps a 60, dudo mucho que alguien aguante una película entera con acción, no pausada. El cerebro recibe información innecesaria (los 30 fps añadidos por la IA) y se vicia por así decirlo, provocando cansancio e incluso dolor de cabeza.

No todo tiene que estar a 60 fps, solo a los fps que resultan disfrutables y no se note entrecortada la animación.

PD: esto se aplica también a vídeos reales, pero en animación es mucho más notable.

PPD: perdón por el tocho.

#6 Ver secciones de 4 minutos de anime a 60 fps no es ver un capítulo. Y como he dicho, ciertas animaciones están pensadas para verse a 30 fps, el vídeo de Chica se ve extraño y pierde lo orgánico de su animación, el de Berserk tiene partes en la que va a demasiada velocidad por ir a 60 fps (y eso que el puto anime es malo en prácticamente todo, pero se hizo a 30 fps.. o menos).

El algoritmo es malo y realmente no es muy difícil pensar la solución teórica, coger 5 fps más por ambos lados y comparar, si es demasiado diferente el plano, hacer una copia del anterior y no hacer la interpolación, no necesita ni intervención humana.

No todo es mejor a 60 fps, a ti te gustaría incluso a 144, pero no es mejor, es añadir velocidad y movimiento extraños a elementos que no lo necesita.

#8 El algoritmo, por muy bien hecho que esté y mucha machine learning que use, tiene que dibujar el fotograma intermedio, tanto en el actual, como en el supuesto mejorado. Por ponerte un ejemplo:

A - - - - C (animación original)
A - - AC - -C (animación con fps añadido)

No hay forma de que el fotograma intermedia sea un B o un E, siempre tiene que estar formado por A y por C o por A o por C como en el ejemplo que te he dicho del algoritmo teórico que coge 5 fps.

Da igual lo que hagas, si solo coges A o C en todos los casos, la animación se ralentiza, si coges ambos, la velocidad aumenta (ejemplo Chika y Berserk vuelvo a repetir) y al añadir algo que no había, se nota extraño.

Si salen a 60 fps el algoritmo no tiene uso alguno, así que por un lado o por otro, un algoritmo mejor o peor, siempre va a ser igual.

#10 creo que tu no lo sabes muchacho, yo he estudiado y programado machine learning y por eso mismo se que de A a C tiene que haber un B y este B es la combinación de A y C por cojones cuando es en términos de animación y correlación entre A y C.

Es más, cada C siempre tiene algo de A a no ser que sea un cambio de escena (y no sea un fundido entre las mismas). C siempre tiene algo de A y si metes algo entre A y C, ese algo va a ser la combinación de AC siempre, por mucho que pienses que no.

Por muchos fps que metas, si la animación está hecha a 30 fps y metes mierda entre ellos para que sea a 60, la animación se verá a distinta velocidad (de ahí que parezca más suavizado) y en muchas ocasiones resultará extraño.

Por ponerte varios ejemplos de lago ya hecho en 30 fps y pasado a 60, puedes ver las batallas de Boku no hero y de One Punch Man S1, ahí el trabajo de conversión está bien hecho y aún así resulta demasiado suave.

#12 las redes neuronales no, pero estamos hablando de añadir fotogramas entre unos ya existentes, no hay forma de meter un fotograma sin tener partes del anterior y del siguiente, aunque sea redibujando el fotograma entero, tiene que tener correlación.

Ni algoritmo ni hostias. Animación tradicional!!! Estoy harto del cell sharding.

Para mi ver anime asistido por ordenador o CGI es como ver una carrera de bicis con bicicletas electricas.

No entiendo porqué creéis que 60 fps son siempre mejor. Yo lo veo más como una decisión artística. El hacer una animación a 60 fps (a pesar de ser una locura por el curro que lleva), te sirve para hacer efectos más de slow motion o un movimiento lento y muy fluido, pero que vaya eso también se puede hacer con 30 o con 24 fps. Nose a mi me parece un desperdicio de tiempo y creo que nadie anima a 60 fps salvo que sea para videojuegos (que es más por tema de controles, cancelacion de animaciones y esas cosas). Ni siquiera en las película se rueda a tantos fps porque es un movimiento inhumano para captar movimiento normales xD.

Y sobre la IA esta que interpola pues bueno, me parece una aberración al nivel de los filtros de instagram, que funciona una de 50 veces y estropea el trabajo original.

#26 No sé exactamente a lo que te refieres, pero en el anime se está empezado a utilizar herramientas como cacani para hacer frames intercalados automatizado. En Fire Force por ejemplo.