Generación de imagenes de anime con NovelAI, Waifu Diffusion etc.

gonya707

Buenas! Se me ha ocurrido abrir este hilo aquí porque muchos habreis visto el hilo general en FEDA, y antes de que ese hilo se llene de waifus y me echen la bronca por abrir las compuertas mejor tener nuestro lugar en el foro.

De qué va todo esto? En los últimos meses la generación de imágenes por Inteligencia Articicial ha sufrido poco menos que una revolución y una tecnología que hace unos años sería considerada ciencia ficción ahora está al alcance de todo el mundo, ya sea por los innumerables servicios web que general remotamente imágenes partiendo de tus instrucciones hasta modelos que puedes ejecutar localmente y computar con tu propia máquina.

Pero vamos a lo importante, cómo generar waifus. Hoy en día hay varios modelos entrenados (típicamente con imágenes de danbooru) con más o menos éxito, pero el mejor sin lugar a dudas es el de Novel AI. Para que veais a lo que me refiero voy a poner el mismo prompt con misma semilla y opciones en los tres modelos más conocidos entrenados con imagenes de anime, Trinart, waifu diffusion y novel AI

(((masterpiece))), (((best quality))), ((ultra-detailed)), (illustration), ((an extremely delicate and beautiful)),dynamic angle,floating, (beautiful detailed eyes), (detailed light) (1girl), loli, small_breasts, floating_hair, glowing eyes, pointy_ears, white hair, green eyes,halter dress, feather, leaves, nature, (sunlight), river, (forest),(painting),(sketch),(bloom)

NovelAI es un motor entrenado técnicamente para generar fondos y texto para crear visual novels, pero en poco tiempo se ha vuelto la opción más popular para generar imágenes anime en general, y no es para menos, sus generaciones dan mil vueltas a los competidores. Está entrenado a partir de Stable Diffusion, asi que todos los trucos que se pueden usar con SD deberían funcionar, como descripciones de los colores, la iluminacion, efectos etc, o dibujar en el estilo de cierto artista, etc

Podeis usar NovelAI desde su web oficial, en https://novelai.net Es de pago mensual pero tiene un free tier con el que podeis usarlo con ciertas limitaciones.

...O si teneis una GPU medio decente (al menos 2GB de VRAM como minimisimo) podeis instalaros Stable diffusion y añadir el modelo de NovelAI que se filtró hace unas semanas.

NSFW NovelAI en Stable Diffusion webui

Actualizacion febrero 2023

La gente ha estado ocupada haciendo modelos nuevos y más potentes, a veces partiendo de NovelAI y otras veces desde cero, algunos que tener en cuenta:

  • El modelo Anything V.3 es un modelo entrenado a partir de NovelAI con resultados excelentes. Teneis magnets en [link]. Lo de siempre, poner el .ckpt en /models/stable diffusion y recordad renombrar el vae a .vae.ckpt y ponerlo en el mismo directorio para que se detecte automaticamente. Si las imagenes os salen como con colores muy apagados es que no esta usando el vae.

Anything V.3 haciendo la imagen de la comparativa anterior:

  • La interfaz de Automatic1111 de stable diffusion (la que he explicado como instalar mas arriba) ahora permite usar hypernetworks, esto sirve para dar estilo y regular del 0% al 100% sin tener que bajar un modelo (que pesará varios gigas) entrenado especificamente para eso. Una aplicacion muy util es para aplicar el estilo de artistas. Para que nos entendamos todos, laqui va un simple retrato con el estilo de asanagi al 0%, 33%, 66% y 100%:

En los links interesantes he puesto un foro coreano en el que suben hypernetworks. Para instalarlas tan solo hay que bajar el archivo .pt y colocarlo en /models/hypernetworks. Luego en el prompt usar <hypernet:asanagi:0.33> siendo 0.33 el valor entre 01 de la intensidad de la hypernet

  • Holara es un servicio online que (creo) no está basado en stable diffusion y da unos resultados alucinantes. Va con un sistema de creditos que se pueden obtener por cada dia que visites su web, peeeero si no estais suscritos solo se pueden sacar imagenes aleatorias, aun asi merece la pena que lo probeis: https://holara.ai

Algunos links de interés:

spoiler

Felices generaciones. Poned dentro de NSFW todo lo que no querríais que viese vuestra abuelita

3
Sust0

Pues me lo he instalado en el GUI y es más listo que un ratón colorao, que sabe lo que tiene que hacer sin detallárselo xD.

Metiéndole de prompt solo "A succubus" sin ningún detalle ni estilo me ha sacado esta crema osea que esto ya promete, luego me pondré a trastear porque seguro que me puedo hacer alguna imagen chulísima de berserk para hacerme un displate o algo por el estilo.

1
kraqen

Que el primer hilo en MV de Stable Diffussion tenga que venir del subforo de anime. ¿No pegaría más en el foro creativo?

Aunque bueno, tampoco es tan sorprendente porque el leak de NovelAI le ha dado mucho bombo a SD.

#1gonya707:

...O si teneis una GPU medio decente (al menos 2GB de VRAM como minimisimo) podeis instalaros Stable diffusion y añadir el modelo de NovelAI que se filtró hace unas semanas.

Habría que añadir que va mucho mejor con GPUs de Nvidia, y que para usar una de AMD necesitas trastear más, copio del post del general de Stable Diffusion /g/:

Nvidia GPU: https://rentry.org/voldy | https://github.com/AbdBarho/stable-diffusion-webui-docker
AMD GPU: https://rentry.org/sd-nativeisekaitoo | https://rentry.org/sdamd | https://rentry.org/ayymd-stable-diffustion-v1_4-guide
CPU: https://rentry.org/cputard

Si quieres hacer entrenamiento también se necesita bastante más VRAM que los 2GB del local, y la página de Novel AI de momento no permite entranamiento ni en su tier máximo. Esto es por ejemplo si queréis hacer generaciones de un personaje en concreto que este taggeado entre los modelos actuales (el de Novel AI bebe de las galerías booru de hace un par de meses). Aquí una guía:
https://rentry.org/informal-training-guide

1 respuesta
Kalgator

Pues me estoy instalando el stable diffusion y lo del novel a ver que tal

es mejor meterlo en un ssd o en un hdd las cosas?

1 respuesta
gonya707

#3 Ya hay un tema general en feda, pero puesto que con NovelAI se especializa en imagenes tipo anime pues se me ocurrió abrir este

#4 Siempre tardara un poco menos en cargar los weigths si lo tienes en SSD pero no creo que sea una diferencia notable. Al final el trabajo fuerte va a ser llevado a cabo por tu gpu

2
Kalgator

Trasteando he llegado a esto xdd

está OP la IA esta xD

gonya707

Trasteando un poco con un prompt de la guia. Añadir "Sorolla" a cualquier cosa con acuarelas le da mucha vidilla


3 meses después
Uf0-
LordSiK

Lo puedes actualizar #1 o sirve todo aun?

1 respuesta
gonya707

#9 Sirve, pero hay algunos modelos mas sofisticados y alguna cosilla extra que se puede añadir, luego me pongo a ello

1 respuesta
LordSiK

#10 muchas gracias!

1 respuesta
gonya707

#11 actualizado con una seccion extra

1
16 días después
vyre619

Los links de interés son bastante interesantes, sobre todo para mi que no tenia mucha idea de prompts y eso. ¿Sobre ángulos de cámara o composición sabes algo? Porque la mayoría de prompts que he visto por reddit, me los acaba ignorando a la hora de generar la imagen.

1 respuesta
gonya707

#13 suelo añadir dynamic angle cuando quiero algo de eso, pero está muy limitado, claro.

Lo que se estila últimamente es usar algún recurso para generar un dummy con la pose exacta que quieres y a partir de ahí usar img2img

e.g. https://app.posemy.art/

1 1 respuesta
vyre619

#14 ¿Con el img2img se puede usar el high res fix? Suelo usarlo para que me de mejores resultados al generar las caras, especialmente con imágenes mas realistas.

Lo de las poses me lo guardo también para trastear xD

8 días después
BlindSmile

Estaba bastante desconectado, pero veo que últimamente ha avanzado una barbaridad. El ControlNet ha supuesto una revolución. El workflow que vengo utilizando estos días es generar txt2img con AOM3 con VAE RefSlave (sin hires, fix ni nada). Luego hago un scaling en Extras de 3-4 y de ahí lo paso a img2img. Con impaint marco zonas y las voy generando a la máxima calidad que puedo, con denoising bajo para que el prompt no me toque mucho la imagen, sólo quiero aumentar la calidad. Luego lo vuelvo a pasar a Extras y hago un downscaling no muy grande para que queden los detalles más definidos.
Seguiré experimentando.

NSFW
4
7 días después
vyre619

Pues llevo unos días trasteando con el SD y voy consiguiendo mejores cosas cada vez, ahora ya no van dando pena al menos. Sigo teniendo fallos con algunos prompts (no se si cosa del modelo o que) y me salen las caras muy parecidas entre si siempre.

A ver si me informo del controlnet que he estado leyendo, que pinta muy bien para conseguir imagenes mas parecido a lo que quieres, solo espero que mi 1660 no se muera con eso xD

2
2 meses después
sKivtor

Revivo un poco el hilo, que llevo unos días trasteando con esto y poco a poco he conseguido generar cosas bastante chulas, la verdad que a veces se hace dificil conseguir lo que buscas ya que hay muchísimas cosas a tener en cuenta, pero cuando consigues algo que está bien, es una gozada, la verdad, la calidad que llegan a conseguir, quitando manos, a veces pies y alguna cosa así, es simplemente increíble, cuando consigan arreglar esas cosas, va a ser de locos.

Lo que me queda es trastear con controlnet, que lo tengo pendiente.

Dejo un pequeño álbum de varias de las que más me han gustado.
https://imgur.com/a/4GrT5k7

4
aka97

Algunas imágenes estan chidas, pero el gran problema que carga la IA son los putos dedos, se ven horribles y deformes 😆

Usuarios habituales

  • vyre619
  • BlindSmile
  • gonya707
  • LordSiK
  • Kalgator
  • kraqen
  • Sust0