Beta test ONLINE:
¿Que y quien es antonIA?
antonIA es un proyecto inspirado por la IA "vtuber" Neurosama, donde me he propuesto crear una IA similar, una vtuber española totalmente automatiza y que genere contenido de entretenimiento, tenga su propia personalidad marcada y en torno a ello reaccione a videos, aprenda a jugar a videojuegos, hable con el chat y exprese su opinión sobre temas que estén dentro de los términos permitidos por Twitch.
Es un proyecto ambicioso en el cual estoy totalmente volcado desde hace mas de un mes, mezclando tecnologías realmente se puede conseguir una vtuber funcional, natural y que no solo hable cosas random, si no que reaccione a videos, juegue a juegos de mesa previamente aprendidos, dialogue con el chat, exprese su opinión (con mil filtros activos porque si no BAN en el primer dia xDD) y muchas otras funcionalidades que irán surgiendo con el tiempo.
Tecnologías usadas
Para este proyecto voy a usar multitud de tecnologías, siendo principalmente Python el "cerebro" de antonIA. Estoy usando la librería Chatterbot para crear y entrenar su personalidad, he editado bastante esta librería para conectarla a OpenAI Davinci-003 (la misma que usa ChatGPT) para que toda la parte de improvisación la haga en base a textos generados por esta.
Entre otras librerías uso actualmente gTTs que es básicamente un text-to-speech para leer el texto generado por chatterbot/davinci, y una función para leer el chat de Twitch.
Por otra parte quiero que aprenda a jugar inicialmente a juegos de mesa como el Parchís que ya estoy haciendo entrenamiento, me base en este articulo para adaptar las normas al parchís.
También estoy adaptando el modelo CLIP Interrogator para hacer que reaccione a lo que esta viendo en pantalla, con este modelo puede pasar a texto descriptivo una imagen, entender el contexto, y en base a ello reaccionar y charlar.
La parte mas visual de la tecnología reside en el software para streaming OBS, aquí cargo un archivo .txt donde todo el texto generado por la IA es mostrado en pantalla a modo de subtítulos, la imagen de antonia (que es una de ejemplo) que "mueve la boca" desde el audio enviado por gTTs lo gestiona el software veadotube mini, que básicamente usa dos imágenes (una abrir la boca/ otra cerrar) para simular que esta dialogando.
Devlog:
antonIA v0.1:
La primera versión de mi amada antonieta esta lista, aun queda trabajo para testearla en un directo real, ya que ahora mismo es errática y tiene conversaciones filosóficas bastante locuras... aun quedan semanas de entreno y parámetros para ir definiendo su "personalidad", por ahora básicamente es un chatgpt con muy poca personalidad que reacciona a inputs dados por el chat de Twitch y cuando hay "silencio" trata de generar conversación basada en seeds aleatorias y con ayuda Davinci 003.
Aquí os muestro un video bastante pocho donde se puede apreciar su primer texto natural sin ningún input, ella empieza hablando y diciendo "el ruido empieza mi rutina de iniciacion y es algo que me alegra", tiene sentido ya que todas estas ia funcionan en base a un ruido random xD, a continuación le pregunto como se llama y que hace, lo que me dice su nombre y el cometido que realmente aun no sabe que es, "creadora de contenido", después reacciona a mi risa y al pasar un lapso de tiempo sin input en el chat, procede a generar una frase totalmente random y un poco loca pero bueno, es lo que pasa cuando su mente esta vacia, mi idea es entrenarla bastante y darle una personalidad reconocible
https://streamable.com/e/fj91is
En cuanto al diseño visual vtuber (en este caso pngtuber) he usado uno de ejemplo, pero cuando se acerque el momento de lanzarla al vivo y directo ya entrare en fase de diseño, aquí estoy mas pez... si alguno quiero colaborar con parte estética su ayuda es bienvenida, el software que utilizo es veadotube, que es bastante simple ya que usa como entrada el audio que devuelve la IA para depende que umbral de sonido abre, cierra la boca.
Progreso:
Aquí hare una lista de funcionalidades ya terminadas o en progreso:
Pues hasta aquí el tochopost, iré actualizando el post conforme avance en el proyecto y llegado el día podremos hacer un test interno mediavidiero para conocer a antonieta.
Saludos!
