[Recursos] Aprehendiendo sobre redes neuronales

HeXaN
#26n3krO:

Pero hay redes que entrenan sin necesidad de un Data Set

Claro, pero le llegan x datos a esa red que podrías decir que es tu data set. Siempre hay que tener datos de entrada sean en tiempo real o no.

1 respuesta
n3krO

#31 no lo entiendo.

Yo me refiero a data set como un conjunto de Inputs-Outputs en el que le pasas el Input a la NN y comparas el Output del Data Set con el Output de la NN. Eso es lo que hacen la mayoria de redes neuronales.

No se si te refieres a otra cosa ... Igual consideras un videojuego y sus reglas como un Data Set?

1 respuesta
Frave

#24 por un lado si y no, tendríamos que definir que es eso que llamas "nada genuino" ya que una red bien entrenada con un dataset lo suficientemente amplio para representar todo el rango del problema que se quiere resolver debería conseguir lo que se suele llamar en estos temas "generalizar". Y te preguntaras vale y que? pues es aquí donde esta la clave ya que no se si llamarlo "genuino " o no pero una red que por ejemplo detecta gatos no se ha aprendido de memoria todos los gatos que ha visto durante el training, sino que sabemos que la red ha aprendido a extraer características de alto valor añadido, que de hecho algunas siguen hasta lógica humana !!!, es decir aprenderá que tienen 4 patas como suelen tener el pelo, distribuidos los rasgos faciales, sus posturas etcc... es decir la red es capaz de crear características que incluso nosotros desconocemos para resolver un problema y yo creo que sí usaría el termino genuino ahí. El tema es que como averiguamos que características ha calculado la red que es bastante jodido al ser todavía algo cajas negras, es un tema para una tesis doctoral ,te diría, hoy en día, pero en el futuro quien sabe.

Te pongo aquí un ejemplo personal lo pongo en spoiler para no tener un tocho post:

spoiler
1 1 respuesta
HeXaN

#32 Claro, eso sí. En vez de tener unas clases o valores definidos lo que optimizan son una función fitness.

n3krO
#33Frave:

El tema es que como averiguamos que características ha calculado la red que es bastante jodido al ser todavía algo cajas negras, es un tema para una tesis doctoral ,te diría, hoy en día, pero en el futuro quien sabe.

Cambio espacio vectorial hacia uno en el que los vectores directores son los que mas afectan al resultado.

Eso se hace para redes neuronales de compresion-descompresion.

2 respuestas
HeXaN

#35 Eso es una de las aproximaciones (derivada concretamente de PCA y SVM) pero no la única. Por ejemplo, se pueden usar CNN para feature extraction, auto encoders, etcétera.

2 1 respuesta
Frave

#35 what? me acabas de dejar loco? te refieres a las capsule networks?, tengo pendiente meterme con ellas y se que hacen una movida con vectores. Estoy hablando de redes convolucionales no de las tradicionales.

#36 a vale te refieres a pillar las activaciones y hacer un pca y tal vale si eso es precisamente una de las cosas que hemos hecho, pero no te casi nada de info de que esta haciendo la red en realidad y es muy al tacto todo.

1 respuesta
n3krO

#37 Me referia exactamente a PCA como indica HeXaN.

1 respuesta
Frave

#38 si si ya pero vamos que no es la panacea tienes que saber que buscas para encontrar algo cuando usas problemas complejos y tienes una red grande. De hecho eso es lo que hicimos en el trabajo ese para codificar las activaciones.

hda

Muchachos, por los lenguajes esotéricos que usáis se percibe que sabéis del tema. Insisto en #22 :D

2 respuestas
R

#40 podemos hacer concursos como los kaggle pero en plan cutre y sin dinero

1 respuesta
Retil

#41 Hay por ahi Datasets gratuitos (que yo los tengo ya aburridos de tantos trabajos de la uni) con los que podemos hacer competiciones y concursos en plan kaggle, me parece buena idea.

#40 Yo seguramente no llegue por ahora al nivel de experto y hay nomeclaturas que aun no pillo, pero por mi perfecto :D

#29 Yo creo que las NN pueden crear cosas "genuinas", por ejemplo musica creada a partir de Bach http://www.flow-machines.com/history/projects/deepbach-polyphonic-music-generation-bach-chorales/

O hace relativamente poco, google saco un generador de texto: https://blog.openai.com/better-language-models/#sample1

2 respuestas
hda
#42Retil:

Yo seguramente no llegue por ahora al nivel de experto y hay nomeclaturas que aun no pillo, pero por mi perfecto

Pues te invito a ello. De la web desde la que estoy estudiando, esta, su autor permite utilizar recursos e incluso expandir (siempre que se cite la autoría y no se haga uso comercial). Así que para explicar lo que es un perceptrón y esas cosas básicas hay mucho contenido.

Al respecto de lo que dices sobre Batch y textos, a lo que yo me refiero es que la red expande o infiere a partir de lo aprehendido. No es genuino porque no compone algo enteramente nuevo, dado que se fundamenta en la información que tiene (así compone como, Bach; pinta como Van Gogh, escribe como etc). Creo que se pilla mejor la idea ahora; y por eso comentaba lo de que si tiramos por aquí acabaríamos llegando a disquisiciones filosóficas en torno a si cualquier persona sí o no puede crear algo genuino.

Sobre lo de generar textos, como digo en #15 , estoy interesado en que una NN cree un post en MV o un poema como yo xD

2 respuestas
voidlaw

Yo me uno a la propuesta! No se mucho de redes neuronales, he hecho un par de ejercicios con tensorflow para practicar y poca cosa más. Lo que si domino bastante son las redes Bayesianas, hice mi tfg enterito sobre ellas :upside_down:

1 respuesta
hda

#44 ¿es compartible ese TFG? :)

1 respuesta
voidlaw

#45 Más o menos, hice una app pero al usar un servidor gratuito (la hice con R shinny) tiene limite de visitas, si alguien lo quiere ver se lo puedo pasar por mp

Edito: AH y se me olvidaba esta todo en catalán :/

bLaKnI

Me parece realmente increíble que haya bastantes usuarios metidos en el meollo.
Cuando estudié la ingeniería, dimos IA 1 y IA 2. Y en ambos casos trabajamos todo esto.
En IA 1, fue todo mas "superficial". IA 2, era "la dura", la matemática.
Las prácticas eran una puta locura, y teníamos que programar en C++ toda la red neuronal, y las aplicaciones matemáticas con lo que ello conllevaba.
Usamos funciones simplificadas, y las derivaciones y demás, estaban "prefabricadas". Lloré como un bebé y me las vi para hacerlas como Dios manda. Y de hecho creo que algunas practicas ni las finiquitamos siquiera, por la locura que representaba todo ello.
Pero fue una experiencia brutal.
La parte de backpropagation era la horrible... xD

A modo de resumen "filosófico", sigo creyendo profundamente que ML no representa la manera real en la que un cerebro biológico "aprende". Pensad en un bebé, sin referencia alguna. Limpio. No se le entrena. No se le da lo bueno o lo malo como con un training data-set.
Se trata de un proceso adaptativo, altamente "castigo-recompensa" en los inicios, refuerzo progresivo asistido en posteriores años, y finalmente ya de mas adultos, desasistidos y automatizados.

Entonces quizás, para considerar un state-of-the-art, deberíamos plantearnos el ML de esta manera, formando una NN que aprenda a hostias al principio, modularizarla y usar sus outputs como inputs de una red neuronal basada en aprendizaje progresivo asistido mediante data-sets (con lo que no se partiría de un "random", sino de valores preconceptualizados de la NN anterior), y modularizarla finalmente para que sus outputs le sirvan a una NN mayor desasistida que interprete a su merced el resultado lineal de las dos NN anteriores.
Obteniendo resultados, en teoría cercanos al concepto humano de la "experiencia" a traves del "tiempo".

A

#42 Llamame loco pero OpenAI no forma parte de Google, al menos hasta donde yo sé

1 respuesta
Frave

#48 es del tito Elon Musk esa creo, la de google es deepmind

R

#43 yo sigo la guía que puso hexsn en el enlace, que me puse este verano con las redes neuronales y le daba el coñazo a el xd

Soraghatsu

#11 Me vi un curso en coursera de Andrew Ng no directamente con este tema, solo venía a decir que Andrew es muy muy bueno, o al menos esa es la impresión que me lleve

Huk

go a montar clasificadores bien g0rd0s y luego vemos lo otro a 200€/h <3

medium

Bravo. Abogo por este tipo de hilos! Yo usé redes neuronales en mi PFC, para un sistema de predicción de fallos en paneles fotovoltaicos.

Aprovecho para preguntar si hay algún trader por aquí al que sepa Python (u otros lenguajes) relacionado con el trading (algoritmos, bots, etc.). Tengo algunas estrategias interesantes y necesito algún programador para posible cooperación :)

Mandadme un privado los interesados.

2 respuestas
c0b4c

uf se va a llenar el hilo de gente con "ideas" para predecir el mercado, pero que necesitan un programador para desarrollarlas :/

2 1 respuesta
_Rpv

#53 para qué, sí ya hay empresas que se dedican a ello desde hace años. Y tienen muchos más recursos y conocimientos que nosotros. Y muchas de ellas te dejan replicar su estrategia (a cambio de comisión, obviamente)
No hace falta reinventar la rueda...

1 respuesta
medium

#55 con todo el respeto, no tienes ni la menor idea.

1 respuesta
medium

#54 llevo años en ello y con beneficios bastante más tangibles que meras ideas. Pero cuando la envidia y la ignorancia se juntan, forman un cóctel muy poderoso.

HeXaN

Venga, venga, sigamos con el hilo.

2 1 respuesta
medium

#58 Simplemente alucino con que hasta en un hilo neutral e interesante como este haya personas con una extraña necesidad genética de criticar porque sí y con que les fastidie que haga una mera propuesta que está relacionada con el tema de las redes neuronales y el Python... Pero tienes toda la razón, y aunque vuelvan a responder, no voy a decir nada más.

Ahí queda mi propuesta. Saludos.

_Rpv

#56 https://www.sersansistemas.com empresa que lleva haciendo tu idea... 20 años?
Además de que ya hay muchas más y hay un montón de competencia.

Usuarios habituales

  • Frave
  • Ardi
  • hda
  • HeXaN
  • Ulmo
  • Unrack
  • n3krO