Los investigadores han desarrollado una variedad de sistemas de estudios espontáneo analógicos y no convencionales con la esperanza de que demuestren ser mucho más efectivos. energía válido en comparación con las computadoras actuales. Pero entrenar a estas IA para que hagan su trabajo ha sido un gran obstáculo. investigadores un Laboratorios de tecnología de dispositivos NTT y el Universidad de Tokio ahora dicen que han ideado un cálculo de entrenamiento (anunciado por NTT el mes pasado) que contribuye en gran medida a que estos sistemas cumplan sus promesas.
Sus resultados, establecidos en una computadora óptica analógica, representan un paso en torno a la fabricación de las ganancias de eficiencia potenciales que los investigadores han buscado durante mucho tiempo de las arquitecturas informáticas ‘no convencionales’.
Los programas modernos de IA utilizan una edificación de inspiración biológica convocatoria red neuronal industrial para realizar tareas como el gratitud de imágenes o la reproducción de texto. La fuerza de las conexiones entre las neuronas artificiales, que controlan los resultados de los cálculos, debe modificarse o entrenarse mediante algoritmos típico. El más importante de estos algoritmos se candela propagación en torno a antes, que actualiza las intensidades de conexión para ceñir los errores de red, mientras procesa los datos de prueba. Oportuno a que los ajustes de algunos parámetros dependen de los ajustes de otros, la computadora debe transferir y enrutar activamente la información.
COMO Espectro tiene en otra parte explicado, “La propagación en torno a antes del error es como ejecutar la inferencia a la inversa, moviéndose desde la última capa de la red a la primera capa; la modernización del peso luego combina la información de la inferencia directa llamativo con estos errores propagados en torno a antes para ajustar los pesos de la red y hacer que el maniquí sea más preciso.
Las arquitecturas informáticas alternativas, que intercambian complejidad por eficiencia, a menudo no pueden realizar el paso de información requerido por el cálculo. En consecuencia, los parámetros entrenados de la red deben obtenerse a partir de una simulación física independiente de toda la configuración del hardware y su procesamiento de la información. Pero crear simulaciones de suficiente calidad puede ser un desafío en sí mismo.
«Descubrimos que era muy difícil aplicar algoritmos de retropropagación a nuestro dispositivo», dijo Katsuma Inoue de NTT Device Technology Labs, uno de los investigadores involucrados en el estudio. «Siempre ha habido una brecha entre el maniquí matemático y el dispositivo positivo, conveniente a varios factores, como el ruido físico y el modelado inexacto».
La dificultad de implementar la propagación en torno a antes llevó a los autores a estudiar e implementar un cálculo de entrenamiento posible. Se basamento en un cálculo llamado Direct Feedback Alignment (DFA), que se introdujo por primera vez en un papel desde 2016. Este cálculo ha escaso la exigencia de transmitir información durante el entrenamiento y, por lo tanto, la medida en que se debe disimular el sistema físico. Lo nuevo de los autores Cálculo «Aumento de DFA». elimina por completo la exigencia de cualquier simulación detallada del dispositivo.
Para estudiar y probar el cálculo, lo implementaron en una computadora óptica analógica. En él, las conexiones entre las neuronas se representan como intensidades de luz que viajan a través de un anillo de fibra óptica en oportunidad de números representados digitalmente. Las conexiones de redes neuronales se representan con las intensidades de un haz de luz que pasa a través de una fibra óptica en forma de anillo.
«Es una demostración absolutamente esencial», dijo Daniel Brunner, del Instituto FEMTO-ST, un organismo divulgado de investigación francés. Brunner desarrolla computadoras fotónicas no convencionales de un tipo similar utilizado por los investigadores en el estudio. «La belleza de este cálculo en particular es que no es demasiado difícil de implementar en el hardware, por eso es tan importante».
De artículos en su sitio
Artículos relacionados Cerca de de la web