Cómo la IA puede aliviar los problemas de encargo de datos

Los datos son el nuevo petróleo, pero los datos en bruto no son buenos en sí mismos. Al igual que el petróleo, los activos de datos deben recolectarse de forma completa y precisa y enviarse a través de varios procesos de refinación para crear valencia para los usuarios finales. Este es el ciclo de vida genérico de los datos, un ámbito donde inteligencia industrial (IA) jugará un papel importante para los negocios.

Inicialmente, la encargo del ciclo de vida de los datos era una tarea lo suficientemente pequeña como para que un equipo de expertos pudiera manejarla manualmente. El bombeo de información no era mucho, las fuentes eran pocas y las posibles aplicaciones además limitadas. Pero con el paso a la cirro y la preparación de nuevas fuentes, ha aumentado tanto el bombeo como la diversificación de datos.

“Datos encargo ya no se centra por completo en los datos relacionales», Desastrado Rontal, vicepresidente de investigación en el clase de datos y exploración de ITL de Gartner, a VentureBeat. “Documentos, gráficos, series temporales, columnas anchas, títulos secreto, libros mayores y otros almacenes de datos específicos brindan optimizaciones específicas para diferentes tipos de datos y diferentes casos de uso. A veces, estos se combinan en una única plataforma de encargo de datos: una almohadilla de datos multimodelo; a veces quedan soluciones específicas y puntuales más adecuadas.

Este aumento en el bombeo y la diversificación de la información ha hecho que los métodos tradicionales de encargo de datos sean ineficaces. Hoy en día, una empresa que selecciona, administra y optimiza individualmente (limpia y progreso) cada componente del conjunto de datos terminará desperdiciando mucho tiempo (la inocencia y la transformación por sí solas pueden padecer días o semanas) y caudal.

La situación es comparable a la de Yahoo usando expertos humanos para encasillar y catalogar manualmente una avalancha de páginas web. La empresa dedicó muchos fortuna, pero solo pudo encasillar una pequeña parte de Internet y luchó por permanecer las calificaciones actualizadas.

Llevando la inteligencia industrial a la encargo de datos

Así como Google se hizo cargo de Internet de Yahoo con sus algoritmos automatizados, evaluando páginas web más rápido y a un costo significativamente pequeño, hoy la inteligencia industrial está configurada para revolucionar el ciclo de vida de los datos.

Según Ronthal, las aplicaciones de la IA en encargo de datos encargar en el exploración y la activación de metadatos. Esto permite que el maniquí detecte desviaciones en el uso de datos del diseño del sistema y (idealmente, automáticamente) las corrija. Esto es manejo de datos aumentado: usando SOY L para automatizar y propiciar la encargo de datos, lo que permite a las organizaciones designar menos tiempo a mandar y optimizar la infraestructura y más tiempo a crear valencia para su negocio principal.

Muchas organizaciones ya han comenzado a utilizar técnicas basadas en IA y ML para tocar varios componentes de la encargo de datos, lo que brinda mejoras en la velocidad y la rentabilidad.

Por ejemplo, en enero de 2023, Google e Útil, una empresa que introdujo un enfoque impulsado por IA para el delirio de datos, se asoció con una empresa Fortune 500 y les permitió analizar más de 75 conjuntos de datos con más de 100 millones de filas de datos en 150 millones de combinaciones de variables. El costo total del cálculo: $80, menos de una milésima parte del costo de los métodos tradicionales.

Aible además ha publicado 25 caso Educación con Intel destacando cómo las empresas en todas las geografías y verticales se han presbítero de la IA en menos de 30 días y aportó valencia a través de funciones.

En genérico, señala Ronthal, el auge de la IA puede afectar múltiples disciplinas de encargo de datos, que incluyen:

• Papeleo de metadatos: Aquí, AI y ML se pueden usar para explorar y constreñir metadatos de datos, evaluando metadatos de guisa más rápida y precisa, con sobra limitada. De guisa similar, las funciones de dependencia de datos aumentadas pueden catalogar automáticamente los rudimentos de datos a medida que se extraen, acceden y procesan los datos.
• Integración de datos: La IA se puede utilizar para automatizar el proceso de avance de integración, encargar o implementar repetitivamente integración flujos, como las asignaciones de origen a destino.
• Calidad de los datos: AI y ML se pueden utilizar para ampliar la creación de perfiles, la inocencia, la vinculación, la identificación y la reconciliación semántica de datos maestros en diferentes fuentes de datos.
• dbms: por otra parte de mejorar el rendimiento y la optimización de consultas basadas en costos, AI y ML pueden automatizar muchas operaciones de dependencia manual actuales, incluida la dependencia de configuración, escalado elástico, archivado, índices y particiones y optimización de bases de datos.
• FinOps: AI y ML se pueden aplicar a problemas de optimización de costos y presupuestos y hacer recomendaciones sobre el uso de fortuna, modelos de precios y artículos de segundo y tercer orden de los cambios en entornos enormemente interconectados.

Priya Krishnan, directora de encargo de productos para datos e inteligencia industrial de IBM, destacó aplicaciones similares.

“La IA se está utilizando para ingerir, identificar y clasificar conjuntos de datos de una variedad de fuentes”, dijo. “Extrae continuamente contenido para sacar a la luz patrones y tendencias invisibles, lo que brinda a las organizaciones una longevo visibilidad e información procesable para ayudar en la toma de decisiones. Las empresas están utilizando IA para automatizar tareas que de otro modo serían manuales, como la captura de datos, la deduplicación, la detección de anomalías y la empuje de datos. Todavía son modelos de capacitación para hacer cumplir automáticamente las políticas regulatorias y los estándares éticos, asegurando que esos principios se incorporen desde el principio.

algunos obstáculos

Si correctamente la IA puede ser un activo útil para la encargo del ciclo de vida de los datos, no todas las organizaciones cuentan con un equipo de expertos dedicado. científicos de datos que puedan construir modelos responsables, seguros e imparciales, por otra parte de cumplir con los principios normativos y éticos.

Aquí es donde las empresas deberían intentar poner herramientas de segunda reproducción que podrían entregar la implementación de IA para tareas como la preparación de datos, la previsión y la previsión.

“Ya no necesita ser un ingeniero de datos o un irrefutable de datos para realizar transformaciones de datos complejas: puede generarlas con un maniquí de jerga amplio (LLM)”, Jon Reilly, director de operaciones y cofundador de No-Code AI Company akkioque recientemente estrenó un Útil de preparación de datos basada en GPT-3le dijo a VentureBeat.

En cuanto a suscitar confianza, Ronthal sugiere permanecer a los humanos informados con un molde de «trepar, caminar y pasar».

«Empezando desde [AI] hacer recomendaciones que son revisadas por humanos. Si son correctos y tienen el impacto deseado, eventualmente generaremos confianza y reduciremos el nivel de supervisión requerido. Eventualmente, llegaremos a un punto en el que la IA haya tenido razón tantas veces que podamos darle la autonomía para automatizar las optimizaciones con una supervisión mínima. Las etapas de punto se pueden describir ampliamente como: observar, informar, encargar, optimizar y predecir. En los últimos tres es donde se aplica el aumento”, dijo.