Coursera Learner working on a presentation with Coursera logo and
Coursera Learner working on a presentation with Coursera logo and

Puede que hayan visto la notable escena de “I Love Lucy” en la que Lucy y Ethel aterrizan en posiciones que encierran chocolates en una fábrica de dulces. La rápida línea de transporte se dispara y las mujeres salen rápidamente de su profundidad. Antes de terminar la escena, se llenan sus gorros, bolsillos y bocas rebosantes de chocolates, mientras que un desfile de postres sin envolver que se extiende constantemente se aleja de su estación. Es divertido. Es también el ideal simple para entender la inmensidad de la tubería de información avanzada.

La progresión efectiva de la información de un área a otra – desde una aplicación SaaS a un centro de distribución de información, por ejemplo – es una de las actividades más básicas en la actual empresa de información. Considerando todas las cosas, un examen útil no puede comenzar hasta que la información sea accesible. El flujo de información puede ser problemático, a la luz del hecho de que hay un gran número de cosas que pueden salir mal durante el transporte, empezando con un marco y luego en el siguiente: la información puede contaminarse, puede chocar con cuellos de botella (causando inactividad), o las fuentes de información pueden pelearse así como producir copias. A medida que se desarrolla la complejidad de las necesidades y se duplica la cantidad de fuentes de información, estas cuestiones aumentan en escala y efecto.

La tubería de información: trabajada para la competencia

Entra en la tubería de información, programación que prescinde de numerosos pasos manuales del procedimiento y permite un flujo de información suave y robotizado que comienza con una estación y luego pasa a la siguiente. Comienza caracterizando qué, dónde y cómo se recoge la información. Mecaniza los procedimientos dedicados a separar, cambiar, consolidar, aprobar y apilar la información para su posterior investigación y percepción. Da velocidad de principio a fin al prescindir de los errores y combatir los cuellos de botella o la ociosidad. Puede procesar inmediatamente numerosos flujos de información. Por lo tanto, es una necesidad absoluta para la actual empresa de información.

¿Cómo es que una tubería de información no es exactamente lo mismo que el ETL?

Normalmente se escuchan los términos ETL y tubería de información utilizados recíprocamente. ETL representa Concentración, Cambio y Carga. Los marcos de ETL extraen información de un marco, cambian la información y cargan la información en una base de datos o centro de distribución de información. Los oleoductos de ETL Heritage normalmente funcionan en racimos, lo que implica que la información se mueve en un enorme bulto en un momento determinado hacia el marco objetivo. Comúnmente, esto ocurre en los interinos reservados habitualmente; por ejemplo, puede diseñar los racimos para que funcionen a las 12:30 a.m. de forma consistente cuando el tráfico del marco es bajo.

Paradójicamente, “tubería de información” es un término más extenso que incluye el ETL como un subconjunto. Alude a un marco de trabajo para mover la información empezando con un marco y luego al siguiente. La información podría ser cambiada, y podría ser manejada progresivamente (o a borbotones) en lugar de en racimos. En el momento en que la información se dispersa, se maneja en un flujo ininterrumpido, lo que resulta útil para la información que requiere una actualización constante, por ejemplo, la información de un sensor que observa el tráfico. Además, la información no puede apilarse en una base de datos o en un almacén de información. Puede apilarse en cualquier número de objetivos, por ejemplo, un cubo de AWS o un lago de información, o puede desencadenar considerablemente un webhook en otro marco para iniciar un proceso comercial determinado.

¿Quién necesita un conducto de información?

Si bien una tubería de información no es una necesidad para cada empresa, esta innovación es particularmente útil para aquellos que:

Crear, depender o almacenar enormes sumas o numerosas fuentes de información

Mantener las fuentes de información en silos

Requiere un examen constante o excepcionalmente refinado de la información

Almacenar la información en la nube

Al revisar el resumen anterior, la gran mayoría de las organizaciones con las que interactúas de manera consistente – y probablemente la tuya propia – se beneficiarían de un canal de información.

Tipos de arreglos de información

Existen diversos mecanismos de canalización de la información a los que se puede acceder, y cada uno de ellos es apropiado para diversos propósitos. Por ejemplo, usted debe utilizar los dispositivos de nube-local en el caso de que usted está tratando de reubicar su información en la nube.

El resumen adjunto muestra los tipos de tuberías más conocidos a los que se puede acceder. Nótese que estos marcos no están fundamentalmente inconexos. Por ejemplo, es posible que tenga una tubería de información avanzada tanto para la nube como para el continuo.

Bunch. La preparación de grupos es generalmente útil para cuando se necesita mover enormes volúmenes de información en un intervalo normal, y no se tiene que mover la información continuamente. Por ejemplo, puede ser valioso para incorporar la información de su publicidad en un marco más grande para su examen.

Constante. Estos aparatos se actualizan para procesar información continuamente. La continuidad es útil cuando se maneja información de una fuente de derrame, por ejemplo, la información de los mercados monetarios o la telemetría de los aparatos asociados.

Nube local. Estos dispositivos se actualizan para trabajar con información basada en la nube, por ejemplo, la información de los cubos de AWS. Estos dispositivos se facilitan en la nube, lo que le permite obtener un buen trato en el marco y dominar los activos, ya que puede depender de la base y el dominio del comerciante que facilita su tubería.

De código abierto. Estos instrumentos son más valiosos cuando se necesita una opción de mínimo esfuerzo en contraste con un vendedor de negocios y se tiene la aptitud de crear o ampliar el aparato para sus motivaciones. Los instrumentos de código abierto suelen ser menos costosos que sus socios comerciales, pero se espera que la maestría utilice la utilidad a la luz del hecho de que la innovación fundamental es de libre acceso y está destinada a ser cambiada o alcanzada por los clientes.

El primer escalón

Muy bien, entonces está convencido de que su organización necesita un conducto de información. ¿Cómo empezarías?

Podrías reclutar a un grupo para construir y mantener tu propia tubería de información en la casa. Esto es lo que implica:

Construyendo un enfoque de la pantalla para acercarse a la información (independientemente de si se basa en documentos, en la efusión o en algo diferente)

Interactuar y cambiar la información de cada fuente para coordinar la organización y el proyecto de su objetivo

Trasladar la información a la base de datos objetiva/almacén de información

Inclusión y borrado de campos y modificación del esquema como cambio de los requisitos previos de la organización

Haciendo un deber continuo y perpetuo de mantener y mejorar el conducto de información

Depende de que el procedimiento sea exorbitante, tanto en cuanto a activos como a tiempo. Requerirá mano de obra experimentada (y de esta manera costosa), ya sea contratada o preparada y alejada de otras actividades y proyectos de alta estima. Podría llevar mucho tiempo fabricarlo, lo que traería consigo costos críticos de puertas abiertas. Finalmente, puede ser muy difícil proporcional a este tipo de arreglos, ya que hay que incluir equipo e individuos, que podrían estar fuera del plan de gastos.

Un arreglo menos complejo y más práctico consiste en poner recursos en un sólido conducto de información, por ejemplo, Alooma. Esta es la razón:

Obtienes una rápida estima, fuera del contenedor, ahorrándote el tiempo dedicado a la construcción de un acuerdo interno.

No necesita sacar activos de empresas o artículos existentes para reunir o mantener su información.

En el caso de que o cuando surjan problemas, tienes a alguien en quien puedes confiar para solucionar el problema, en lugar de retirar los activos de las diferentes actividades o dejar de cumplir un SLA

Te ofrece la oportunidad de lavar y mejorar tu información sobre la marcha

Permite un examen continuo y seguro de la información, incluso de varias fuentes al mismo tiempo, guardando la información en un centro de distribución de información en la nube.

Puedes imaginar la información en movimiento

Obtienes una serenidad significativa de la seguridad de las grandes empresas y un 100% SOC 2 Sort II, HIPAA, y GDPR acuerdo coherente

Se consolidan eficazmente los cambios de los planes y las nuevas fuentes de información

Trabajar en un error de manejo implica que la información no se perderá si la pila se queda corta.