fluentd: buscando y recogiendo información.

logo fluentd
Fuente:

En el camino hacia Cloud Native que nos plantea la CNCF una de las muchas herramientas que podemos encontrar es fluentd, que es una de las herramientas propuestas en el paso 4 (Observability & Analisys) del camino hacia Cloud Native.

fluentd es un proyecto de software de recolección de datos de código abierto multiplataforma desarrollado originalmente en Treasure Data.

Está escrito principalmente en los lenguajes C y Ruby.

Se dedica principalmente a buscar y recoger toda la información (logs) que generan las diferentes aplicaciones de tu sistema.

Su principal característica es la conexión de distintas fuentes de datos con múltiples destinos (desde bases de datos a servicios web, otros ficheros, etc.). Una labor que habitualmente era ejecutada de manera manual por los desarrolladores.

Algunas de sus características principales.

  • Fácil instalación y mínima necesidad de recursos hardware para su uso.
  • Es Opensource (Apache 2.0 Licensed), tiene una enorme comunidad detrás y dispone de una amplia y detallada documentación.
  • Footprint ligero, el core de Fluentd son 3000 líneas Ruby (30~40MB).
  • Logging de datos semiestructurados, usando para ello el formato JSON.
  • Soporta múltiples lenguajes.
  • Arquitectura basada en un extenso catálogo de plugins (in_http, in_tail, out_mongo, out_webhdfs, out_kafka2…) que nos permite extender su funcionalidad.
  • Presenta una alta estabilidad y un buen rendimiento avalado por las más de 5000 compañías que lo usan.
  • Configurable en alta disponibilidad.

Cuándo es recomendable usarlo.

Su arquitectura está enfocada al procesamiento en entornos “Big Data”, y nos extraño encontrar instalaciones de más de 500 servidores generando 5 TB diariamente y con 50000 mensajes/segundo.

Teniendo en cuenta que estos entornos pueden ser restrictivos en cuanto al uso de capacidad, necesitamos una solución rápida y optimizada que pueda trabajar con:

  • Diferentes fuentes de información.
  • Diferentes formatos de datos.
  • Destinos múltiples.

Algunos artículos relacionados.

Leave a reply:

Your email address will not be published.

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.