En el camino hacia Cloud Native que nos plantea la CNCF una de las muchas herramientas que podemos encontrar es fluentd, que es una de las herramientas propuestas en el paso 4 (Observability & Analisys).
fluentd es un proyecto de software de recolección de datos de código abierto multiplataforma desarrollado originalmente en Treasure Data.
Está escrito principalmente en los lenguajes C y Ruby.
Se dedica principalmente a buscar y recoger toda la información (logs) que generan las diferentes aplicaciones de tu sistema.
Su principal característica es la conexión de distintas fuentes de datos con múltiples destinos (desde bases de datos a servicios web, otros ficheros, etc.). Una labor que habitualmente era ejecutada de manera manual por los desarrolladores.
Algunas de sus características principales.
- Fácil instalación y mínima necesidad de recursos hardware para su uso.
- Es Opensource (Apache 2.0 Licensed), tiene una enorme comunidad detrás y dispone de una amplia y detallada documentación.
- Footprint ligero, el core de Fluentd son 3000 líneas Ruby (30~40MB).
- Logging de datos semiestructurados, usando para ello el formato JSON.
- Soporta múltiples lenguajes.
- Arquitectura basada en un extenso catálogo de plugins (in_http, in_tail, out_mongo, out_webhdfs, out_kafka2…) que nos permite extender su funcionalidad.
- Presenta una alta estabilidad y un buen rendimiento avalado por las más de 5000 compañías que lo usan.
- Configurable en alta disponibilidad.
Cuándo es recomendable usarlo.
Su arquitectura está enfocada al procesamiento en entornos “Big Data”, y nos extraño encontrar instalaciones de más de 500 servidores generando 5 TB diariamente y con 50000 mensajes/segundo.
Teniendo en cuenta que estos entornos pueden ser restrictivos en cuanto al uso de capacidad, necesitamos una solución rápida y optimizada que pueda trabajar con:
- Diferentes fuentes de información.
- Diferentes formatos de datos.
- Destinos múltiples.
Algunos artículos relacionados.
- «fluentd: Colector de Logs BigData!» de Luismi García.
- «Caso de uso: ¿Cómo y por qué centralizar tus logs?» de Jose Manuel Cabrera.
- Entrada de la Wikipedia.
