存档

文章标签 ‘文档’

Fluentd部署详解

2020年5月5日 没有评论

我们学习一下Fluentd部署相关的一些知识,包含系统配置、监控、高可用配置和性能优化等方面。

  1. Fluentd系统配置项
  2. Fluentd自身日志
  3. 几种监控Fluentd的方法
  4. Fluentd的高可用配置
  5. Fluentd性能优化
  6. Fluentd多worker进程模式
  7. Fluentd运行时错误排查

分类: 文档教程 标签: ,

Fluentd日志采集入门

2020年5月5日 没有评论

我们通过三篇文章简单介绍Fluentd的使用方法。

  1. 在centos上安装Fluentd
  2. 使用in_tail和stdout插件演示Fluentd的使用
  3. Fluentd事件的生命周期

事件是Fluentd内部使用的基本数据结构,从输入插件生成,经由过滤器等插件处理,最后由输出插件输出。

分类: 文档教程 标签: ,

Fluentd简介

2018年3月9日 没有评论

Fluentd是一个开源的通用日志采集和分发系统,可以从多个数据源采集日志,并将日志过滤和加工后分发到多种存储和处理系统。

套一句广告语:Fluentd不生产日志,Fluentd只是日志的搬运工。

先来看一张官网介绍的图片:

从图中可以看出,Fluentd居于日志采集流程的中间层。它可以从Apache/Nginx等广泛应用的系统、数据库、自定义系统中采集日志,数据进入Fluentd后可根据配置进行过滤、缓存,最终分发到各种后端系统中。这些后端系统包括告警系统(Nagios)、分析系统(MongoDB、MySQL、Hadoop、ElasticSearch)、存储系统(Amazon S3)等。

说白了,Fluentd就是把通常的日志采集-分发-存储流程提炼出来,用户只需要考虑业务数据,至于数据的传输、容错等过程细节都交给Fluentd来做。所谓通用中间件不都是这样一个逻辑吗?

为了统一处理各种日志,Fluentd把JSON作为内部数据格式,流入和流出的数据都是JSON格式。由于JSON是一种通用的跨平台的数据格式,这给现有系统的改造带来很大便利。

由于对日志业务流程做了抽象,为了能支持各种日志,Fluentd将各采集分发步骤插件化,通过在各个步骤接入合适的插件来处理对应的业务数据。Fluentd内置了常用的插件,比如in_tail、in_http、out_file、out_mongo等,开源社区也贡献了更丰富的插件。通过组合各种插件,我们能够轻松搭建起自己的日志采集系统。

Fluentd使用C作为开发语言,其插件系统的开发使用到了Ruby。C保证了系统的高效,Ruby给用户提供了一个灵活使用插件的途径。笔者对Ruby不是很熟,为什么不用Lua呢?

现在你应该知道Fluentd是个什么东东了吧。接下来我们会介绍Fluentd的安装简单使用方法。

 

【Fluentd中文网提供Fluentd中文文档和教程、Fluentd配置示例和插件使用、Fluentd疑难分析等。】

【最新文章首发于微信公众号:Fluentd学习交流。欢迎关注,共同学习!】

分类: 文档教程 标签: ,