存档

‘文档教程’ 分类的存档

欢迎关注微信公众号【Fluentd学习交流】

2020年5月26日 没有评论

出于维护和成本考虑,本站文章首发于微信公众号【fluentd】,公众号名称为【Fluentd学习交流】。

欢迎微信搜索或扫码关注。

分类: 文档教程 标签:

Fluentd部署详解

2020年5月5日 没有评论

我们学习一下Fluentd部署相关的一些知识,包含系统配置、监控、高可用配置和性能优化等方面。

  1. Fluentd系统配置项
  2. Fluentd自身日志
  3. 几种监控Fluentd的方法
  4. Fluentd的高可用配置
  5. Fluentd性能优化
  6. Fluentd多worker进程模式
  7. Fluentd运行时错误排查

分类: 文档教程 标签: ,

Fluentd配置文件详解

2020年5月5日 没有评论

Fluentd的运行是基于配置文件的,在配置文件中配置各种插件,实现对日志事件的解析、过滤、缓存和输出。

本系列文章对配置文件的使用进行了详细说明,请点击查看。

  1. Fluentd配置文件说明
  2. Fluentd配置文件语法
  3. Fluentd通用配置参数
  4. Fluentd解析(Parse)配置项
  5. Fluentd缓存(Buffer)配置项
  6. Fluentd格式化(Format)配置项
  7. Fluentd插入(Inject)和存储(Storage)配置项

分类: 文档教程 标签: ,

Fluentd日志采集入门

2020年5月5日 没有评论

我们通过三篇文章简单介绍Fluentd的使用方法。

  1. 在centos上安装Fluentd
  2. 使用in_tail和stdout插件演示Fluentd的使用
  3. Fluentd事件的生命周期

事件是Fluentd内部使用的基本数据结构,从输入插件生成,经由过滤器等插件处理,最后由输出插件输出。

分类: 文档教程 标签: ,

Fluentd简介

2018年3月9日 没有评论

Fluentd是一个开源的通用日志采集和分发系统,可以从多个数据源采集日志,并将日志过滤和加工后分发到多种存储和处理系统。

套一句广告语:Fluentd不生产日志,Fluentd只是日志的搬运工。

先来看一张官网介绍的图片:

从图中可以看出,Fluentd居于日志采集流程的中间层。它可以从Apache/Nginx等广泛应用的系统、数据库、自定义系统中采集日志,数据进入Fluentd后可根据配置进行过滤、缓存,最终分发到各种后端系统中。这些后端系统包括告警系统(Nagios)、分析系统(MongoDB、MySQL、Hadoop、ElasticSearch)、存储系统(Amazon S3)等。

说白了,Fluentd就是把通常的日志采集-分发-存储流程提炼出来,用户只需要考虑业务数据,至于数据的传输、容错等过程细节都交给Fluentd来做。所谓通用中间件不都是这样一个逻辑吗?

为了统一处理各种日志,Fluentd把JSON作为内部数据格式,流入和流出的数据都是JSON格式。由于JSON是一种通用的跨平台的数据格式,这给现有系统的改造带来很大便利。

由于对日志业务流程做了抽象,为了能支持各种日志,Fluentd将各采集分发步骤插件化,通过在各个步骤接入合适的插件来处理对应的业务数据。Fluentd内置了常用的插件,比如in_tail、in_http、out_file、out_mongo等,开源社区也贡献了更丰富的插件。通过组合各种插件,我们能够轻松搭建起自己的日志采集系统。

Fluentd使用C作为开发语言,其插件系统的开发使用到了Ruby。C保证了系统的高效,Ruby给用户提供了一个灵活使用插件的途径。笔者对Ruby不是很熟,为什么不用Lua呢?

现在你应该知道Fluentd是个什么东东了吧。接下来我们会介绍Fluentd的安装简单使用方法。

 

【Fluentd中文网提供Fluentd中文文档和教程、Fluentd配置示例和插件使用、Fluentd疑难分析等。】

【最新文章首发于微信公众号:Fluentd学习交流。欢迎关注,共同学习!】

分类: 文档教程 标签: ,