存档

文章标签 ‘fluentd’

阿里云DataHub-Fluentd输出插件

2020年6月6日 没有评论

阿里云流式数据服务DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。

DataHub提供了基于Fluentd开发的输出插件,主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范,安装方便,可以很方便地将采集得到的数据写到DataHub。

阿里云官方文档给出了安装和使用方法,并且给出了以下两个使用案例:

可点击上文链接进行查看。

分类: 插件文档 标签: ,

欢迎关注微信公众号【Fluentd学习交流】

2020年5月26日 没有评论

出于维护和成本考虑,本站文章首发于微信公众号【fluentd】,公众号名称为【Fluentd学习交流】。

欢迎微信搜索或扫码关注。

分类: 文档教程 标签:

Fluentd插件详解

2020年5月7日 没有评论

插件是Fluentd的核心组成部分,我们日常工作中对各种日志的处理都是通过插件完成的。

本文汇总了Fluentd插件相关的文章。

  1. 输入插件
  2. 输出插件
  3. 过滤插件
    • record_transformer用法详解
    • grep用法详解
    • parser用法详解
    • stdout用详解
  4. 解析插件
    • regexp用法详解
    • apache2用法详解
    • nginx用法详解
    • csv用法详解
    • json用法详解
    • multiline用法详解
  5. 缓存插件
    • memory用法详解
    • file用法详解
  6. 格式化插件
    • out_file用法详解
    • json用法详解
    • csv用法详解

部分插件文档正陆续更新,欢迎移步微信公众号查看最新内容。

分类: 插件文档 标签: ,

Fluentd应用示例

2020年5月5日 没有评论
分类: 应用示例 标签: ,

Fluentd部署详解

2020年5月5日 没有评论

我们学习一下Fluentd部署相关的一些知识,包含系统配置、监控、高可用配置和性能优化等方面。

  1. Fluentd系统配置项
  2. Fluentd自身日志
  3. 几种监控Fluentd的方法
  4. Fluentd的高可用配置
  5. Fluentd性能优化
  6. Fluentd多worker进程模式
  7. Fluentd运行时错误排查

分类: 文档教程 标签: ,

Fluentd配置文件详解

2020年5月5日 没有评论

Fluentd的运行是基于配置文件的,在配置文件中配置各种插件,实现对日志事件的解析、过滤、缓存和输出。

本系列文章对配置文件的使用进行了详细说明,请点击查看。

  1. Fluentd配置文件说明
  2. Fluentd配置文件语法
  3. Fluentd通用配置参数
  4. Fluentd解析(Parse)配置项
  5. Fluentd缓存(Buffer)配置项
  6. Fluentd格式化(Format)配置项
  7. Fluentd插入(Inject)和存储(Storage)配置项

分类: 文档教程 标签: ,

Fluentd日志采集入门

2020年5月5日 没有评论

我们通过三篇文章简单介绍Fluentd的使用方法。

  1. 在centos上安装Fluentd
  2. 使用in_tail和stdout插件演示Fluentd的使用
  3. Fluentd事件的生命周期

事件是Fluentd内部使用的基本数据结构,从输入插件生成,经由过滤器等插件处理,最后由输出插件输出。

分类: 文档教程 标签: ,

Fluentd简介

2018年3月9日 没有评论

Fluentd是一个开源的通用日志采集和分发系统,可以从多个数据源采集日志,并将日志过滤和加工后分发到多种存储和处理系统。

套一句广告语:Fluentd不生产日志,Fluentd只是日志的搬运工。

先来看一张官网介绍的图片:

从图中可以看出,Fluentd居于日志采集流程的中间层。它可以从Apache/Nginx等广泛应用的系统、数据库、自定义系统中采集日志,数据进入Fluentd后可根据配置进行过滤、缓存,最终分发到各种后端系统中。这些后端系统包括告警系统(Nagios)、分析系统(MongoDB、MySQL、Hadoop、ElasticSearch)、存储系统(Amazon S3)等。

说白了,Fluentd就是把通常的日志采集-分发-存储流程提炼出来,用户只需要考虑业务数据,至于数据的传输、容错等过程细节都交给Fluentd来做。所谓通用中间件不都是这样一个逻辑吗?

为了统一处理各种日志,Fluentd把JSON作为内部数据格式,流入和流出的数据都是JSON格式。由于JSON是一种通用的跨平台的数据格式,这给现有系统的改造带来很大便利。

由于对日志业务流程做了抽象,为了能支持各种日志,Fluentd将各采集分发步骤插件化,通过在各个步骤接入合适的插件来处理对应的业务数据。Fluentd内置了常用的插件,比如in_tail、in_http、out_file、out_mongo等,开源社区也贡献了更丰富的插件。通过组合各种插件,我们能够轻松搭建起自己的日志采集系统。

Fluentd使用C作为开发语言,其插件系统的开发使用到了Ruby。C保证了系统的高效,Ruby给用户提供了一个灵活使用插件的途径。笔者对Ruby不是很熟,为什么不用Lua呢?

现在你应该知道Fluentd是个什么东东了吧。接下来我们会介绍Fluentd的安装简单使用方法。

 

【Fluentd中文网提供Fluentd中文文档和教程、Fluentd配置示例和插件使用、Fluentd疑难分析等。】

【最新文章首发于微信公众号:Fluentd学习交流。欢迎关注,共同学习!】

分类: 文档教程 标签: ,