ELK+Redis日志流程展示-创新互联

业务流程架构图：

一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统

架构图描述：

  日志收集系统：（数据来源）生产者产生的日志记录行为，通过被logstash收集、转发，然后传送给redis做序列话，最后通过ELK处理分析展示。

 elasticSearch会对数据做存储，索引（基于Lunce），再kibana中建立对elasticSearch的链接，实时的抓取索索引后的数据，这样数据就可以实时的进行展示，通过一些数据组装，查询条件，得到我们想要的结果（可以通过各种方式例如图表，表格，折线图等显示）

效果图：

####

一、ELK搭建

http://dbspace.blog.51cto.com/6873717/1879106

二、Redis部署

 注意redis必须是3.0版本以上，不然会有各种问题，之前遇到坑

三、根据架构编写logstash的日志收集配置

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_client.conf

input{

  file{

    type => "log_count"

    path => "/var/log/messages"

}

}

output{

  redis{

    host => "192.168.1.114"

    port => 6379

    data_type => "list"

    key => "key_count"

    db => 0

}

}

四、编写logstash的配置从redis读取数据转发到ELK

[root@mycat conf]# cat /usr/local/logstash/conf/logstash_server.conf

input{

  redis{

host => "192.168.1.114"

port => 6379

type => "redis-input"

data_type => "list"

key => "key_count"

db => 0

}

}

output{

  elasticsearch{

hosts =>"192.168.1.114:9200"

codec =>"json"

}

}

###红色部分要相同

启动2个服务

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_server.conf &

 /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_client.conf &

五、饼图分析

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。