优化之监控平台的建立之运维进阶

1、日志文件采集端我们使用filebeat,运维通过我们的后台管理界面化配置，每个机器对应一个filebeat，每个filebeat日志对应的topic可以是一对一、多对一，根据日常的日志量配置不同的策略。

除了采集业务服务日志外，我们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等。最后结合我们的自动化发布平台，自动发布并启动每一个filebeat进程。

2、调用栈、链路、进程监控指标我们使用的代理方式：Elastic APM，这样对于业务侧的程序无需任何改动。对于已经在运营中的业务系统来说，为了加入监控而需要改动代码，那是不可取的，也是无法接受的。Elastic APM可以帮我们收集http接口的调用链路、内部方法调用栈、使用的sql、进程的cpu、内存使用指标等。

可能有人会有疑问，用了Elastic APM，其它日志基本都可以不用采集了。还要用filebeat干嘛？

 

景

在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。

那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。

我们的解决方案

通过上面的需求我们推出了日志监控系统。 

 

3. 成为IT通才是一个很好选择吗?

对于某些存储管理人员来说，对IT采取更广泛的方法将成为具有多方面技能的通才，这是使自己变得更有价值的一条合理途径。

Lowe指出，IT专家过去被认为价值较低。但是如今，适当的技能广度可以成为一项资产。他说：“IT架构看似采用一堆零部件搭建的，如今更像是具有预定结果的拼图游戏。企业必须确保所有零件都能放在一起以展现最终组合。IT通才需要通晓各个部分如何协同工作，这对于达成最终结果而言是很重要的。”

Handy说，成为一名通才是一个合理的长期策略。他说：“现在拥有的技能可能会过时。存储管理人员需要提前考虑，扩大技能范围有助于适应不可避免的变化。”

Engelhardt表示，虽然成为IT通才可以提供很多就业机会，但并不是什么人都能成为IT通才。考虑利用存储行业背景的其他角色包括数据安全性和取证。例如Hadoop和Apache Spark大数据分析。他补充说，无论向哪个技能方向发展，专注于业务目标都是存储管理人员保持相关性的重要途径。

4. 现在最适合参与哪些类型的项目?

如果现在无法拓展工作职责，那么使存储管理人员从事以存储为重点的工作变得很重要。存储专业人员可以参加开发一些可以提高知名度的项目，同时可以提高技能水平，从长远来看，拥有这些技能将得到更多回报。Staimer表示，参与开发人工智能、存储以外的数据管理和网络安全项目都是不错的选择。

Engelhardt说，云迁移、脚本编写和自动化、云管理和优化也是非常强大的技术，这是一些值得参与的领域。他补充说，传统技能将继续受到需求的影响，但获得新技能(特别是与云计算相关的技能)对于存储管理人员的未来职业发展非常重要。

Handy建议，不要让当前的工作或职位描述阻碍存储专业人员的发展。存储管理人员需要选择组织将要采用的技术，并对它拥有与同行相比更深刻的理解。他说：“这是一项作业，但从长远来看，它所花费的时间将超出其业余爱好和娱乐时间。”



 

（编辑：揭阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!