日志管理工具可提高安全性、帮助排除故障并允许进行系统监控。 本日志管理指南涵盖了基本术语，并讨论了使用集中式工具的优势。
什么是日志？
日志文件是当系统、网络和应用程序中发生某些事件时自动生成的数据集合。 他们创建记录活动的记录：
- 用户
- 服务器
- 网络
- 计算机操作系统
- 应用程序/软件
- 例如，事件日志可能会跟踪：
- 当计算机的备份完成时
- 阻止应用程序启动的错误
- 用户从网站下载的文件
安全和 IT 运营团队使用它们来检查和响应异常的系统活动。
日志可以采用两种格式之一。 一个人可以打开并阅读其中的一些。 其他的是完全机器可读的，并为审计目的而保留。
以下是日志类型的一些示例：
- 审核日志
- 事务日志
- 事件记录
- 错误日志
- 消息的日志文件
- 安全日志
最后，日志有多种格式和扩展，包括
- .LOG
- 。文本
- JSON
- 。CSV
- .DAT
您可以使用以下程序打开日志文件，具体取决于扩展名和可读性：
- 记事本是标准的文本编辑器。
- 文字处理软件，例如 OpenOffice 或 Microsoft Word
- PowerShell 是一个命令行应用程序。
- 微软的Excel
- OpenOffice 计算器
- LibreOffice 中的计算器
什么是日志管理？
日志管理是管理事件日志的过程，包括以下日志活动：
- 发电
- 发射
- 储存
- 分析
- 处置
合规性在很大程度上依赖于日志管理。 由于事件日志包含与环境中的活动有关的所有数据，因此它们可用作审计文档。 例如，日志管理可以帮助满足各种合规性要求，例如：
- 2002 年联邦信息安全管理法案 (FISMA) 于 2002 年颁布。
- 1996 年健康保险流通与责任法案 (HIPAA)
- SOX（2002 年萨班斯-奥克斯利法案）
- GLBA（格拉姆-里奇-比利利法案）
- PCI DSS（支付卡行业数据安全标准）
- GDPR（通用数据保护法规）
什么是集中日志管理？
集中式日志管理解决方案是一种允许企业处理所有类型日志的技术。 这些包括来自其本地、云和混合设置的设置，这些设置通过激活以下内容启用：
- 咽下 来自各种系统、网络、应用程序和设备的记录
- 聚合： 将数量、体积和种类不断增加的日志源合并到一个区域中的过程。
- 解析： 从每个事件日志中提取相关信息以提高可用性。
- 正常化 需要为所有事件日志数据开发一致的格式。
- 相关 是连接来自许多设置的事件信息的过程，以便更好地了解正在发生的事情。
- 分析： 通过自动化连接的数据点创建高保真警告。
集中式日志记录平台为操作和安全提供高保真警告，使他们能够更快地注意到、调查和响应问题。
SIEM 与日志管理
SIEM 和日志管理软件都使用日志文件或事件日志来降低攻击面、识别威胁并在发生安全事件时缩短响应时间，从而提高安全性。
本质区别在于 SIEM 系统的设计以安全为主要作用，而日志管理解决方案可用于管理资源、解决网络或应用程序问题以及保持合规性。
日志管理工具如何工作？
每个人都可以通过集中式日志管理解决方案了解各种 IT 环境中发生的事情。 更重要的是，集中式日志管理使响应服务器停机或安全漏洞等问题变得更加简单。 然而，了解集中式日志管理解决方案的功能对于更好地理解它们的价值也至关重要。
#1。 日志收集
日志管理的第一步是决定如何收集和存储日志数据。 这是集中式日志管理解决方案的主要优势。
IT 环境的以下组件生成日志数据：
- 计算机系统，
- 防火墙，
- 服务器，
- 开关
- 路由器，
- 工作站
- 应用领域
- IDS（入侵检测系统）
- 入侵检测和防御系统 (IPS)
- 防病毒解决方案
- EDR（端点检测和响应）解决方案
每个系统、软件和设备可以生成多个 EPS（每秒事件数）。 这就是为什么使用能够处理相应数量日志的日志收集器很重要的原因。
您可以使用集中式日志管理解决方案定义和个性化您想要的日志数据。
日志收集策略
您应该安排记录数据收集设置以在收集所有必要信息的同时排除冗余数据。 这是一种可以提高性能和效率的简单策略。
日志收集的另一种技术是使用极简主义策略。 这需要收集所有相关数据，以便日志管理应用程序可以对其进行组织和分析。 虽然此策略还有其他缺点，但最重要的两个缺点是：
- 成本增加： 存储大量数据成本高昂，并且需要额外的人员来监督该过程。
- 效率降低： 将极其庞大的数据集保持在线会降低整体性能。
长期日志保留和存储
该集合使您可以长时间存储和保留日志。 许多合规性法律涉及日志存储和保留，因此您应该将其纳入您的日志收集中。 通常，最佳实践建议将日志数据至少保存一年，以备需要进一步研究时使用。
保存日志时，您可以选择将数据备份到本地服务器或云端。 这一决定通常与公司决定走向数字化并在线传输其资源一起做出。
日志轮换
日志轮换自动执行重命名、调整大小、传输或删除大型或过时日志文件的过程。
您可以指定生成日志的时间间隔：
- 已删除。
- 压缩以节省空间。
- 通过电子邮件发送到另一个位置。
这会为更多当前日志文件创建新的存储空间。
#2。 日志聚合
如果没有集中式日志管理解决方案，可能很难将所有日志数据聚合到一个地方。 困难包括：
- 海量数据
- 日志数据精度
- 格式因系统、网络、应用程序和设备而异。
即使您的日志管理系统可以处理大量数据，生成这些数据的速度也很关键。 这个速率应该得到日志管理工具的支持。 这就是为什么在选择工具时应考虑工具的 EPS。
#3。 日志解析
您希望专注于对满足您的需求最重要的信息。 日志解析是从日志中提取最重要数据的过程。
每个事件日志条目都标有种类。 您通常会发现以下事件日志类型：
- 相关信息： 对应该发生的事情的基本解释。
- 警告： 现在可能不相关但表示以后可能出现的问题的事件通知。
- 错误： 出了点问题，导致了大问题。
- 成功审核： 确认审核的安全事件已成功完成的安全日志。
- 失败审计：一个安全日志条目，表明已审核的安全事件未成功完成。
此外，每个审核日志可能包含以下信息：
- 日期
- 时间
- 用户
- 计算机/设备
- 事件标识符
- 来源
- 事件类型
- 活动说明
#4。 日志规范化
解析数据可以让你获得你需要的信息。 日志规范化允许您为所有事件日志生成一致的格式。
例如，您可能收集的多种日志格式中的一些如下：
- 系统日志： 来自路由器和交换机等网络设备的消息。
- JavaScript 对象表示法 (JSON)： 一种人和机器都能理解的格式。
- 来自基于 Windows 的操作系统和应用程序的记录存储在 Windows 事件日志中。
- 通用事件格式 (CEF)： 一种基于文本的、灵活的、易于访问的格式。
事件关联
在现代、复杂的 IT 环境中有许多相互关联的系统、网络和应用程序。 您必须理解所有的依赖关系，并能够追溯问题的根源。
合并多个事件以查看存在的相关性的技术称为关联事件。 例如，服务器中断可能会影响应用程序性能。 另一方面，您的 IT 团队接到了有关延迟申请的服务台电话。
您可以通过链接事件来加快根本原因分析。
日志分析
通过解析、标准化和关联您收集的数据，日志分析可以利用这些数据。
集中式日志管理工具自动化并简化了日志数据分析过程。 图表突出了事件和数据之间的关系和相似之处。 这使得检测问题和确定其原因变得更加容易。
以下是日志分析最常见的应用：
- 符合
- 保安
- 故障排除
- 提高性能
日志管理和监控的主要好处是什么？
日志管理至关重要，因为它使您能够采用有条不紊的方法来实时了解操作和安全性。
日志管理和监控的优势包括：
- 系统控制
- 高质量警告
- 提高安全性
- 增强的故障排除
- 提高资源利用率
- 更好的合规态势
#1。 系统控制
日志管理的优势之一是它允许您监控在您的多元化 IT 环境中发生的一切。 此外，作为系统监控的一部分，不同的人员获得相同的可见性以改善沟通。 例如，集中式系统监控允许：
- IT管理
- DevOps的
- 开发工具
- 计算机系统管理员
- 运营安全
这种可见性可以提供对可能预示潜在或未来问题的性能问题的洞察。
您可以通过电子邮件、协作工具和票务系统与 Graylog 交流信息。
#2。 高保真警报
集中日志管理关联和分析事件日志数据的能力还意味着您可以生成高保真警报。 您可以配置监视设置以跟踪特定的事件集合并接收可配置的实时通知。 这些警告使您能够更快地做出响应并减少停机时间。
#3。 提高安全性
高保真通知还提高了安全性。 您可能有一个专门的安全团队或员工在 IT 团队中管理安全功能。 在这两种情况下，每个人都对大量警告感到不知所措，其中许多是误报。
通过连接事件，您可以限制误报的数量并确定安全响应工作的优先级。 这增强了检测、缩短了响应时间并降低了风险。 威胁行为者在您的环境中停留的时间越短，他们造成的损害就越小。
您还可以使用日志管理将您的 SIEM 转变为用于威胁搜寻的主动安全工具。
#4。 更快的故障排除
日志管理使您能够更好地控制和洞察环境的流程。 数据挖掘功能内置于日志管理解决方案中。 他们可以筛选大量日志数据以发现原本不会被注意到的模式。
日志分析允许您定制搜索和分析，以从日志中收集的大量数据中获益。 您可以使用具有高级搜索功能的有组织和无结构日志。 这使您可以收集有关特定事件的信息，以帮助确定根本原因。
现在更容易：
- 重新创建导致问题的事件序列。
- 与其他事件建立联系。
- 确定问题的根源。
#5。 充分利用资源
性能监控可以帮助您跟踪资源利用率。 通常，有人会提交帮助台票据，声称应用程序没有响应。 但是，这可能是服务器过载的结果。
集中式日志管理让您可以看到性能问题和瓶颈。 您可以通过优化资源消耗来减轻 IT 人员的压力。
集中式日志管理可以提供对云环境中消费情况的可见性：
- 工作负载
- 应用领域
- 各种环境
- 被遗忘的资产
了解这一点可以帮助您优化云费用。
#6。 合规态势改善
日志报告使用数字和视觉特征来总结搜索和分析过程。
日志报告可用于向非技术人员展示您的发现。 这些数据可以与高级管理层或董事会共享。 他们拥有通过评估这些报告来验证对安全计划的治理的数据，这对于合规性至关重要。
常见的日志管理挑战
链接设备的增长以及向云的迁移增加了许多企业日志管理的复杂性。 现代、成功的日志管理解决方案必须解决以下关键问题：
#1。 标准化
由于日志管理从众多应用程序、系统、工具和主机收集信息，因此所有数据必须整合到一个遵循相同标准的系统中。 此日志文件将帮助 IT 和信息安全专业人员有效地分析日志数据并生成用于执行关键任务服务的见解。
#2。 体积
数据正在以令人难以置信的速度生成。 应用程序和系统定期生成的数据量需要许多组织付出大量努力才能有效地获取、准备、分析和存储。 日志管理系统的设计必须能够处理大量数据，同时提供及时的见解。
#3。 潜伏
在日志文件中建立索引可能是一个计算成本很高的过程，导致数据进入系统与包含在搜索结果和可视化中之间存在滞后。 根据日志管理系统如何以及是否为数据编制索引，延迟可能会增加。
#4。 重大的 IT 负担
手动完成日志管理非常耗时且成本高昂。 其中一些操作可以使用数字日志管理工具实现自动化，从而减轻 IT 人员的负担。
日志最大的难点在于海量的数据。 在许多情况下，IT 专业人员不会主动检查和挖掘日志数据。 这是可以理解的：没有人愿意每天手动查看大量日志。
但是，由于事件数据可能是关键应用程序或服务资源耗尽或需求激增的第一个迹象，因此组织必须投资于有效的日志管理工具和最佳实践，以确保他们充分利用数据.
最佳日志管理实践
#1。 购买工具
许多与事件日志管理相关的耗时过程都可以使用日志管理软件实现自动化。 一些公司可能会错误地尝试构建自己的日志监控基础设施，但是，如果时间和金钱受到限制，则不建议这样做。 有许多低成本的供应商日志管理工具可以立即提供价值。
#2。 集中记录
将所有日志数据整合到一个可访问的区域中的行为称为集中日志管理。 将所有日志放在一个区域中可以简化日志管理。 集中式日志记录工具可以帮助您组织来自多个来源的数据、搜索特定日志并执行保留标准以确保日志在特定时间可用。 此外，集中式日志记录有助于与其他业务联系人共享日志数据。
#3。 了解要注意什么
提前计划很重要，这样您就知道需要监控什么，不需要监控什么。 企业经常会错误地认为某些东西应该被记录下来只是因为它可以。 这将对您的日志管理方法产生负面影响，因为记录太多数据点会使找到最关键的数据变得更加困难。 它还会增加日志存储的复杂性（和成本）。
但是，有必要记录对日常流程或应用程序开发至关重要的任何形式的生产环境数据。 同样，您应该记录任何有助于分析性能问题或解决用户体验问题的数据。 这些日志中的数据会对您的日常运营产生直接影响。
#4。 创建日志安全
由于日志数据经常包含敏感信息，因此企业必须选择能够让 IT 专业人员完全控制其数据的供应商。 寻求保护数据安全的技术团队的第一步是选择安全的数据传输解决方案。
增强的传输协议使 IT 专业人员能够在将所有敏感日志数据发送给可信赖的合作伙伴之前对其进行加密。 安全帐户和基于角色的访问管理也是至关重要的安全元素。 可以为用户提供登录凭据，IT 专业人员可以指定特定权限以确保其数据安全并受到监控。
#5。 扩展服务
日志数据占用空间，当出现严重的系统问题并由于错误率增加而加速日志文件增长时，这种情况会更加复杂。 对于技术团队而言，手动管理这种不可预测性既费钱又费时。 企业应该投资托管云解决方案，该解决方案可以随着日志生成的波动自动扩展以节省时间和金钱。
用于日志管理、监控和分析的工具
#1。 追溯
你厌倦了在黑暗中追逐虫子吗？ 多亏了 Retrace，您不必这样做。 借助这个包括日志记录、错误监控和代码级性能在内的关键工具包，您可以追溯代码、检测错误并增强应用程序性能。
主要特征包括：
- 日志、错误和 APM 数据合并在一起。
- 结构化和语义化的日志记录
- 高级搜索和过滤功能
- 可以查看和搜索自定义日志属性。
- 自动颜色编码以突出显示故障和警告
- 跟踪和报告代码中日志消息的来源
- 网络查询和交易的痕迹
- 查看整个应用错误详情
- 调查您所有的日志记录字段。
- 分析日志
- 日志实时跟踪
- 使用标签（在您的日志中突出显示）。
- 支持大量应用程序和服务器日志
费用：
- QA/Pre-Production Servers 起价为每月 10 美元。
- 生产服务器的价格在每月 25 到 50 美元之间。
#2。 对数
Logentries 是一个基于云的日志管理平台，可以让任何规模的开发人员、IT 工程师和业务分析师组使用任何类型的计算机生成的日志数据。 Logentries 的简单入职流程可确保任何业务团队从第一天起就可以快速有效地开始解释他们的日志数据。
主要特征包括：
- 上下文视图、自定义标签和实时尾部搜索都是实时可用的。
- 针对各种基础设施类型和规模的动态扩展。
- 对数据趋势进行广泛的可视化分析。
- 自定义警报和预定义的查询报告。
- 现代安全措施可确保您的数据安全。
- 与顶级聊天和绩效管理工具无缝集成。
费用：
- 免费：$ 0
- 起始价：39 美元
- 专业版：$ 99
- 团队：265 美元
- 企业：请求报价。
#3。 访问
GoAccess 是一种实时日志分析器软件，旨在从 Unix 系统的终端或浏览器运行。 它提供了一个快速的日志记录环境，数据可以在数据保存在服务器上后几毫秒内显示出来。
主要特征包括：
- 真正实时； 以毫秒为单位更新终端环境中的日志数据。
- 可以自定义日志字符串。
- 应监控页面响应时间； 这对于应用程序尤其重要。
- 配置简单； 只需选择您的日志文件并启动 GoAccess。
- 为您的网站访问者提供实时分析。
价格: 没有（开源）。
#4。 日志.io
Logz.io 通过利用机器学习和预测分析，简化了从应用程序、服务器和网络设置的日志中定位关键事件和数据的过程。 它是一个 SaaS 平台，具有由 ELK Stack（Elasticsearch、Logstash 和 Kibana）提供支持的基于云的后端。 此环境使您能够实时查看您尝试检查或理解的任何日志数据。
主要特征包括：
- 使用 ELK 即服务来检查云中的日志。
- 在关键日志事件到达生产环境之前，认知分析会交付它们。
- 快速设置后五分钟即可投入生产。
- 各种规模的企业都可以从动态扩展中受益。
- AWS 内置的数据安全性可确保您的数据安全无损。
费用：
- 免费：$ 0
- 专业版：起价为 89 美元
- 企业：请求报价。
#5。 格雷洛格
Graylog 是一款免费的开源日志管理软件，可以进行详细的日志收集和分析。 网络安全、IT 运营和 DevOps 中的团队使用日志管理软件来识别潜在的安全问题，遵循合规性标准，并了解您的应用程序面临的任何错误或问题的根本原因。
主要特征包括：
- 使用复杂的处理算法，丰富和解析日志。
- 搜索无限量的数据以找到您要查找的内容。
- 用于显示日志数据和可视化搜索的自定义仪表板。
- 自定义警报和触发器用于跟踪任何数据问题。
- 团队成员由集中管理系统管理。
- 可以自定义用户及其角色的权限管理。
费用：
- 开源意味着“免费”。
- Enterprise：起价为每年 6,000 美元。
#6。 斯普伦克
Splunk 的日志管理产品面向需要简单工具来搜索、诊断和报告数据日志事件的企业客户。 基于多行方法，Splunk 的软件旨在支持索引和解释任何类型日志的过程，无论是结构化、非结构化还是复杂的应用程序日志。
主要特征包括：
- Splunk 了解所有类型的机器数据，包括服务器、Web 服务器、网络、交换、大型机和安全设备。
- 用于实时搜索和评估数据的多功能用户界面。
- 用于检测日志文件中的异常和重复模式的钻取算法。
- 用于跟踪重要事件和操作的监控和警报系统。
- 通过使用自动化仪表板输出进行可视化报告。
费用：
- 每天免费提供 500MB 数据。
- Splunk Cloud：起价为 186 美元。
- Splunk Enterprise 的入门费用为 2,000 美元。
#7。 逻辑
Logmatic 是一个全面的日志管理解决方案，适用于任何语言或堆栈。 该解决方案适用于前端和后端日志数据，并提供一个简单的在线仪表板，用于访问有关服务器环境中正在发生的事情的重要见解和信息。
主要特征包括：
- 上传并开始——发送任何类型的日志或指标，Logmatic 将为您组织它们。
- 自定义解析规则允许您筛选大量复杂数据以发现模式。
- 一种用于将日志追溯到其源头的强大方法。
- 扩展时间序列的仪表板、饼图、计算指标、流程图等。
费用：
- 基本套餐 49 美元
- 专业版：$ 99
- 企业版 349 美元
#8。 日志存储
Elasticsearch 的 Logstash 是一个著名的开源日志管理应用程序，用于管理、分析和传输日志数据和事件。 Logstash 充当数据处理器，同时组合和转换来自多个来源的数据，然后将其发送到您首选的日志管理平台，例如 Elasticsearch。
主要特征包括：
- 在不丢失并发性的情况下，从各种来源获取数据，包括日志、指标、Web 应用程序、数据存储和 AWS。
- 数据实时解析。
- 从非结构化数据中构建结构。
- 使用管道加密的数据安全。
开源是免费的。
#9。 相扑逻辑
Sumo Logic 是一个统一的日志和指标平台，它使用机器学习来实时评估您的数据。 该平台可以立即显示任何特定问题或事件的根本原因，并且可以配置为持续实时监控您的应用程序发生的情况。 Sumo Logic 的主要优势在于它能够快速处理数据，无需外部数据分析和管理工具。
主要特征包括：
- 所有日志和指标都收集在一个平台上。
- 机器学习和预测算法用于高级分析。
- 设置很简单。
- 支持高分辨率测量。
- 多租户意味着单个实例可以为多个用户组提供服务。
费用：
- 每天 500MB 免费
- 专业人士 90 美元。
- 企业 150 美元
#10。 纸迹
Papertrail 是一个灵活的托管日志管理应用程序，可以聚合、搜索和分析任何类型的日志文件、系统日志或纯文本日志文件。 它的实时功能使开发人员和工程师能够在应用程序和服务器发生时观察实时事件。 Papertrail 与 Slack、Librato 和电子邮件等服务集成，使您能够为模式和异常设置通知。
主要特征包括：
- 用户界面简单易用。
- 设置简单； 日志指向服务提供的链接。
- 实时更新记录事件和搜索。
- 全文搜索可用。 消息、元数据甚至子字符串都是可能的。
- 使用 Librato、Geckoboard 或您自己的服务创建图表。
费用：
- 每月 100MB 免费
- 专业版：7GB 数据的起价为每月 1 美元。
相关文章
- 日志管理工具：定义、免费和最佳日志管理工具 [2023]
- ELD 设备：定义、最佳设备、卡车和业主运营商
- 事件管理：流程和最佳实践指南
- 账户管理：定义、技能、系统、薪水和职责
- 创新管理：关键要素和战略
参考资料
