标签 日志 下的文章

日志聚合系统可以帮助我们进行故障排除和其它任务。以下是三个主要工具介绍。

指标聚合 metrics aggregation 与 日志聚合 log aggregation 有何不同？日志不能包括指标吗？日志聚合系统不能做与指标聚合系统相同的事情吗？

这些是我经常听到的问题。我还看到供应商推销他们的日志聚合系统作为所有可观察问题的解决方案。日志聚合是一个有价值的工具，但它通常对时间序列数据的支持不够好。

时间序列的指标聚合系统中几个有价值的功能是专门为时间序列数据定制的 固定间隔 regular interval 和存储系统。固定间隔允许用户不断地收集实时的数据结果。如果要求日志聚合系统以固定间隔收集指标数据，它也可以。但是，它的存储系统没有针对指标聚合系统中典型的查询类型进行优化。使用日志聚合工具中的存储系统处理这些查询将花费更多的资源和时间。

所以，我们知道日志聚合系统可能不适合时间序列数据，但是它有什么好处呢？日志聚合系统是收集事件数据的好地方。这些无规律的活动是非常重要的。最好的例子为 web 服务的访问日志，这些很重要，因为我们想知道什么正在访问我们的系统，什么时候访问的。另一个例子是应用程序错误记录 —— 因为它不是正常的操作记录，所以在故障排除过程中可能很有价值的。

日志记录的一些规则：

  • 须包含时间戳
  • 须格式化为 JSON
  • 不记录无关紧要的事件
  • 须记录所有应用程序的错误
  • 可记录警告错误
  • 可开关的日志记录
  • 须以可读的形式记录信息
  • 不在生产环境中记录信息
  • 不记录任何无法阅读或反馈的内容

云的成本

当研究日志聚合工具时，云服务可能看起来是一个有吸引力的选择。然而，这可能会带来巨大的成本。当跨数百或数千台主机和应用程序聚合时，日志数据是大量的。在基于云的系统中，数据的接收、存储和检索是昂贵的。

以一个真实的系统来参考，大约 500 个节点和几百个应用程序的集合每天产生 200GB 的日志数据。这个系统可能还有改进的空间，但是在许多 SaaS 产品中，即使将它减少一半，每月也要花费将近 10000 美元。而这通常仅保留 30 天，如果你想查看一年一年的趋势数据，就不可能了。

并不是要不使用这些基于云的系统，尤其是对于较小的组织它们可能非常有价值的。这里的目的是指出可能会有很大的成本，当这些成本很高时，就可能令人非常的沮丧。本文的其余部分将集中讨论自托管的开源和商业解决方案。

工具选择

ELK

ELK，即 Elasticsearch、Logstash 和 Kibana 简称，是最流行的开源日志聚合工具。它被 Netflix、Facebook、微软、LinkedIn 和思科使用。这三个组件都是由 Elastic 开发和维护的。Elasticsearch 本质上是一个 NoSQL 数据库，以 Lucene 搜索引擎实现的。Logstash 是一个日志管道系统，可以接收数据，转换数据，并将其加载到像 Elasticsearch 这样的应用中。Kibana 是 Elasticsearch 之上的可视化层。

几年前，引入了 Beats 。Beats 是数据采集器。它们简化了将数据运送到 Logstash 的过程。用户不需要了解每种日志的正确语法，而是可以安装一个 Beats 来正确导出 NGINX 日志或 Envoy 代理日志，以便在 Elasticsearch 中有效地使用它们。

安装生产环境级 ELK 套件时，可能会包括其他几个部分，如 Kafka、Redis 和 NGINX。此外，用 Fluentd 替换 Logstash 也很常见，我们将在后面讨论。这个系统操作起来很复杂，这在早期导致了很多问题和抱怨。目前，这些问题基本上已经被修复，不过它仍然是一个复杂的系统，如果你使用少部分的功能，建议不要使用它了。

也就是说，有其它可用的服务，所以你不必苦恼于此。可以使用 Logz.io，但是如果你有很多数据，它的标价有点高。当然，你可能规模比较小，没有很多数据。如果你买不起 Logz.io，你可以看看 AWS Elasticsearch Service (ES) 。ES 是 Amazon Web Services (AWS) 提供的一项服务，它很容易就可以让 Elasticsearch 马上工作起来。它还拥有使用 Lambda 和 S3 将所有AWS 日志记录到 ES 的工具。这是一个更便宜的选择，但是需要一些管理操作，并有一些功能限制。

ELK 套件的母公司 Elastic 提供 一款更强大的产品，它使用 开源核心 open core 模式，为分析工具和报告提供了额外的选项。它也可以在谷歌云平台或 AWS 上托管。由于这种工具和托管平台的组合提供了比大多数 SaaS 选项更加便宜，这也许是最好的选择，并且很有用。该系统可以有效地取代或提供 安全信息和事件管理（SIEM）系统的功能。

ELK 套件通过 Kibana 提供了很好的可视化工具，但是它缺少警报功能。Elastic 在付费的 X-Pack 插件中提供了警报功能，但是在开源系统没有内置任何功能。Yelp 已经开发了一种解决这个问题的方法，ElastAlert，不过还有其他方式。这个额外的软件相当健壮，但是它增加了已经复杂的系统的复杂性。

Graylog

Graylog 最近越来越受欢迎，但它是在 2010 年由 Lennart Koopmann 创建并开发的。两年后，一家公司以同样的名字诞生了。尽管它的使用者越来越多，但仍然远远落后于 ELK 套件。这也意味着它具有较少的社区开发特征，但是它可以使用与 ELK 套件相同的 Beats 。由于 Graylog Collector Sidecar 使用 Go 编写，所以 Graylog 在 Go 社区赢得了赞誉。

Graylog 使用 Elasticsearch、MongoDB 和底层的 Graylog Server 。这使得它像 ELK 套件一样复杂，也许还要复杂一些。然而，Graylog 附带了内置于开源版本中的报警功能，以及其他一些值得注意的功能，如流、消息重写和地理定位。

流功能可以允许数据在被处理时被实时路由到特定的 Stream。使用此功能，用户可以在单个 Stream 中看到所有数据库错误，在另外的 Stream 中看到 web 服务器错误。当添加新项目或超过阈值时，甚至可以基于这些 Stream 提供警报。延迟可能是日志聚合系统中最大的问题之一，Stream 消除了 Graylog 中的这一问题。一旦日志进入，它就可以通过 Stream 路由到其他系统，而无需完全处理好。

消息重写功能使用开源规则引擎 Drools 。允许根据用户定义的规则文件评估所有传入的消息，从而可以删除消息（称为黑名单）、添加或删除字段或修改消息。

Graylog 最酷的功能或许是它的地理定位功能，它支持在地图上绘制 IP 地址。这是一个相当常见的功能，在 Kibana 也可以这样使用，但是它增加了很多价值 —— 特别是如果你想将它用作 SIEM 系统。地理定位功能在系统的开源版本中提供。

如果你需要的话，Graylog 公司会提供对开源版本的收费支持。它还为其企业版提供了一个开源核心模式，提供存档、审计日志记录和其他支持。其它提供支持或托管服务的不太多，如果你不需要 Graylog 公司的，你可以托管。

Fluentd

Fluentd 是 Treasure Data 开发的，CNCF 已经将它作为一个孵化项目。它是用 C 和 Ruby 编写的，并被 AWS 和 Google Cloud 所推荐。Fluentd 已经成为许多系统中 logstach 的常用替代品。它可以作为一个本地聚合器，收集所有节点日志并将其发送到中央存储系统。它不是日志聚合系统。

它使用一个强大的插件系统，提供不同数据源和数据输出的快速和简单的集成功能。因为有超过 500 个插件可用，所以你的大多数用例都应该包括在内。如果没有，这听起来是一个为开源社区做出贡献的机会。

Fluentd 由于占用内存少（只有几十兆字节）和高吞吐量特性，是 Kubernetes 环境中的常见选择。在像 Kubernetes 这样的环境中，每个 pod 都有一个 Fluentd 附属件 ，内存消耗会随着每个新 pod 的创建而线性增加。在这种情况下，使用 Fluentd 将大大降低你的系统利用率。这对于 Java 开发的工具来说是一个常见的问题，这些工具旨在为每个节点运行一个工具，而内存开销并不是主要问题。

via: https://opensource.com/article/18/9/open-source-log-aggregation-tools

作者：Dan Barker 选题：lujun9972 译者：heguangzhi 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

几天前，我们发布了一个解释如何保存终端中的命令并按需使用的指南。对于那些不想记忆冗长的 Linux 命令的人来说，这非常有用。今天，在本指南中，我们将看到如何使用 script 命令记录你在终端中执行的所有操作。你可能已经在终端中运行了一个命令，或创建了一个目录，或者安装了一个程序。script 命令会保存你在终端中执行的任何操作。如果你想知道你几小时或几天前做了什么，那么你可以查看它们。我知道我知道，我们可以使用上/下箭头或 history 命令查看以前运行的命令。但是，你无法查看这些命令的输出。而 script 命令记录并显示完整的终端会话活动。

script 命令会在终端中创建你所做的所有事件的记录。无论你是安装程序，创建目录/文件还是删除文件夹，一切都会被记录下来，包括命令和相应的输出。这个命令对那些想要一份交互式会话拷贝作为作业证明的人有用。无论是学生还是导师，你都可以将所有在终端中执行的操作和所有输出复制一份。

在 Linux 中使用 script 命令记录终端中的所有内容

script 命令预先安装在大多数现代 Linux 操作系统上。所以，我们不用担心安装。

让我们继续看看如何实时使用它。

运行以下命令启动终端会话记录。

$ script -a my_terminal_activities

其中，-a 标志用于将输出追加到文件（记录）中，并保留以前的内容。上述命令会记录你在终端中执行的所有操作，并将输出追加到名为 my_terminal_activities 的文件中，并将其保存在当前工作目录中。

示例输出：

Script started, file is my_terminal_activities

现在，在终端中运行一些随机的 Linux 命令。

$ mkdir ostechnix
$ cd ostechnix/
$ touch hello_world.txt
$ cd ..
$ uname -r

运行所有命令后，使用以下命令结束 script 命令的会话：

$ exit

示例输出：

exit
Script done, file is my_terminal_activities

如你所见，终端活动已存储在名为 my_terminal_activities 的文件中，并将其保存在当前工作目录中。

要查看你的终端活动，只需在任何编辑器中打开此文件，或者使用 cat 命令直接显示它。

$ cat my_terminal_activities

示例输出：

Script started on Thu 09 Mar 2017 03:33:44 PM IST
[sk@sk]: ~>$ mkdir ostechnix
[sk@sk]: ~>$ cd ostechnix/
[sk@sk]: ~/ostechnix>$ touch hello_world.txt
[sk@sk]: ~/ostechnix>$ cd ..
[sk@sk]: ~>$ uname -r
4.9.11-1-ARCH
[sk@sk]: ~>$ exit
exit

Script done on Thu 09 Mar 2017 03:37:49 PM IST

正如你在上面的输出中看到的，script 命令记录了我所有的终端活动，包括 script 命令的开始和结束时间。真棒，不是吗？使用 script 命令的原因不仅仅是记录命令，还有命令的输出。简单地说，脚本命令将记录你在终端上执行的所有操作。

结论

就像我说的那样，脚本命令对于想要保留其终端活动记录的学生，教师和 Linux 用户非常有用。尽管有很多 CLI 和 GUI 可用来执行此操作，但 script 命令是记录终端会话活动的最简单快捷的方式。

就是这些。希望这有帮助。如果你发现本指南有用，请在你的社交，专业网络上分享，并支持我们。

干杯!

via: https://www.ostechnix.com/record-everything-terminal/

作者：SK 选题：lujun9972 译者：geekpi 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

用增强的日志守护进程 syslog-ng 来监控你的物联网设备。

现在，物联网设备和嵌入式系统越来越多。对于许多连接到因特网或者一个网络的设备来说，记录事件很有必要，因为你需要知道这些设备都做了些什么事情，这样你才能够解决可能出现的问题。

可以考虑去使用的一个监视工具是开源的 syslog-ng 应用程序，它是一个强化的、致力于可移植的、中心化的日志收集守护程序。它可以从许多不同种类的来源、进程来收集日志，并且可以对这些日志进行处理和过滤，也可以存储或者路由它们，以便于做进一步的分析。syslog-ng 的大多数代码是用高效率的、高可移植的 C 代码写成的。它能够适用于各种场景，无论你是将它运行在一个处理能力很弱的设备上做一些简单的事情，还是运行在数据中心从成千上万的机器中收集日志的强大应用，它都能够胜任。

你可能注意到在这个段落中，我使用了大量的溢美词汇。为了让你更清晰地了解它，我们来复习一下，但这将花费更多的时间，也了解的更深入一些。

日志

首先解释一下日志。 日志 logging 是记录一台计算机上事件的东西。在一个典型的 Linux 机器上，你可以在 /var/log 目录中找到这些信息。例如，如果你通过 SSH 登录到机器中，你将可以在其中一个日志文件中找到类似于如下内容的信息：

Jan 14 11:38:48 linux-0jbu sshd[7716]: Accepted publickey for root from 127.0.0.1 port 48806 ssh2

日志的内容可能是关于你的 CPU 过热、通过 HTTP 下载了一个文档，或者你的应用程序认为重要的任何东西。

syslog-ng

正如我在上面所写的那样，syslog-ng 应用程序是一个强化的、致力于可移植性、和中心化的日志收集守护程序。守护程序的意思是，syslog-ng 是一个持续运行在后台的应用程序，在这里，它用于收集日志信息。

虽然现在大多数应用程序的 Linux 测试是限制在 x86\_64 的机器上，但是，syslog-ng 也可以运行在大多数 BSD 和商业 UNIX 变种版本上的。从嵌入式/物联网的角度来看，这种能够运行在不同的 CPU 架构（包括 32 位和 64 位的 ARM、PowerPC、MIPS 等等）的能力甚至更为重要。（有时候，我通过阅读关于 syslog-ng 是如何使用它们的来学习新架构）

为什么中心化的日志收集如此重要？其中一个很重要的原因是易于使用，因为它放在一个地方，不用到成百上千的机器上挨个去检查它们的日志。另一个原因是可用性 —— 即使一个设备不论是什么原因导致了它不可用，你都可以检查这个设备的日志信息。第三个原因是安全性；当你的设备被黑，检查设备日志可以发现攻击的踪迹。

syslog-ng 的四种用法

syslog-ng 有四种主要的用法：收集、处理、过滤、和保存日志信息。

收集信息： syslog-ng 能够从各种各样的 特定平台源 上收集信息，比如 /dev/log，journal，或者 sun-streams。作为一个中心化的日志收集器，传统的（rfc3164）和最新的（rfc5424）系统日志协议、以及它们基于 UDP、TCP 和加密连接的各种变种，它都是支持的。你也可以从管道、套接字、文件、甚至应用程序输出来收集日志信息（或者各种文本数据）。

处理日志信息： 它的处理能力几乎是无限的。你可以用它内置的解析器来分类、规范，以及结构化日志信息。如果它没有为你提供在你的应用场景中所需要的解析器，你甚至可以用 Python 来自己写一个解析器。你也可以使用地理数据来丰富信息，或者基于信息内容来附加一些字段。日志信息可以按处理它的应用程序所要求的格式进行重新格式化。你也可以重写日志信息 —— 当然了，不是篡改日志内容 —— 比如在某些情况下，需要满足匿名要求的信息。

过滤日志： 过滤日志的用法主要有两种：丢弃不需要保存的日志信息 —— 像调试级别的信息；和路由日志信息—— 确保正确的日志到达正确的目的地。后一种用法的一个例子是，转发所有的认证相关的信息到一个安全信息与事件管理系统（SIEM）。

保存信息： 传统的做法是，将文件保存在本地或者发送到中心化日志服务器；不论是哪种方式，它们都被发送到一个普通文件。经过这些年的改进，syslog-ng 已经开始支持 SQL 数据库，并且在过去的几年里，包括 HDFS、Kafka、MongoDB、和 Elasticsearch 在内的大数据存储，都被加入到 syslog-ng 的支持中。

消息格式

当在你的 /var/log 目录中查看消息时，你将看到（如上面的 SSH 信息）大量的消息都是如下格式的内容：

日期 + 主机名 + 应用名 + 一句几乎完整的英文信息

在这里的每个应用程序事件都是用不同的语法描述的，基于这些数据去创建一个报告是个痛苦的任务。

解决这种混乱信息的一个方案是使用结构化日志。在这种情况下，事件被表示为键-值对，而不是随意的日志信息。比如，一个 SSH 日志能够按应用程序名字、源 IP 地址、用户名、认证方法等等来描述。

你可以从一开始就对你的日志信息按合适的格式进行结构化处理。当处理传统的日志信息时，你可以在 syslog-ng 中使用不同的解析器，转换非结构化（和部分结构化）的信息为键-值对格式。一旦你的日志信息表示为键-值对，那么，报告、报警、以及简单查找信息将变得很容易。

物联网日志

我们从一个棘手的问题开始：哪个版本的 syslog-ng 最流行？在你回答之前，想想如下这些事实：这个项目启动于 20 年以前，Red Hat 企业版 Linux EPEL 已经有了 3.5 版，而当前版本是 3.14。当我在我的演讲中问到这个问题时，观众通常回答是他们用的 Linux 发行版中自带的那个。你们绝对想不到的是，正确答案竟然是 1.6 版最流行，这个版本已经有 15 年的历史的。这什么这个版本是最为流行的，因为它是包含在亚马逊 Kindle 阅读器中的版本，它是电子书阅读器，因为它运行在全球范围内超过 1 亿台的设备上。另外一个在消费类设备上运行 syslog-ng 的例子是 BMW i3 电动汽车。

Kindle 使用 syslog-ng 去收集关于用户在这台设备上都做了些什么事情等所有可能的信息。在 BMW 电动汽车上，syslog-ng 所做的事情更复杂，基于内容过滤日志信息，并且在大多数情况下，只记录最重要的日志。

使用 syslog-ng 的其它类别设备还有网络和存储。一些比较知名的例子有，Turris Omnia 开源 Linux 路由器和群晖 NAS 设备。在大多数案例中，syslog-ng 是在设备上作为一个日志客户端来运行，但是在有些案例中，它运行为一个有丰富 Web 界面的中心日志服务器。

你还可以在一些行业服务中找到 syslog-ng 的身影。它运行在来自美国国家仪器有限公司（NI）的实时 Linux 设备上，执行测量和自动化任务。它也被用于从定制开发的应用程序中收集日志。从命令行就可以做配置，但是一个漂亮的 GUI 可用于浏览日志。

最后，还有大量的项目，比如，汽车和飞机，syslog-ng 在它们上面既可以运行为客户端，也可以运行为服务端。在这种使用案例中，syslog-ng 一般用来收集所有的日志和测量数据，然后发送它们到处理这些日志的中心化服务器集群上，然后保存它们到支持大数据的目的地，以备进一步分析。

对物联网的整体益处

在物联网环境中使用 syslog-ng 有几个好处。第一，它的分发性能很高，并且是一个可靠的日志收集器。第二，它的架构也很简单，因此，系统、应用程序日志、以及测量数据可以被一起收集。第三，它使数据易于使用，因为，数据可以被解析和表示为易于使用的格式。最后，通过 syslog-ng 的高效路由和过滤功能，可以显著降低处理程序的负载水平。

via: https://opensource.com/article/18/3/logging-iot-events-syslog-ng

作者：Peter Czanik 选题：lujun9972 译者：qhwdw 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

AWFFull 是基于 “Webalizer” 的 Web 服务器日志分析程序。AWFFull 以 HTML 格式生成使用统计信息以便用浏览器查看。结果以柱状和图形两种格式显示，这有利于解释数据。它提供每年、每月、每日和每小时的使用统计数据，并显示网站、URL、referrer、user agent（浏览器）、用户名、搜索字符串、进入/退出页面和国家（如果一些信息不存在于处理后日志中那么就没有）。AWFFull 支持 CLF（通用日志格式）日志文件，以及由 NCSA 等定义的组合日志格式，它还能只能地处理这些格式的变体。另外，AWFFull 还支持 wu-ftpd xferlog 格式的日志文件，它能够分析 ftp 服务器和 squid 代理日志。日志也可以通过 gzip 压缩。

如果检测到压缩日志文件，它将在读取时自动解压缩。压缩日志必须是 .gz 扩展名的标准 gzip 压缩。

对于 Webalizer 的修改

AWFFull 基于 Webalizer 的代码，并有许多或大或小的变化。包括：

  • 不止原始统计数据：利用已发布的公式，提供额外的网站使用情况。
  • GeoIP IP 地址能更准确地检测国家。
  • 可缩放的图形
  • 与 GNU gettext 集成，能够轻松翻译。目前支持 32 种语言。
  • 在首页显示超过 12 个月的网站历史记录。
  • 额外的页面计数跟踪和排序。
  • 一些小的可视化调整，包括 Geolizer 用量中使用 Kb、Mb。
  • 额外的用于 URL 计数、进入和退出页面、站点的饼图
  • 图形上的水平线更有意义，更易于阅读。
  • User Agent 和 Referral 跟踪现在通过 PAGES 而非 HITS 进行计算。
  • 现在支持 GNU 风格的长命令行选项（例如 --help）。
  • 可以通过排除“什么不是”以及原始的“什么是”来选择页面。
  • 对被分析站点的请求以匹配的引用 URL 显示。
  • 404 错误表，并且可以生成引用 URL。
  • 生成的 html 可以使用外部 CSS 文件。
  • POST 分析总结使得手动优化配置文件性能更简单。
  • 可以将指定的 IP 和地址分配给指定的国家。
  • 便于使用其他工具详细分析的转储选项。
  • 支持检测并处理 Lotus Domin- v6 日志。

在 Ubuntu 17.10 上安装 AWFFull

sud- apt-get install awffull

配置 AWFFull

你必须在 /etc/awffull/awffull.conf 中编辑 AWFFull 配置文件。如果你在同一台计算机上运行多个虚拟站点，​​则可以制作多个默认配置文件的副本。

sud- vi /etc/awffull/awffull.conf

确保有下面这几行：

LogFile /var/log/apache2/access.log.1
OutputDir /var/www/html/awffull

保存并退出文件。

你可以使用以下命令运行 awffull。

awffull -c [your config file name]

这将在 /var/www/html/awffull 目录下创建所有必需的文件，以便你可以使用 http://serverip/awffull/ 。

你应该看到类似于下面的页面：

如果你有更多站点，你可以使用 shell 和计划任务自动化这个过程。

via: http://www.ubuntugeek.com/install-awffull-web-server-log-analysis-application-on-ubuntu-17-10.html

作者：ruchi 译者：geekpi 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

在 Linux 上，日志文件包含了系统功能的信息，系统管理员经常使用日志来确认机器上的问题所在。日志可以帮助管理员还原在过去的时间中在系统中发生的事件。一般情况下，Linux 中所有的日志文件都保存在 /var/log 目录下。在这个目录中，有保存着各种信息的几种类型的日志文件。比如，记录系统事件的日志文件、记录安全相关信息的日志文件、内核专用的日志文件、用户或者 cron 作业使用的日志文件。日志文件的主要作用是系统调试。Linux 中的大部分的日志文件都由 rsyslogd 服务来管理。在最新的 Linux 发行版中，日志文件也可能是由 journald 系统服务来管理和控制的。journald 服务是 systemd 初始化程序的一部分。journald 以二进制的格式存储日志，以易失性的方式写入到内存和 /run/log/journal/ 中的环状缓冲区中，但是，journald 也可以配置为永久存储到 syslog 中。

在 Linux 中，可以配置运行一个 Rsyslog 服务器来中央化管理日志，在流行的服务端—客户端模式中，通过 TCP 或者 UDP 传输协议基于网络来发送日志信息，或者从网络设备、服务器、路由器、交换机、以及其它系统或嵌入式设备中接受生成的日志。

Rsyslog 守护程序可以被同时配置为以客户端或者服务端方式运行。配置作为服务器时，Rsyslog 将缺省监听 TCP 和 UDP 的 514 端口，来收集远程系统基于网络发送的日志信息。配置为客户端运行时，Rsyslog 将通过相同的 TCP 或 UDP 端口基于网络来发送内部日志信息。

Rsyslog 可以根据选定的属性和动作来过滤 syslog 信息。Rsyslog 拥有的过滤器如下：

  1. 设备或者优先级过滤器
  2. 基于特性的过滤器
  3. 基于表达式的过滤器

设备过滤器代表了生成日志的 Linux 内部子系统。它们目前的分类如下：

  • auth/authpriv = 由验证进程产生的信息
  • cron = cron 任务相关的日志
  • daemon = 正在运行的系统服务相关的信息
  • kernel = Linux 内核信息
  • mail = 邮件服务器信息
  • syslog = syslog 或者其它守护程序（DHCP 服务器发送的日志在这里）相关的信息
  • lpr = 打印机或者打印服务器信息
  • local0 ~ local7 = 管理员控制下的自定义信息

优先级或者严重程度级别分配如下所述的一个关键字或者一个数字。

  • emerg = 紧急 - 0
  • alert = 警报 - 1
  • err = 错误 - 3
  • warn = 警告 - 4
  • notice = 提示 - 5
  • info = 信息 - 6
  • debug = 调试 - 7 （最高级别）

此外也有一些 Rsyslog 专用的关键字，比如星号（*）可以用来定义所有的设备和优先级，none 关键字更具体地表示没有优先级，等号（=）表示仅那个优先级，感叹号（!）表示取消这个优先级。

Rsyslog 的动作部分由声明的目的地来表示。日志信息的目的地可以是：存储在文件系统中的一个文件、 /var/log/ 目录下的一个文件、通过命名管道或者 FIFO 作为输入的另一个本地进程。日志信息也可以直达用户，或者丢弃到一个“黑洞”（/dev/null）中、或者发送到标准输出、或者通过一个 TCP/UDP 协议发送到一个远程 syslog 服务器。日志信息也可以保存在一个数据库中，比如 MySQL 或者 PostgreSQL。

配置 Rsyslog 为服务器

在大多数 Linux 发行版中 Rsyslog 守护程序是自动安装的。如果你的系统中没有安装 Rsyslog，你可以根据你的系统发行版执行如下之一的命令去安装这个服务。运行这个命令必须有 root 权限。

在基于 Debian 的发行版中：

sudo apt-get install rsyslog

在基于 RHEL 的发行版中，比如像 CentOS：

sudo yum install rsyslog

验证 Rsyslog 守护进程是否在你的系统中运行，根据发行版不同，可以选择运行下列的命令：

在新的使用 systemd 的 Linux 发行版中：

systemctl status rsyslog.service

在老的使用 init 的 Linux 发行版中：

service rsyslog status

或

/etc/init.d/rsyslog status

启动 rsyslog 守护进程运行如下的命令。

在使用 init 的老的 Linux 版本：

service rsyslog start

或

/etc/init.d/rsyslog start

在最新的 Linux 发行版：

systemctl start rsyslog.service

安装一个 rsyslog 程序运行为服务器模式，可以编辑主要的配置文件 /etc/rsyslog.conf 。可以使用下列所示的命令去改变它。

sudo vi /etc/rsyslog.conf

为了允许在 UDP 的 514 端口上接收日志信息，找到并删除下列行前面的井号（#）以取消注释。缺省情况下，UDP 端口用于 syslog 去接收信息。

$ModLoad imudp
$UDPServerRun 514

因为在网络上使用 UDP 协议交换数据并不可靠，你可以设置 Rsyslog 使用 TCP 协议去向远程服务器输出日志信息。为了启用 TCP 协议去接受日志信息，打开 /etc/rsyslog.conf 文件并删除如下行前面的井号（#）以取消注释。这将允许 rsyslog 守护程序去绑定并监听 TCP 协议的 514 端口。

$ModLoad imtcp
$InputTCPServerRun 514

在 rsyslog 上可以同时启用两种协议。

如果你想去指定哪个发送者被允许访问 rsyslog 守护程序，可以在启用协议行的后面添加如下的行：

$AllowedSender TCP, 127.0.0.1, 10.110.50.0/24, *.yourdomain.com

在接收入站日志信息之前，你需要去创建一个 rsyslog 守护程序解析日志的新模板，这个模板将指示本地 Rsyslog 服务器在哪里保存入站的日志信息。在 $AllowedSender 行后以如下示例去创建一个合适的模板。

$template Incoming-logs,"/var/log/%HOSTNAME%/%PROGRAMNAME%.log" 
*.*  ?Incoming-logs
& ~

为了仅接收内核生成的日志信息，可以使用如下的语法。

kern.*   ?Incoming-logs

接收到的日志由上面的模板来解析，它将保存在本地文件系统的 /var/log/ 目录的文件中，之后的是以客户端主机名客户端设备名命名的日志文件名字：%HOSTNAME% 和 %PROGRAMNAME% 变量。

下面的 & ~ 重定向规则，配置 Rsyslog 守护程序去保存入站日志信息到由上面的变量名字指定的文件中。否则，接收到的日志信息将被进一步处理，并将保存在本地的日志文件中，比如，/var/log/syslog 文件中。

为添加一个规则去丢弃所有与邮件相关的日志信息，你可以使用下列的语法。

mail.* ~

可以在输出文件名中使用的其它变量还有：%syslogseverity%、%syslogfacility%、%timegenerated%、%HOSTNAME%、%syslogtag%、%msg%、%FROMHOST-IP%、%PRI%、%MSGID%、%APP-NAME%、%TIMESTAMP%、%$year%、%$month%、%$day%。

从 Rsyslog 版本 7 开始，将使用一个新的配置格式，在一个 Rsyslog 服务器中声明一个模板。

一个版本 7 的模板应该看起来是如下行的样子。

template(name="MyTemplate" type="string"
         string="/var/log/%FROMHOST-IP%/%PROGRAMNAME:::secpath-replace%.log"
        )

另一种模式是，你也可以使用如下面所示的样子去写上面的模板：

template(name="MyTemplate" type="list") {
    constant(value="/var/log/")
    property(name="fromhost-ip")
    constant(value="/")
    property(name="programname" SecurePath="replace")
    constant(value=".log")
    }

为了让 Rsyslog 配置文件的变化生效，你必须重启守护程序来加载新的配置。

sudo service rsyslog restart

sudo systemctl restart rsyslog

在 Debian Linux 系统上去检查它监听哪个套接字，你可以用 root 权限去运行 netstat 命令。将输出传递给一个过滤程序，比如 grep。

sudo netstat -tulpn | grep rsyslog

请注意： 为了允许建立入站连接，你必须在防火墙上打开 Rsyslog 的端口。

在使用 Firewalld 的基于 RHEL 的发行版上，运行如下的命令：

firewall-cmd --permanent --add-port=514/tcp
firewall-cmd --permanent --add-port=514/tcp
firewall-cmd -reload

在使用 UFW 的基于 Debian 的发行版上，运行如下的命令：

ufw allow 514/tcp
ufw allow 514/udp

Iptables 防火墙规则：

iptables -A INPUT -p tcp -m tcp --dport 514 -j ACCEPT
iptables -A INPUT -p udp --dport 514 -j ACCEPT

配置 Rsyslog 作为一个客户端

启用 Rsyslog 守护程序以客户端模式运行，并将输出的本地日志信息发送到远程 Rsyslog 服务器，编辑 /etc/rsyslog.conf 文件并增加下列的行：

*. * @IP_REMOTE_RSYSLOG_SERVER:514
*. * @FQDN_RSYSLOG_SERVER:514

这个行启用了 Rsyslog 服务，并将输出的所有内部日志发送到一个远处的 UDP 的 514 端口上运行的 Rsyslog 服务器上。

为了使用 TCP 协议去发送日志信息，使用下列的模板：

*. *  @@IP_reomte_syslog_server:514

输出所有优先级的、仅与 cron 相关的日志信息到一个 Rsyslog 服务器上，使用如下的模板：

cron.* @ IP_reomte_syslog_server:514

在 /etc/rsyslog.conf 文件中添加下列行，可以在 Rsyslog 服务器无法通过网络访问时，临时将客户端的日志信息存储在它的一个磁盘缓冲文件中，当网络或者服务器恢复时，再次进行发送。

$ActionQueueFileName queue
$ActionQueueMaxDiskSpace 1g
$ActionQueueSaveOnShutdown on
$ActionQueueType LinkedList
$ActionResumeRetryCount -1

为使上述规则生效，需要重新 Rsyslog 守护程序，以激活为客户端模式。

via: https://www.howtoforge.com/tutorial/rsyslog-centralized-log-server-in-debian-9/

作者：Matt Vas 译者：qhwdw 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

如果你的数据中心全是 Linux 服务器，而你就是系统管理员。那么你的其中一项工作内容就是查看服务器的日志文件。但是，如果你在大量的机器上去查看日志文件，那么意味着你需要挨个去登入到机器中来阅读日志文件。如果你管理的机器很多，仅这项工作就可以花费你一天的时间。

另外的选择是，你可以配置一台单独的 Linux 机器去收集这些日志。这将使你的每日工作更加高效。要实现这个目的，有很多的不同系统可供你选择，而 syslog-ng 就是其中之一。

syslog-ng 的不足是文档并不容易梳理。但是，我已经解决了这个问题，我可以通过这种方法马上进行安装和配置 syslog-ng。下面我将在 Ubuntu Server 16.04 上示范这两种方法：

  • UBUNTUSERVERVM 的 IP 地址是 192.168.1.118 ，将配置为日志收集器
  • UBUNTUSERVERVM2 将配置为一个客户端，发送日志文件到收集器

现在我们来开始安装和配置。

安装

安装很简单。为了尽可能容易，我将从标准仓库安装。打开一个终端窗口，运行如下命令：

sudo apt install syslog-ng

你必须在收集器和客户端的机器上都要运行上面的命令。安装完成之后，你将开始配置。

配置收集器

现在，我们开始日志收集器的配置。它的配置文件是 /etc/syslog-ng/syslog-ng.conf。syslog-ng 安装完成时就已经包含了一个配置文件。我们不使用这个默认的配置文件，可以使用 mv /etc/syslog-ng/syslog-ng.conf /etc/syslog-ng/syslog-ng.conf.BAK 将这个自带的默认配置文件重命名。现在使用 sudo nano /etc/syslog/syslog-ng.conf 命令创建一个新的配置文件。在这个文件中添加如下的行：

@version: 3.5
@include "scl.conf"
@include "`scl-root`/system/tty10.conf"
    options {
        time-reap(30);
        mark-freq(10);
        keep-hostname(yes);
        };
    source s_local { system(); internal(); };
    source s_network {
        syslog(transport(tcp) port(514));
        };
    destination d_local {
    file("/var/log/syslog-ng/messages_${HOST}"); };
    destination d_logs {
        file(
            "/var/log/syslog-ng/logs.txt"
            owner("root")
            group("root")
            perm(0777)
            ); };
    log { source(s_local); source(s_network); destination(d_logs); };

需要注意的是，syslog-ng 使用 514 端口，你需要确保在你的网络上它可以被访问。

保存并关闭这个文件。上面的配置将转存期望的日志文件（由 system() 和 internal() 指出）到 /var/log/syslog-ng/logs.txt 中。因此，你需要使用如下的命令去创建所需的目录和文件：

sudo mkdir /var/log/syslog-ng
sudo touch /var/log/syslog-ng/logs.txt

使用如下的命令启动和启用 syslog-ng：

sudo systemctl start syslog-ng
sudo systemctl enable syslog-ng

配置客户端

我们将在客户端上做同样的事情（移动默认配置文件并创建新配置文件）。拷贝下列文本到新的客户端配置文件中：

@version: 3.5
@include "scl.conf"
@include "`scl-root`/system/tty10.conf"
source s_local { system(); internal(); };
destination d_syslog_tcp {
              syslog("192.168.1.118" transport("tcp") port(514)); };
log { source(s_local);destination(d_syslog_tcp); };

请注意：请将 IP 地址修改为收集器的 IP 地址。

保存和关闭这个文件。与在配置为收集器的机器上一样的方法启动和启用 syslog-ng。

查看日志文件

回到你的配置为收集器的服务器上，运行这个命令 sudo tail -f /var/log/syslog-ng/logs.txt。你将看到包含了收集器和客户端的日志条目的输出（图 A）。

图 A

恭喜你！syslog-ng 已经正常工作了。你现在可以登入到你的收集器上查看本地机器和远程客户端的日志了。如果你的数据中心有很多 Linux 服务器，在每台服务器上都安装上 syslog-ng 并配置它们作为客户端发送日志到收集器，这样你就不需要登入到每个机器去查看它们的日志了。

via: https://www.techrepublic.com/article/how-to-use-syslog-ng-to-collect-logs-from-remote-linux-machines/

作者：Jack Wallen 译者：qhwdw 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8