精华内容
下载资源
问答
  • LINUX云服务器日志在哪里看

    千次阅读 2020-03-15 13:18:26
    服务器的日志文件是专门用于记录系统操作事件的记录文件或文件集合,云服务器Linux系统中,日志文件通常保存/var/log目录下。 常见的重要日志文件 /var/log/messages:包括整体系统信息,其中也包含系统启动期间...

    服务器的日志文件是专门用于记录系统操作事件的记录文件或文件集合,在云服务器Linux系统中,日志文件通常保存在/var/log目录下。

    常见的重要日志文件

    /var/log/messages:包括整体系统信息,其中也包含系统启动期间的日志。

    /var/log/syslog:它和/etc/log/messages日志文件不同,它只记录警告信息,常常是系统出问题的信息。

    /var/log/user.log:记录所有等级用户信息的日志。

    /var/log/auth.log:包含系统授权信息,包括用户登录和使用的权限机制等。

    日志文件又分为事件日志和消息日志。

    事件日志

    事件日志记录在系统的执行中发生的事件,以便提供可用于理解系统的活动和诊断问题的跟踪。 它们对理解复杂系统的活动至关重要,特别是在用户交互较少的应用程序中。

    它还可以用于组合来自多个源的日志文件条目。 这种方法与统计分析相结合,可以产生不同云主机上看起来不相关的事件之间的相关性。 其他解决方案采用网络范围的查询和报告。

    消息日志

    互联网中继聊天(IRC),即时消息(IM)程序,具有聊天功能的对等文件共享客户端和多人游戏(特别是MMORPG)通常具有自动记录(即保存)文本通信的能力。

    消息日志几乎是通用的纯文本文件,但是IM和VoIP客户端(其支持文本聊天,例如Skype)可以将它们保存在HTML文件中或以自定义格式以便于阅读和加密。

    展开全文
  • mac os 查看系统日志Your Mac keeps system logs, which can help diagnose and troubleshoot problems with macOS and your installed applications. These logs are stored as plain-text log files on your Mac’...
    mac os 查看系统日志

    mac os 查看系统日志

    Your Mac keeps system logs, which can help diagnose and troubleshoot problems with macOS and your installed applications. These logs are stored as plain-text log files on your Mac’s system drive, and macOS also includes an app for viewing them.

    您的Mac会保留系统日志,这可以帮助诊断和排除macOS和已安装的应用程序的问题。 这些日志以纯文本日志文件的形式存储在Mac的系统驱动器上,而macOS还包括一个用于查看它们的应用程序。

    在控制台应用程序中查看系统日志 (View System Logs in the Console App)

    To view your Mac system logs, launch the Console app. You can launch it with Spotlight search by pressing Command+Space, typing “Console,” and then pressing Enter. You’ll also find it at Finder > Applications > Utilities > Console.

    要查看Mac系统日志,请启动“控制台”应用程序。 您可以通过按Command + Space并键入“ Console”,然后按Enter来使用Spotlight搜索启动它。 您还将在Finder>应用程序>实用程序>控制台中找到它。

    The Console app, also known as Console.app, is like a Windows Event Viewer for Mac.

    Console应用程序,也称为Console.app,类似于Mac的Windows事件查看器

    By default, you’ll see a list of console messages from your current Mac. You can click “Errors and Faults” in the toolbar to see only error messages, if you like. You can also use the search box to search for a type of error message you want to see.

    默认情况下,您会看到来自当前Mac的控制台消息列表。 如果愿意,您可以单击工具栏中的“错误和故障”以仅查看错误消息。 您还可以使用搜索框搜索您要查看的错误消息类型。

    More logs are available under Reports. To see application crash and freeze logs, click either “System Reports” for system applications or “User Reports” for user applications. You’ll see a variety of logs with file extensions like .crash, .diag, and .spin. Click them to view them in the Info pane.

    报告下有更多日志。 要查看应用程序崩溃和冻结日志,请为系统应用程序单击“系统报告”或为用户应用程序单击“用户报告”。 您会看到各种带有文件扩展名的日志,例如.crash,.diag和.spin。 单击它们以在“信息”窗格中查看它们。

    If you need more information about why an application crashes on your system, you may be able to find it here. An application’s developer may need this information to fix a crash that occurs on your Mac, too.

    如果您需要有关应用程序为什么在系统上崩溃的更多信息,您可以在这里找到它。 应用程序的开发人员可能也需要此信息来修复Mac上发生的崩溃。

    To view the system log file, click “system.log.” To browse different application-specific logs, look through the other folders here. “~Library/Logs” is your current Mac user account’s user-specific application log folder, “/Library/Logs” is the system-wide application log folder, and “/var/log” generally contains logs for low-level system services. The search bar works to filter these log files, too.

    要查看系统日志文件,请单击“ system.log”。 要浏览不同的特定于应用程序的日志,请在此处浏览其他文件夹。 “〜Library / Logs”是您当前Mac用户帐户的特定于用户的应用程序日志文件夹,“ / Library / Logs”是系统范围的应用程序日志文件夹,“ / var / log”通常包含用于低级系统服务的日志。 搜索栏也可以过滤这些日志文件。

    To view another Mac user account’s logs located under “User Reports” or “~/Library/Logs,” you’ll have to sign in as that user and then open the Console app.

    要查看位于“用户报告”或“〜/库/日志”下的另一个Mac用户帐户的日志,您必须以该用户身份登录,然后打开“控制台”应用程序。

    You can copy data from your system logs to a text file, if you need to export it to share it with someone else for troubleshooting purposes. First, click Edit > Select All to select all the messages on the current screen. Next, click Edit > Copy to copy them to your clipboard.

    如果需要导出数据以便与其他人共享以进行故障排除,则可以将数据从系统日志复制到文本文件。 首先,单击编辑>全选以选择当前屏幕上的所有消息。 接下来,单击编辑>复制以将它们复制到剪贴板。

    Next, open the TextEdit application—for example, by pressing Command+Space, typing “TextEdit,” and pressing “Enter.” Create a new document and then select Edit > Paste to paste the messages into the text file. Click File > Save to save your text file afterwards.

    接下来,打开TextEdit应用程序,例如,通过按Command + Space,键入“ TextEdit”,然后按“ Enter”。 创建一个新文档,然后选择“编辑”>“粘贴”以将消息粘贴到文本文件中。 单击文件>保存以随后保存文本文件。

    在磁盘上查找日志文件 (Find Log Files on Disk)

    These logs are plain-text files you can find on your Mac’s local disk, too. This means you can browse to them in Finder or via the Terminal, open them in other applications, use command-line tools with them, and back up the files.

    这些日志是纯文本文件,您也可以在Mac的本地磁盘上找到这些日志。 这意味着您可以在Finder中或通过终端浏览到它们,在其他应用程序中打开它们,将命令行工具与它们一起使用,然后备份文件。

    To find these log files, look in the following locations:

    要查找这些日志文件,请查看以下位置:

    • System Log Folder: /var/log

      系统日志文件夹 :/ var / log

    • System Log: /var/log/system.log

      系统日志 :/var/log/system.log

    • Mac Analytics Data: /var/log/DiagnosticMessages

      Mac Analytics数据 :/ var / log / DiagnosticMessages

    • System Application Logs: /Library/Logs

      系统应用程序日志 :/ Library / Logs

    • System Reports: /Library/Logs/DiagnosticReports

      系统报告 :/ Library / Logs / DiagnosticReports

    • User Application Logs: ~/Library/Logs (in other words, /Users/NAME/Library/Logs)

      用户应用程序日志 :〜/ Library / Logs(换句话说,/ Users / NAME / Library / Logs)

    • User Reports: ~/Library/Logs/DiagnosticReports (in other words, /Users/NAME/Library/Logs/DiagnosticReports)

      用户报告 :〜/ Library / Logs / DiagnosticReports(换句话说,/ Users / NAME / Library / Logs / DiagnosticReports)

    If you ever need to remember where to find one of these folders, you can open the Console app (at /Applications/Utilities/Console.app), Ctrl+click or right-click one of the logs or folders in the sidebar, and select “Reveal in Finder” to view its location on disk.

    如果您需要记住在哪里可以找到这些文件夹之一,则可以打开控制台应用程序(位于/Applications/Utilities/Console.app),按住Ctrl键单击或右键单击侧栏中的日志或文件夹之一,然后选择“在Finder中显示”以查看其在磁盘上的位置。

    翻译自: https://www.howtogeek.com/356942/how-to-view-the-system-log-on-a-mac/

    mac os 查看系统日志

    展开全文
  • 如何Mac上查看系统日志

    千次阅读 2020-04-28 15:17:00
    这些日志作为纯文本日志文件存储Mac的系统驱动器上,macOS还包括一个用于查看它们的应用程序。 查看系统日志在控制台应用程序中 要查看Mac系统日志,请启动Console应用程序。您可以通过按Command + Space,键入...

    如何在Mac上查看系统日志

     

    Mac会保留系统日志,这有助于诊断和解决macOS和已安装应用程序的问题。 这些日志作为纯文本日志文件存储在Mac的系统驱动器上,macOS还包括一个用于查看它们的应用程序。

    查看系统日志在控制台应用程序中

    要查看Mac系统日志,请启动Console应用程序。 您可以通过按Command + Space,键入“Console”,然后按Enter键,使用Spotlight搜索启动它。 您也可以在Finder>应用程序>实用程序>控制台中找到它。

    Console应用程序(也称为Console.app)就像是Mac的Windows事件查看器 。

     

    默认情况下,您将看到当前Mac的控制台消息列表。 如果您愿意,可以单击工具栏中的“错误和错误”以仅查看错误消息。 您还可以使用搜索框搜索要查看的错误消息类型。

     

    报告下提供了更多日志。 要查看应用程序崩溃和冻结日志,请单击系统应用程序的“系统报告”或用户应用程序的“用户报告”。 您将看到各种带有.crash,.diag和.spin等文件扩展名的日志。 单击它们以在“信息”窗格中查看它们。

    如果您需要有关应用程序在系统上崩溃的原因的更多信息,您可以在此处找到它。 应用程序的开发人员可能需要此信息来修复Mac上发生的崩溃。

     

    要查看系统日志文件,请单击“system.log”。要浏览不同的特定于应用程序的日志,请在此处查看其他文件夹。 “~Library / Logs”是您当前的Mac用户帐户的用户特定应用程序日志文件夹,“/ Library / Logs”是系统范围的应用程序日志文件夹,“/ var / log”通常包含低级系统服务的日志。 搜索栏也可用于过滤这些日志文件。

    要查看“用户报告”或“〜/ Library / Logs”下的其他Mac用户帐户日志,您必须以该用户身份登录,然后打开控制台应用程序。

     

    您可以将数据从系统日志复制到文本文件,如果您需要将其导出以与其他人共享以进行故障排除。 首先,单击编辑>全选以选择当前屏幕上的所有消息。 接下来,单击编辑>复制将它们复制到剪贴板。

    接下来,打开TextEdit应用程序 - 例如,按Command + Space,键入“TextEdit”,然后按“Enter”。创建一个新文档,然后选择“编辑”>“粘贴”将消息粘贴到文本文件中。 单击文件>保存以保存文本文件。

     

    在磁盘上查找日志文件

    这些日志也是您可以在Mac的本地磁盘上找到的纯文本文件。 这意味着您可以在Finder中或通过终端浏览它们,在其他应用程序中打开它们,使用命令行工具,并备份文件。

    要查找这些日志文件,请查看以下位置:

    • 系统日志文件夹 :/ var / log
    • 系统日志 :/var/log/system.log
    • Mac Analytics数据 :/ var / log / DiagnosticMessages
    • 系统应用程序日志 :/ Library / Logs
    • 系统报告 :/ Library / Logs / DiagnosticReports
    • 用户应用程序日志 :〜/ Library / Logs(换句话说,/ Users / NAME / Library / Logs)
    • 用户报告 :〜/ Library / Logs / DiagnosticReports(换句话说,/ Users / NAME / Library / Logs / DiagnosticReports)

     

    如果您需要记住在哪里找到其中一个文件夹,可以打开控制台应用程序(位于/Applications/Utilities/Console.app),按住Ctrl键单击或右键单击侧栏中的其中一个日志或文件夹,选择“在Finder中显示”以查看其在磁盘上的位置。

     

    转载:http://www.howtoip.com/how-to-view-the-system-log-on-a-mac/

    展开全文
  • 摘要:本文简单介绍了如何搭建一个分布式日志系统。以下是译文。 本系列的第四篇文章中,我们研究了一些比较重要的与分布式日志实现相关的优缺点,并讨论了构建NATS流的过程中学到的一些经验教

    原文Building a Distributed Log from Scratch, Part 5: Sketching a New System
    作者:Tyler Treat
    翻译:雁惊寒

    摘要:本文简单介绍了如何搭建一个分布式日志系统。以下是译文。

    在本系列的第四篇文章中,我们研究了一些比较重要的与分布式日志实现相关的优缺点,并讨论了在构建NATS流的过程中学到的一些经验教训。本文是本系列的第五篇文章,也是最后一篇,我们将基于前面四篇文章讨论的要点设计一个崭新的日志系统。

    背景

    需要指出的是,NATSNATS Streaming是两个不同的东西。 NATS Streaming是一个建立在NATS之上的基于日志的流式传输系统,而NATS是一个轻量级的pub/sub消息投递系统。 NATS最初是作为Cloud Foundry的控制层面创建的(随后开源了)。 NATS Streaming则是为了响应社区更高级别的要求(持久化、至少一次的投递)而创造出来了,因此,它超越了NATS所能提供的功能,并作为NATS之上的一个单独的层构建的。本人倾向于将NATS描述为拨号音,无所不在,这对于“在线”通信非常合适。 而NATS Streaming则是语音邮件,“请在哔声之后留言,稍后会有人听到”。当然,它们之间还有更多的细微差别,但这些是最主要的。

    这里的关键是:NATS和NATS Streaming是不同的系统,具有不同的协议、不同的API和不同的客户端库。实际上,NATS Streaming被设计为充当NATS的客户端。因此,对端客户端不会直接与NATS Streaming交互,而是所有的通信都必须通过NATS。但是,NATS Streaming二进制文件可以嵌入到NATS中或者独立部署。该架构如下图所示,来自于NATS的官网


    1.png

    从架构上来说,这非常有意义。它符合端到端的原则,因为我们添加了一个附加层,而不是直接修改底层架构。然而,这个特殊的架构也引入了一些难题(秘闻:虽然我仍然是NATS的粉丝,但我不再参与NATS项目,NATS团队已经意识到这些问题,毫无疑问,他们正在努力解决这些问题)。

    首先,NATS和NATS Streaming之间不存在“串扰”,这意味着发布到NATS的消息在NATS Streaming中是不可见的,反之亦然。再次,它们是两个完全独立的系统,只是共享相同的架构。这意味着我们并没有真正地对NATS的消息持久化进行分层,我们只是公开了一个提供这些语义的新系统。

    其次,NATS Streaming作为NATS的“边三轮”,其所有的通信都是通过NATS进行的,因此NATS连接存在固有的瓶颈。这可能只是在理论上存在限制,但是它却使得某些优化无法实现,例如使用sendfile对日志进行零拷贝读取。这也意味着即使服务器可以立即发送响应,也可能会发生超时。

    第三,NATS Streaming目前在线性扩展方面缺少卖点,除了在应用层面上运行多个集群和分区通道之外。关于单个通道的伸缩,目前唯一的方法是在应用级别将其划分为多个频道。

    第四,在不扩展协议的情况下,NATS Streaming的授权在本质上受限于NATS提供的授权,因为所有的通信都是通过NATS进行的。这本身并不是个问题。 NATS支持多用户身份验证和主题级权限,但由于NATS Streaming在NATS上使用了不透明的协议,因此很难在流层面设置合适的访问控制列表。当然,许多分层协议都支持认证,比如基于TCP的HTTP。NATS Streaming协议可以携带认证令牌或会话密钥,但目前它并没有这样做。

    第五,NATS Streaming不支持通配符语义,在我看来,这是NATS的一大卖点,这正是一些用户所期望的。具体一点地说,NATS在主题订阅中支持两个通配符:星号(*),匹配主题中的任何标记(例如,foo.*匹配foo.barfoo.baz等等),以及完全通配符(>),匹配主题尾部的一个或多个标记(例如,foo.>匹配foo.barfoo.bar.baz等等)。请注意,NATS Streaming中的这种限制与整个体系结构并不直接相关,而是更多的跟我们打算如何设计日志有关。

    更一般地说,集群和数据复制更像是NATS Streaming后来添加的东西。正如我们在第四篇中所讨论的那样,这个很难在事后添加。结合NATS Streaming提供的API(可用于流量控制和跟踪消费者的状态),这会让服务器变得更加复杂。

    一个崭新的系统

    除了集群之外,我并没有怎么参与到NATS Streaming的研发工作中去。但是,从这个工作、我自己使用NATS的经历,以及社区中的讨论中,我知道该如何开发一个类似的东西。虽然它可能看起来不同于NATS Streaming或Kafka,但总有一些相似的地方。我把这个理论体系称为Jetstream ,尽管我还没有真正创建过除了小型原型以外的其他任何东西。这是项目的副产品,我希望在未来的某个时间能够完成。

    跟NATS Streaming一样,Jetstream是一个独立的组件,充当NATS的客户端。但它与NATS Streaming不同,它对NATS进行了增强,而不是实现一个全新的协议。接下来,我们将讨论如何实现这一设计。

    串扰

    在NATS Streaming中,日志被建模为channel。客户通过发布或订阅主题(在NATS中称为subject)来创建通道。一个通道可能是foo,但是在内部,这个通道可能会被翻译成一个NATS pub/sub主题,比如_STAN.pub.foo。因此,NATS Streaming在技术上是NATS的客户端,仅用于调度客户端和服务器之间的通信。日志是在普通的pub/sub消息上实现的。

    Jetstream只是NATS的消费者。其中,日志被建模为stream。客户端会显式地创建流。由于Jetstream消息就是NATS消息,因此,不存在“串扰”或内部主题。客户端就像平常一样将消息发布给NATS,然后Jetstream在后台将消息存储在日志文件中。从某种意义上说,这只是一个流经NATS的消息审计日志。


    2.png

    由于流被绑定到了NATS主题上,因此,我们可以很轻松地获得通配符这个特性。但是,这其中也有一些优缺点,稍后我们会讨论。

    性能

    Jetstream并不跟踪订阅的位置。消费者需要自己跟踪它们在某个流中的位置,或者将它们的位置存储在流中(稍后会详细介绍)。也就是说,我们可以将一个流看作是一个简单的日志,它能够快速、顺序地执行磁盘I/O,并最大限度地减少复制、协议冗余以及代码的复杂性。

    消费者可以使用基于pull的套接字API直接连接到Jetstream上。日志以第一篇中所述的方式进行存储。这使我们能够从流中进行零拷贝读取,以及应用不能在NATS Streaming中使用的其他重要优化。它还简化了流量控制和批处理,正如我们在第三篇中讨论的那样。

    可扩展性

    Jetstream从设计一开始就支持集群和横向扩展。我们知道,NATS在路由消息方面效率很高,特别是消费者的扇出度很高,并且还提供了兴趣图的聚类。流在Jetstream中提供了存储和可扩展性的基本单位。

    流是连接到某个NATS主题的命名日志。类似于Kafka中的分区,每个流都有一个replicationFactor,它控制了参与复制流的Jetstream集群中的节点数量,而且,每个流都有一个leader。leader负责接收来自NATS的消息,对它们进行排序,并执行复制操作。

    和Kafka的控制器一样,Jetstream集群也有一个元数据leader,它负责处理创建或删除流的请求。如果请求被发送给follower,它会自动将请求转发给leader。在流被创建的时候,元数据leader选择将replicationFactor节点添加到流中并且将流复制到集群中的所有节点上。一旦复制完成,流就完成了创建,它的leader就开始处理消息。这意味着NATS消息不会被存储,除非存在匹配其主题的流。

    多个流可以附加到同一个NATS主题或者具有等同语义的主题上,例如,foo.barfoo.*。在NATS进行处理的时候,每个流都会收到消息的一个副本。然而,流的名称在给定的主题上是唯一的。例如,分别为主题foo.bar创建的名为foobar的两个流将会对NATS主题foo.bar上的所有消息进行独立排序,但试图为同一个主题创建两个名称都为foo的流,那么最终将只会创建一个流。

    考虑到这一点,我们可以按照第三篇所讲的那样进行横向扩展,即向Jetstream集群添加更多的节点,并在集群中创建更多的流。这样做的好处是,只要NATS能够承受负载,我们就不必担心分区问题。我们可以从存储和消费中分离出消息路由,以进行独立扩展。

    另外,流可以被加入到一个命名的用户组中。实际上,在组中的流​​之间划分NATS主题让我们能够为负载均衡而创建竞争的消费者。这是通过NATS队列订阅来实现的,所以,它的缺点是分区是随机的。但好消息是消费者组不会影响正常的流。


    3.png

    压缩和偏移量跟踪

    流支持多种日志压缩规则:基于时间的、基于消息的、基于大小的。和Kafka一样,我们还支持第四种压缩规则:键压缩,我们在第三篇中做了描述。

    如上所述,Jetstream中的消息只是NATS消息。 Jetstream不需要特殊的协议来处理消息。然而,发布者可以通过提供额外的元数据并将消息序列化到报文中来“增强”消息。报文包括一个特殊的Cookie,用于检测该消息是报文还是普通的NATS信息。

    报文中有一个可选的元数据字段,消息键。一个流可以被配置为按键压缩。在这种情况下,它只保留每个键的最后一个消息(如果键不存在,这消息都会被保留下来)。

    消费者可以选择在Jetstream中存储它们的偏移量,并发布它们最新的偏移量。这样,消费者就可以从流中检索到自己的偏移量。为了提高性能,客户端应该定期检查这个偏移量。

    授权

    由于Jetstream是一个独立的服务器,并且仅仅是NATS的消费者,所以它可以在流上提供ACL或者其他的授权机制。只需一个简单的配置就可以限制NATS访问Jetstream,或者配置成Jetstream只允许访问某些主题。由于存在一个独立的访问控制系统,所以牵涉的东西比较多,但是分离的系统提供了更大的灵活性。

    至少一次的投递

    为了确保消息的至少一次的投递,Jetstream依赖于复制和发布者应答机制。当一条消息在一个流上被接收时,leader会给它分配一个偏移量,然后消息被复制。在复制成功后,流会向附加到消息回复主题上的NATS发布该对应的应答。

    这其中包含了两层含义。首先,如果发布者不关心消息是否被存储,那么就不需要设置回复主题。其次,因为可能有多个(或没有)流连接到主题(流的创建/删除是动态的),所以发布者不可能知道到底有多少个应答。我们认为,如果要确保投递的有效性,那么发布者应负责提前确定目的流。请注意,这可能是未来改进的一个方面,例如将流存储到注册表中。然而,这与其他的系统是类似的,比如Kafka,你必须先创建一个主题,然后再发布消息到该主题。

    复制协议

    对于元数据的复制和领导关系的选择,我们依靠Raft。然而,对于流的复制,我们并没有使用Raft,而是使用了在第二篇中提到的类似于Kafka的技术。

    对于每个流,我们都维护了一个同步副本集(ISR),并且是所有副本中最新的。在复制的过程中,leader将消息写入WAL,并且在提交之前我们只等待ISR中的副本。如果复制落后或失败,则将其从ISR中移除。如果leader失败,则ISR中的任何副本都可以将其取代。流复制的过程一般是这样的:

    1. 客户端创建一个流,replicationFactorn
    2. 元数据leader选择n副本,并随机选择一名leader。
    3. 元数据leader通过Raft将流复制到整个群集上。
    4. 参与到流的节点对其进行初始化,leader订阅NATS主题。
    5. leader将高水位标志(HW)初始化为0。这是流中最后提交的消息的偏移量。
    6. leader开始对来自NATS的消息进行排序,并将它们写入未提交日志。
    7. 副本消费leader的日志,并将消息复制到自己的日志中。
    8. 副本通知leader它们已经复制了这个消息。
    9. 一旦leader从ISR收到消息,那么消息就会被提交,并且HW会被更新。

    请注意,客户端只能在日志中看到提交的消息。复制过程中可能发生各种故障。下面将介绍这些内容。

    如果一个follower怀疑leader失败了,那么它会通知元数据leader。如果元数据leader在有限的时间内收到来自大多数ISR的通知,那么它将为该数据流选择一个新的leader,将此更新应用到Raft组,并通知副本集。已经提交的消息在leader改变的过程中会保留,但未提交的消息可能会丢失。

    如果数据流leader检测到副本已经失败或落后太多,它会通过通知元数据leader来从ISR中删除副本。

    在失败的副本重启的时候,它将从稳定的存储中恢复最新的HW,并将其日志截断至HW。这可能会删除日志中的所有未提交的消息。然后,副本从HW开始获取leader的消息。一旦副本赶上更新进度,它就会被添加回ISR中,并且系统恢复到完全复制状态。

    如果元数据leader失败,那么Raft将负责选择新的leader。元数据Raft组存储了每个流的leader和ISR,因此,元数据leader的故障转移并不是个问题。

    总结

    这就是构建一个快速、高可用、可扩展的分布式日志的系列文章。在第一篇中,我们介绍了日志抽象,并讨论了它背后的存储机制。在第二篇中,我们介绍了高可用性和数据复制。在第三篇中,我们讨论了消息投递的扩展。在第四篇中,我们讨论了一些优缺点,并得到了一些经验教训。最后,在这第五篇文章中,我们基于前面文章讨论的要点设计一个新的日志系统。

    本系列文章的目标是了解日志抽象的内部原理,学习如何实现之前提到的三个优先级,并学习一些应用分布式系统理论。希望你能觉得它们有用,或者至少有趣。

    参考文献

    Benchmarking Commit Logs
    Building a Distributed Log from Scratch, Part 4: Trade-Offs and Lessons Learned
    Building a Distributed Log from Scratch, Part 1: Storage Mechanics

    展开全文
  • Java帝国诞生之初就提供了集合、线程、IO、网络等常用功能,从C和C++领地那里吸引了大量程序员过来加盟,但是却有意无意地忽略了一个重要的功能: 输出日志。 对于这一点,IO大臣其实非常清楚, 日志是...
  • Linux 查看系统日志命令

    千次阅读 2020-01-11 13:28:19
    Linux 系统中有很多重要的日志文件,这些文件可以保存很多访问 Linux的日志记录,这些日志大多存放/var/log目录下和/run目录下,但是这些日志中,有些并不能使用cat,vi,more等命令打开,而是需要用到一些特殊的...
  • 本文由Markdown语法编辑器编辑完成... 试想,当一个系统在运行过程中突然奔溃时,如果系统没有抛出任何的异常提示信息,那么对于系统运维人员将会是多么痛苦的一件事,因为他无法去快速地定位问题,更别谈去解决问...
  • 日志管理系统

    万次阅读 2019-06-26 11:47:19
    .为什么需要日志管理系统 保留现场 自知者自明 所有即将发生的,都取决于已经发生的 数据商业化运作 1.1 日志管理系统的解决方案 机器上的日志实时收集,存储到日志中心 给日志建立索引,通过索引能很快找到...
  • 审计日志在分布式系统中的应用

    千次阅读 2018-11-18 11:44:40
    前言 分布式系统的执行环境往往是异常复杂的,很多情况涉及到多节点间的消息通信。相比较于单节点系统而言,分布式...很多人可能想这样一个问题:同样是日志,审计日志和普通的日志,区别在于哪里呢? 审计日志,...
  • 从零开始搭建一个ELKB日志收集系统

    万次阅读 2017-04-18 10:42:46
    转载地址:从零开始搭建一个ELKB日志收集系统 从零开始搭建一个ELKB日志收集系统 Oct.21.2016 log elk 当今的软件开发多核以及分布已经成为了常态,基本上稍大型的应用都是多台机器分布式部署...
  • Linux查看系统日志

    千次阅读 2020-11-16 11:35:44
    Linux系统运行的程序通常会把一些系统消息和错误消息写入对应的系统日志中,若是一旦出现问题,用户就可以通过查看日志来迅速定位,及时解决故障,所以学会查看日志文件也是日常维护中很重要的操作。 1、Linux...
  • Java系统日志管理

    万次阅读 2018-07-06 15:24:06
    在一个系统中日志管理是一个很重要的部分,因为当系统发布到线网后出了问题只能看系统日志了,这个时候系统日志起到了一个错误排查功能,同时也可以通过系统日志统计用户吞吐量等等,总之系统日志是系统管理一个重点...
  • Ubuntu系统日志分析

    千次阅读 2019-03-12 10:53:33
    可视化的Ubuntu可在系统日志中查看日志 1. 日志查看器 Xorg 是显示服务 auth是安全验证 boot是启动 daemon是进程 kern是内核 messages是消息 syslog是系统 user是用户 2.连接时间的日志 连接时间日志一般...
  • Python Django项目日志查询系统

    万次阅读 2020-08-07 18:06:11
    该项目适合中小型公司日志查询工作。大型公司可以使用elk等。 日志查询系统 维护手册 作者:陈土锋 ...
  • 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信息 /var/log/cron 与定时任务相关的日志信息 /var/log/spooler ...
  • 为了方便测试提供有效的日志,自己写了一个脚本,不需要安装cygwin之类的工具就能用来通过adb抓系统日志(但需要安装adb哦),支持抓全部系统日志(目前采用的logcat默认的最大大小16K),及抓指定应用的系统日志,...
  • java开发一个日志监控系统,监控linux日志和windows日志,并把当前监控情况web页面上展现
  • 日志系统ELK使用详解()--如何使用

    万次阅读 2017-05-14 11:34:49
    概述当我们管理和使用的后端服务程序突破单台...这时候要查看、统计日志信息就需要到各个服务器上去取和查看,所以我们可能很想把这些日志文件归集到一个统一的地方,统一管理。业内常见的部署组合就是ELK系统了。
  • linux系统日志的查看和采集

    万次阅读 2018-10-17 23:13:27
    我们首先要明白,日志是程序本身产生的,那么日志储存在哪里,该如何查看呢? 、查看日志 先来了解以下日志的类型和日志的级别。 1.日志的类型 auth ##pam产生的日志 suthpriv ##ssh,ftp等登陆信息的验证...
  • CentOS7快速查看系统日志 干货收藏

    千次阅读 2020-07-09 19:30:13
    今天网盾科技给大家讲解一下CentOS7怎么快速查看系统日志,干货哦,新手赶紧收藏。 Systemd是Linux系统工具,Systemd拥有强大的解决与系统日志记录功能-systemd-journald。日志目录一般是/var/log/journal,记录的...
  • syslog日志系统——日志采集

    万次阅读 2018-11-08 14:00:17
    客户端埋点就是客户系统植入日志发送的代码,可以是前端页面、app界面、后端服务等,把需要的日志信息发送到指定的日志采集接口。 日志的发送应该采用异步方式,这样不会对客户系统代码的执行造成影响。 日志采集 ...
  • 日志分析日志分析是每个互联网公司业务流中不可缺少的一部分,从海量数据中,可以分析用户的行为,...而对于日志分析,只要产品还运营,日志就会源源不断的产生,很难去规定一个节点去进行静态的处理分析。因此,以ha
  • QT中使用日志系统

    千次阅读 2019-03-27 09:20:31
    当写好的软件发布出去后,用户遇到死机或一些其他的bug,我们该怎么追踪这些问题呢,这时候日志系统很好的帮助了我们。最近也是参照网络大牛的博客代码实现了log。下面看看代码吧。 void outputMessage(QtMsgType...
  • 业务系统日志记录规范总结

    千次阅读 2019-08-28 16:01:09
    业务系统日志记录规范 注意 应用中应该充满了日志记录信息,日志甚至比逻辑代码还要多; 集成 seluth ,开启消息链路;不开启日志上传,不集成 zipkin; 应该避免日志记录过程中出现异常,比如 log.debug(requst...
  • 日志系统之Flume日志收集

    千次阅读 2015-06-06 21:17:49
    本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。
  • 本发明实施例提供的系统日志的处理方法包括:访问生成系统日志的设备,从该设备采集系统日志;将采集到的系统日志的格式与指定的设备模板进行匹配,确认各系统日志对应的设备类型;根据各系统日志的设备类型,...
  • ubuntu 系统日志信息

    千次阅读 2019-10-03 15:37:33
    一个即是当前控制台的打印信息等级。假设当前控制台的打印信息等级为7,那么所有打印信息等级小于等于7的打印信息都可以控制台打印出来。 #cat /proc/sys/kernel/printk 4 4 1 7 分别对应console_loglevel、...
  • windows系统日志查看

    万次阅读 2019-05-29 09:06:16
    2、接下来你会窗口中看到一个列表,包括 “关键字”、 “日期和时间”、“来源”、“事件ID”、“任务类别”。 3、事件id(其他具体事件id需要时可自行百度) 事件 ID 事件类型 ...
  • 闲聊Windows系统日志

    千次阅读 2018-12-29 21:24:10
    * 本文作者:TomKing,本文属FreeBuf原创奖励计划,未经许可禁止...不过现在都要求保留至少6月的日志,因此这种原因会少了很多,然而我对于Windows中系统日志不了解,解读时经常摸不着头脑,所以就认真的分析了e...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,304,763
精华内容 521,905
关键字:

一个系统的日志在哪里看