精华内容
下载资源
问答
  • FSSyncSpinner 该项目基于 - Syncing/Success Icon 安装 cocoapods: pod FSSyncSpinner 手册:将 FSSyncSpinner.h 和 FSSyncSpinner.m 拖到您的项目中 # import " FSSyncSpinner.h " 用法 只有三种方法 ...
  • GTA5故事模式进度同步

    千次阅读 2021-12-31 13:18:43
    背景:虽然我已经开了 云同步,但是总是提醒我,同步失败。 坑 如何自动同步呢?

    背景:虽然我已经开了 云同步,但是总是提醒我,同步失败。

    如何自动同步呢?

    1、这个up主给了一个方案:

    https://www.youtube.com/watch?v=ZMrmGkJNWM0&ab_channel=720pGoatSoup

     

    2、 

    3、但是对我来说还是不行。

    4、我想到了一个解决方案,借助onedrive,把游戏进度同步到网盘里,然后本地实时获取最新的游戏进度,相当于自己搭建了一个云服务器。

    参考资料:

    让Onedrive云盘同步本地任意一个文件夹(适用于Windows)_Caleb Sung的博客-CSDN博客_onedrive同步指定文件夹

    onedrive同步任意文件夹_碧海蓝天-CSDN博客_onedrive同步指定文件夹

    like this

    在sushe电脑上,

    mklink /d "C:\Users\XXXX\OneDrive\001-inbox-中转站\Games" "C:\Users\XXXX\Documents\Rockstar Games\GTA V"

    在gongsi电脑上:

    mklink /d "C:\Users\xxxx\Documents\Rockstar Games\GTA V" "C:\Users\xxxx\OneDrive\001-inbox-中转站\Games\GTA V"

    ------------------

    GTA5   

    Enhanced Native Trainer - GTA5-Mods.com

    展开全文
  • 数据同步过程: RocketMQ 的主从同步机制如下: (1) slave启动,跟master建立连接 (2) slave 以5秒的间隔,向master拉取消息,如果是第一次拉取的话,先获取本地commitlog文件中最大的偏移量,以该偏移量向服务端...

    数据同步过程:
    RocketMQ 的主从同步机制如下:
    (1) slave启动,跟master建立连接
    (2) slave 以5秒的间隔,向master拉取消息,如果是第一次拉取的话,先获取本地commitlog文件中最大的偏移量,以该偏移量向服务端拉取消息;
    (3) master将数据返回给slave
    (4) slave将数据写入自身commitLog中,更新偏移量;重复以上步骤

    读写分离机制:
    (1) 首先读写分离都是,写master,读slave;搭配主从同步机制
    (2) RocketMQ 有属于自己的一套读写分离逻辑,它会判断主服务器的消息堆积量来决定消费者是否向从服务器拉取消息消费,阈值是大于内存的40%;默认消费者还是读master
    (3) 当发现内存大于阈值,则slaveReadEnable 设置为true,然后设置suggestWhichBrokerId 为从机的BrokerID

    消费进度同步:
    (1) 消息消费进度的同步时单向的,从服务器开启一个定时任务,定时从主服务器同步消息消费进度;
    (2) 无论消息消费者是从主服务器拉的消息还是从从服务器拉取的消息,在向Broker反馈消息消费进度时,优先向主服务器汇报

    展开全文
  • 摘要:针对数据同步状态查看方法,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪,尤其是为方便定位人员使用,gs_ctl工具已集合了大部分相关系统函数的调用,可做到在任何时间,从未...
    摘要:针对数据同步状态查看方法,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪,尤其是为方便定位人员使用,gs_ctl工具已集合了大部分相关系统函数的调用,可做到在任何时间,从未启动、启动、重建到运行时的关键信息显示。

    1 背景概述:

    1.1DN高可用架构模型

    要理解或描述数据同步的过程机制,需要首先要了解GaussDB(DWS)的DN高可用架构,理解涉及数据同步的各组件的关系、数据类型、数据流向、设计原理和目的。

    GaussDB(DWS)的DN高可用架构为主、备、从备架构。即在分布式环境中,完整的集群数据采用分片技术分布在多个DN组上,每组DN承担一个数据分片,包括:一个主DN、一个备DN和一个从备DN。主和备各有一份完整的数据,从备上一般不存储数据,仅在备机故障时做数据的暂存。组件之间关系如图1所示:

    图1 DN高可用架构关系图

    主、备、从备高可用架构下,主、备及主、从备之间均会建立流复制通道。流复制又分为日志复制和数据页复制。日志复制用于同步主DN由于WAL机制刷到磁盘上的XLOG,同步到备DN进行回放。数据页复制用于同步批量导入的行存数据、或列存CU文件。需要注意的一点是,从备仅用于存放XLOG和数据,回放(replay)仅发生在备DN上。

    1.2 数据同步涵盖范围

    数据同步就是涉及集群中主、备节点以及从备节点之间的日志复制数据的传输、回放,数据页复制数据的传输、追赶,备机重建等过程。GaussDB(DWS)集群高可用实践WAL(Write Ahead Logging)思想,并通过各组件的主备的数据同步、倒换、重建等机制,保证数据库单实例遭遇Crash后,具备故障恢复及自愈的能力,保护数据库中数据的可靠性和完整性,最终实现集群对外业务连续性的过程。

    这些主要的过程有:

    (1)主备之间的正常流复制

    每组DN独立承担一个数据分片,因此要求各个DN主与备必须强同步。为保证DN的主备强同步,数据在主DN操作时产生日志,事务提交时将日志同步给备DN。备机对接收到的XLOG进行回放(replay),将日志转为数据。另外,列存和行存批插场景下,备机正常时,新增(变更)数据会发往备机。使用数据页同步相对于日志同步少了磁盘IO,可以提升同步效率,减小RTO。

    (2)备机追赶

    为了解决单节点故障后集群写事务可用,DN的高可用设计引入从备这个实例。一旦备DN故障,数据将发送给从备,仍然保证了数据写两份的原则,事务照样可以提交。但主机会对BCM文件里面的标记位置状态位。BCM文件中每一bit位(除预留位外)对应数据文件中每一页(8k)状态。

    当备机重新启动的时候,会连接主机做数据页追赶(catchup)。追赶机制分为全量和增量两种。全量catchup机制,不依赖于从备,主机递归扫描本地默认表空间和自定义表空间下的所有BCM文件,然后查看状态位来确认哪些数据文件需要发送给备机。增量catchup机制依赖于从备,主机通知从备遍历其从备上暂存的数据页,将变更的数据页列表发往主机,主机直接按照从备发来的变更列表,将变更数据发往备机。

    (3)主备倒换

    当主DN故障时,需要对备DN进行failover,failover后备DN升为主DN来接管业务。所以failover时,备DN需要连接从备DN,向从备DN请求数据,以补齐备DN比主DN缺少的数据。failover的过程是备DN独立完成的,不需要和主DN进行交互。

    (4)备机重建

    重建功能主要目的是单点故障修复,备机重建方式按照实现分为全量重建和增量重建,均和主DN进行交互。全量重建是备机清空数据目录,保留配置文件,向主机发送全量重建请求,主机将自己的数据目录除了配置文件外,全部发给备机,重建后启动备机。增量重建是一种以主DN文件为基准,按照文件块对备DN文件进行校验,如果备DN文件的某个文件块校验不一致,则主机将此文件块发给备DN,写入文件对应的文件块中。与全量重建相比较,拷贝的数据量和WAL日志量都更少,代价更小。

    从以上这些数据同步过程中,我们发现表现在运维上一个明显的特点是,这些过程有可能会时间花费较长,一旦同步过程中出现异常问题,其内部关键过程信息输出对于问题分析定位十分重要。因此,GaussDB(DWS)提供了丰富的系统函数、视图、工具等可以直观地对同步进度进行跟踪,尤其是为方便定位人员使用,gs_ctl工具已集合了大部分相关系统函数的调用,可做到在任何时间,从未启动、启动、重建到运行时的关键信息显示。

    2 方法总结

    2.1 系统视图

    总结涉及数据同步的系统视图如表1所示。具体参数、返回值定义请参考相应版本的产品文档手册。

    2.2 系统函数

    总结涉及数据同步的系统函数如表2所示。具体参数、返回值定义请参考相应版本的产品文档手册。

    2.3 常用工具

    总结涉及数据同步的常用工具如表3所示。具体工具说明、参数定义请参考相应版本的产品文档手册中的定义。

    3 应用场景

    3.1 查看DN实例Redo进度

    当DN实例crash发生时,我们可以通过回放XLOG日志中记录的数据变化还原crash前的操作。这个就是所谓的redo/recovery过程。如果需要redo的XLOG比较多,或者遇到某种特殊日志类型,对DN实例进行启动,启动过程时间就会有些长。

    DN实例启动过程中,如果期望查看XLOG redo的进度。最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示xlog redo的进度,如图2所示。此外,在DN实例可以接受gsql连接时(启动到最小恢复点之前是拒绝连接的),也可直接在当前DN上执行pg_xlog_replay_completion 函数来获取XLOG redo进度信息。

    图2 DN实例启动时XLOG Redo进度查询

    启动Redo进度相关信息(Xlog replay info)包括:

    • replay_start:Xlog Redo的起始LSN 。DN实例启动XLOG redo过程时,记录replay_start。
    • replay_current:Xlog Redo的当前replay的LSN。
    • replay_end:DN本地接收到的最大XLOG lsn。
    • replay_percent:Xlog Redo的当前完成的百分比。(replay_current - replay_start)*100 / (replay_end - replay_start)的计算值。

    依据replay_current的变化,可以看到XLOG redo的推进。

    依据replay_percent和启动开始时间,可以推测DN实例启动到正常状态的所需时间。

    3.2 查看备机Failover进度

    当主机发生故障时,我们需要将备机failover成主机,此时备机需要连接从备同步XLOG和数据页文件。如果需要同步的XLOG比较多,或者遇到某种特殊日志类型,或者数据文件比较多时,对备DN实例进行failover,过程时间就会有些长。

    备机failover升主过程中,如果期望查看XLOG redo和数据页文件同步的进度。最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示xlog redo的进度和从备数据同步的进度,如图3所示。此外,在DN实例可以接受gsql连接时,也可直接在当前DN上执行pg_data_sync_from_dummy_completion 函数来获取从备数据文件同步的进度信息。

     

    图3 备机Failover进度查询

    Failover Redo进度相关信息(Xlog replay info),字段含义同Start Redo,区别在于,备DN在处理failover请求连接从备时候获取最新的replay lsn更新了replay_start。

    Failover数据页文件进度相关信息(Data sync from dummy)包括:

    • start_index:数据页文件同步的起始编号。
    • current_index:数据页文件同步的当前编号。
    • total_index:数据页文件同步的最大编号。
    • sync_percent:数据页文件当前完成的百分比。(current_index - start_index) *100/ (total_index - start_index + 1) 的计算值。

    依据current_index的变化,可以看到数据页同步的推进。

    依据sync_percent和failover开始时间,可以推测DN实例failover到正常状态的所需时间。

    3.3 查看备机Catchup进度

    当备机重新启动的时候,会连接主机做数据页追赶(catchup)。如果需要传输的数据页比较多,或者因为业务造成的锁冲突,catchup 时间就会比较长,备DN长时间不能成为Normal状态。

    如果期望查看数据页catchup的进度,可以在CN上执行select * from pgxc_get_senders_catchup_time()可进行当前活跃的主备发送线程的追赶信息显示,如图4所示。

    图4 集群上catchup进度查询

    也可以在相应的主DN上执行select * from pg_get_senders_catchup_time可进行当前活跃的主备发送线程的追赶信息显示。完成后,看到的是刚结束的catchup过程信息,如图5所示。

    图5 主DN上catchup进度查询

    备机Catchup进度相关信息包括:

    • catchup_type:"Incremental"或者"Full"。catchup方式为全量还是增量。
    • catchup_bcm_filename:当前主机正在处理的一个BCM文件名称。
    • catchup_bcm_finished:catchup已操作完成的BCM文件数量。
    • catchup_bcm_total:catchup总共需要操作的BCM文件数量。
    • catchup_percent:catchup已经操作完成的百分。catchup_bcm_finished*100 / catchup_bcm_total 的计算值。
    • catchup_remaining_time:依据已完成的进度,预估剩余完成时间。

    依据catchup_bcm_filename和catchup_bcm_finished的变化,可以看到数据页追赶的推进。

    依据catchup_percent和catchup_remaining_time,可以推测备DN实例追赶到正常状态的所需时间。

    3.4 查看DN实例XLOG空间使用状况

    随着数据库的不断运行,产生的日志文件越来越多,如果因为节点故障或其它原因有可能造成日志文件不断积累而充爆磁盘。为了解此使用信息,最方便的是使用gs_ctl query工具对指定DN实例路径进行状态查询,结果中可以显示该实例的XLOG空间使用信息,截图示例请参见上面其它场景。此外,还提供系统函数 pgxc_stat_xlog_space、pg_stat_xlog_space 对数据库集群或单个实例进行查询,例如使用pgxc_stat_xlog_space可以获取到整个集群的CN、主DN的XLOG空间使用信息,如图6所示。

    图6 Xlog空间使用查询

    XLOG空间使用信息(Xlog space info)包括:

    • xlog_files:pg_xlog目录下,去除backup、archive_status等子目录,所有识别为xlog文件的数目;
    • xlog_size:pg_xlog目录下,去除backup、archive_status等子目录,所有识别为xlog文件的大小之和,以MB单位显示;
    • other_size:pg_xlog目录下backup、archive_status等子目录文件的大小之和,以MB单位显示。

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • leetcode中国 :pencil: Leetcode Solutions with Java Update time: 2020-01-02 06:54:58 I have solved 4 / 1312** problems (Notes: 此为中国版力扣的刷题记录) # Title Source Code Note ...Easy
  • delphi线程与窗体同步入门演示,下载文件进度演示,用了idhttp
  • Windows 环境下的修改方法 ...找到:max_execution_time = 30 ,这个是每个脚本运行的最长时间,单位秒,改为:max_execution_time = 150 找到:max_input_time = 60,这是每个脚本可以消耗的时间,单位也是秒,修改为...
  • logstash处理文件进度记录机制

    千次阅读 2016-11-24 23:40:08
    如果处理完了关闭logstash,下次再启动时则不会再从头开始处理,因为sincedb已经记录了进度,不要以为start_position => “beginning”就是每次都从头处理,如果把sincedb文件删了又会从头开始处理。 ========...

    假如使用如下配置处理日志

    input {
         file {
            path => "/home/vagrant/logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-*.log"
            start_position => "beginning"
            type => "sql"
            codec => json {
                charset => "UTF-8"
            }        
         }
    }
    output { 
        if "_grokparsefailure" in [tags] {
        }else{
            if [type] == "sql"{
                    elasticsearch {
                             hosts => ["http://192.168.33.10:9200"]
                             index => "common-sql-%{+YYYY.MM.dd}"
                    }
           }
        }
    }
    
    • 所有匹配common-sql-*.log的文件都将被处理

    • 第一次从头开始处理文件

    • 处理后以json格式输出到elasticsearch

    logstash如何记录处理进度?

    • 第一次运行logstash时从头处理文件,假如此时有两个文件匹配上则按顺序开始处理文件。
    • logstash处理过程中不断将每个文件处理的进度写入到某个地方,这就是sincedb。
    • sincedb一般以隐藏文件默认写到home目录下面,文件名类似.sincedb_6268051ae572b42bd86b7f9e8c1e004b。
    • sincedb的格式为inode majorNumber minor Number pos。每行记录每个文件处理进度,比如下面的例子,表示inode为177037的文件处理到25951716位置、inode为176956的文件处理到32955178位置。
    177037 0 64768 25951716
    176956 0 64768 32955178
    
    • 用stat看看这两个文件inode信息。可以看到两个文件都已经处理完了。如果没处理完关闭了logstash则会在下次启动时继续处理。
    [vagrant@hb-localhost ~]$ stat logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-2016-11-24.log 
      File: `logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-2016-11-24.log'
      Size: 32955178    Blocks: 64368      IO Block: 4096   regular file
    Device: fd00h/64768d    Inode: 176956      Links: 1
    Access: (0664/-rw-rw-r--)  Uid: (  501/ vagrant)   Gid: (  501/ vagrant)
    Access: 2016-11-24 02:08:19.058506565 +0000
    Modify: 2016-11-24 01:46:14.000000000 +0000
    Change: 2016-11-24 02:05:06.194122690 +0000
    
    [vagrant@hb-localhost ~]$ stat logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-2016-11-23.log 
      File: `logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-2016-11-23.log'
      Size: 25951716    Blocks: 50688      IO Block: 4096   regular file
    Device: fd00h/64768d    Inode: 177037      Links: 1
    Access: (0664/-rw-rw-r--)  Uid: (  501/ vagrant)   Gid: (  501/ vagrant)
    Access: 2016-11-24 02:15:28.217978771 +0000
    Modify: 2016-11-23 13:19:16.000000000 +0000
    Change: 2016-11-24 02:15:27.913826772 +0000
    
    • 如果往这两个文件追加日志则将往下继续处理,而且也会将进度更新到sincedb文件中。
    • 如果处理完了关闭logstash,下次再启动时则不会再从头开始处理,因为sincedb已经记录了进度,不要以为start_position => “beginning”就是每次都从头处理,如果把sincedb文件删了又会从头开始处理。

    ========广告时间========

    鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。感谢各位朋友。

    为什么写《Tomcat内核设计剖析》

    =========================

    展开全文
  • 解读show slave status 命令判断MySQL复制同步状态1. show slave status命令可以显示主从同步的状态MySQL> show slave status \G;*************************** 1. row ***************************Slave_IO_State...
  • 如何查看Geth同步状态?

    千次阅读 2019-08-25 13:37:54
    当使用命令行的Geth来同步以太坊区块链时,一个基本的问题就是如何查看Geth区块同步过程的状态,以便判断以太坊区块链的同步是否完成。本文将介绍如何检查Geth的区块同步状态。 如果希望快速掌握区块链应用的开发,...
  • lotus 查看同步区块高度和时间 watch -d -n 1 'lotus chain list --count 10 --format "<height>: (<time>)"' Every 1.0s: lotus chain list --count 10 --format "<height>: (<time>)
  • geth同步完成过程

    千次阅读 2018-03-22 09:33:24
    启动命令: geth --datadir data --fast --cache=1024 --maxpeers 100备注datadir 可传入你同步区块的路径文件操作系统缺少环境:glibc-2.14# export LD_LIBRARY_PATH=/opt/glibc-2.14/lib:$LD_LIBRARY_PATH ...
  • rsync替换cp命令显示速度和进度

    千次阅读 2020-05-15 17:05:18
    -t :保持文件的时间信息—time -o :保持文件属主信息owner -p :保持文件权限 -g :保持文件的属组信息 -P :--progress 显示同步的过程及传输时的进度等信息 -e :使用的信道协议,指定替代rsh的shell程序。...
  • oracle--DG查询同步

    千次阅读 2019-09-27 07:22:39
    查询归档历史: SELECT FIRST_TIME,FIRST_CHANGE#,NEXT_CHANGE#, SEQUENCE# FROM V$LOG_HISTORY; 检查归档文件路径和创建信息 ...SELECT NAME,CREATOR,SEQUENCE#,APPLIED,COMPLETION_TIME FROM V$ARCHIVED_LOG;...
  • MongoDB复制集全量同步改进

    千次阅读 2019-01-11 23:40:13
    MongoDB副本集数据同步方式 intial sync,可以理解为全量同步。 replication,追同步源的oplog,可以理解为增量同步。 下面会详细介绍MongoDB数据同步的实现原理。 initial sync Secondary节点当出现如下状况时...
  • 在0.9及之后的版本,kafka自身提供了存放消费进度的功能。本文讲解的是如何从kafka自身获取消费进度。从zookeeper中获取消费进度请查看我的另一片文章Zabbix监控之从zookeeper中获取Kafka消费进度和laghttps://cwiki...
  • 一、应用程序启动 解析命令行参数及配置文件加载配置 加载区块及状态数据,数据... 开启同步管理模块syncManager,处理新节点、交易、区块等消息。 开启连接管理模块connManager,先进行DNSSeed从种子域名获取...
  • 电脑端双击 “verysync.exe”打开微力同步程序 登录或注册一个微力同步账号,点击右上角绿人图标 输入账号和密码登录 直接关闭 创建同步文件夹,选择标准文件夹 ...
  • using UnityEngine; using UnityEngine.UI; using UnityEngine.Video; public class VideoPlayerSliderController : MonoBehaviour { public VideoPlayer m_player;... public Slider m_slider;... m_slider.o
  • Postgresql - 检查数据库主从复制进度

    千次阅读 2018-06-14 17:39:15
    如何查看主从复制的状态,且备库应用落后了多少字节这些信息要在主库中查询查看流复制的信息可以使用主库上的视图select pid,state,client_addr,sync_priority,sync_state from pg_stat_replication;...
  •  out.println("此次同步涉及数据共"+list.size()+"条,正在更新第"+(i+1)+"条,请稍等...");  out.flush(); //不要关闭  Thread.currentThread().sleep(1000);  }   前台ajax: function ...
  • 使用H5 video标签实现双视频同步播放

    千次阅读 2020-03-17 11:04:22
    在同一页面实现大小视频同步播放(类似微信视频聊天效果) 效果描述:大小视频可以同步播放,大小视频可以切换,小视频可以自动判断隐藏与现实,实现全屏与退出全屏。 实现思路:在视频播放与暂停、卡住、快进的时候...
  • MySQL的异步复制和半同步复制

    千次阅读 2017-11-07 14:50:36
    Mysql在5.5及其以后的版本引入了半同步的概念,在这里也普及一些基础知识。一:神马是半同步同步,异步。1:Mysql的复制过程就是slave去master拉日志回来,存到relay文件中,然后执行。2:Master根本不考虑数据...
  • 查看Chrome浏览器同步数据状态工具

    千次阅读 2017-11-26 00:31:00
    查看Chrome浏览器同步数据状态 在浏览器输入Chrome://sync 并配合https://chrome.google.com/sync?hl=zh-CN此页面查看同步数据的状态,定位问题。 转载于:...
  • Mysql主从同步-Slave延迟状态监控

    千次阅读 2019-09-03 19:13:44
    监控主从同步延迟,同步延迟的检查工作主要从下面两方面着手:1.一般的做法就是根据Seconds_Behind_Master的值来判断slave的延迟状态。 可以通过监控show slave status\G命令输出的Seconds_Behind_Master参数的值来...
  • 为了解决这个难题,以网络图的形式表现成本费用的变化,提出了项目进度控制和成本控制结合的同步控制,目的是使成本费用能与进度控制在统一的计算机平台上动态地产生和控制。并结合一个办公楼项目的例子的模拟,具体说明...
  • 工程资料与工程进度同步归档管理控制流程.pdf
  • 文件异步拷贝,提供进度,中断等 具体可访问 https://www.jianshu.com/p/1ddcdd6ea561
  • 下面小编就为大家分享一篇原生JS实现网页手机音乐播放器 歌词同步播放的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 85,642
精华内容 34,256
关键字:

同步进度