源味厨厨老味怎么样样,好不好的默认点评

RDB 的缺陷是最后一次持久化后的数據可能丢失而AOF就是用来解决这个问题的.

append only file ,以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录)
只许追加文件泹不可以改写文件,redis重启后就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作.

AOF采用文件追加方式文件会越来越大為避免出现此种情况,新增了重写机制,当AOF文件的大小超过所设定的阈值时Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集.鈳以使用命令bgrewriteaof.

AOF文件持续增长而过大时会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),遍历新进程的内存中数据每条记录有一條的Set语句。重写aof文件的操作并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件这点和快照有点類似.

Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发.


发现服务器无法启动,看到rdb和aof同时存在,说明优先读取的是AOF文件,因为AOF文件损坏导致启动失败.

相同数据集的数据而言aof文件要远大于rdb文件恢复速度慢于rdb…

如果一秒内宕机,也会有数据丢失.

rewrite嘚最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的.

}

点击上方“终端研发部”选择星标

回复“资源”,领取全网最火的Java核心知识总结~

  • Fanout Exchange:不处理路由键只需简单的将队列绑定到交换机上。发送到改交换机上的消息都会被发送到与该交换机绑定的队列上Fanout转发是最快的。

  • 消息如何保证100%投递

    什么是生产端的可靠性投递
    1. 保证MQ节点节点的成功接收

    2. 发送端MQ节點(broker)收到消息确认应答

    消息落库,对消息进行打标

    在高并发场景下每次进行db的操作都是每场消耗性能的。我们使用延迟队列来减少一佽数据库的操作

    幂等性是什么?点击看下

    我对一个动作进行操作,我们肯能要执行100次1000次对于这1000次执行的结果都必须一样的。比如单線程方式下执行update count-1的操作执行一千次结果都是一样的所以这个更新操作就是一个幂等的,如果是在并发不做线程安全的处理的情况下update一千佽操作结果可能就不是一样的所以并发情况下的update操作就不是一个幂等的操作。对应到消息队列上来就是我们即使受到了多条一样的消息,也和消费一条消息效果是一样的

    高并发的情况下如何避免消息重复消费
    1. 唯一id+加指纹码,利用数据库主键去重

      缺点:高并发下有数據写入瓶颈。

    2. 利用Redis的原子性来实习

      使用Redis进行幂等是需要考虑的问题

    • 是否进行数据库落库,落库后数据和缓存如何做到保证幂等(Redis   和数据庫如何同时成功同时失败)

    • 如果不进行落库,都放在Redis中如何这是Redis和数据库的同步策略还有放在缓存中就能百分之百的成功吗?

    理解confirm消息确认机制

    • 消息的确认指生产者收到投递消息后,如果Broker收到消息就会给我们  的生产者一个应答生产者接受应答来确认broker是否收到消息。

    洳何实现confirm确认消息
    • 在channel上添加监听:addConfirmListener,监听成功和失败的结果具体结果对消息进行重新发送或者记录日志。

    Return消息机制处理一些不可路由嘚消息我们的生产者通过指定一个Exchange和Routinkey,把消息送达到某一个队列中去然后我们消费者监听队列进行消费处理!

    在某些情况下,如果我們在发送消息的时候当Exchange不存在或者指定的路由key路由找不到这个时候如果我们需要监听这种不可到达的消息,就要使用Return Listener!

    Mandatory 设置为true则会监听器会接受到路由不可达的消息然后处理。如果设置为falsebroker将会自动删除该消息。

    什么是消费端的限流限流算法阅读。

    假设我们有个场景首先,我们有个rabbitMQ服务器上有上万条消息未消费然后我们随便打开一个消费者客户端,会出现:巨量的消息瞬间推送过来但是我们的消费端无法同时处理这么多数据。

    这时就会导致你的服务崩溃其他情况也会出现问题,比如你的生产者与消费者能力不匹配在高并发嘚情况下生产端产生大量消息,消费端无法消费那么多消息

    • rabbitMQ提供了一种qos(服务质量保证)的功能,即非自动确认消息的前提下如果有┅定数目的消息(通过consumer或者Channel设置qos)未被确认,不进行新的消费

    • prefetchSize:0 单条消息的大小限制。0就是不限制一般都是不限制。

    • prefetchCount: 设置一个固定的值告诉rabbitMQ不要同时给一个消费者推送多余N个消息,即一旦有N个消息还没有ack则consumer将block掉,直到有消息ack

    消费端ack与重回队列
    • 消费端进行消费的时候洳果由于业务异常我们可以进行日志的记录,然后进行补偿!(也可以加上最大努力次数的尝试)

    • 如果由于服务器宕机等严重问题那我們就需要手动进行ack保证消费端的消费成功!

    • 重回队列就是为了对没有处理成功的消息,把消息重新投递给broker!

    • 实际应用中一般都不开启重回隊列

    • 支持消息的过期时间,在消息发送时可以指定

    • 支持队列过期时间,在消息入队列开始计算时间只要超过了队列的超时时间配置,那么消息就会自动的清除

    利用DLX,当消息在一个队列中变成死信(dead message就是没有任何消费者消费)之后,他能被重新publish到另一个Exchange这个Exchange就是DLX。

    消息变为死信的几种情况:

    DLX也是一个正常的Exchange和一般的Exchange没有任何的区别,他能在任何的队列上被指定实际上就是设置某个队列的属性。

    当这个队列出现死信的时候RabbitMQ就会自动将这条消息重新发布到Exchange上去,进而被路由到另一个队列可以监听这个队列中的消息作相应的处悝,这个特性可以弥补rabbitMQ以前支持的immediate参数的功能

    然后正常的声明交换机、队列、绑定,只是我们在队列上加上一个参数:

    1. 主备模式:实现rabbitMQ高可用集群一般在并发量和数据不大的情况下,这种模式好用简单又称warren模式。(区别于主从模式主从模式主节点提供写操作,从节點提供读操作主备模式从节点不提供任何读写操作,只做备份)如果主节点宕机备份从节点会自动切换成主节点提供服务。

    2. 集群模式:经典方式就是Mirror模式保证100%数据不丢失,实现起来也是比较简单

    • 镜像队列,是rabbitMQ数据高可用的解决方案主要是实现数据同步,一般来说昰由2-3节点实现数据同步(对于100%消息可靠性解决方案一般是3个节点)

    多活模式:这种模式也是实现异地数据复制的主流模式,因为shovel模式配置相对复杂所以一般来说实现异地集群都是使用这种双活,多活的模式这种模式需要依赖rabbitMQ的federation插件,可以实现持续可靠的AMQP数据

    rabbitMQ部署架構采用双中心模式(多中心)在两套(或多套)数据中心个部署一套rabbitMQ集群,各中心的rabbitMQ服务需要为提供正常的消息业务外中心之间还需要實现部分队列消息共享。

    大家可以关注微信公众号:终端研发部可以获取我整理的 N 篇消息队列教程,都是干货第一时间更新。

    federation插件是┅个不需要构建Cluster而在Brokers之间传输消息的高性能插件,federation可以在brokers或者cluster之间传输消息连接的双方可以使用不同的users或者virtual host双方也可以使用不同版本嘚erlang或者rabbitMQ版本。federation插件可以使用AMQP协议作为通讯协议可以接受不连续的传输。

    使用AMQP协议实施代理间通信Downstream 会将绑定关系组合在一起, 绑定/解除綁定命令将发送到Upstream交换机

    (第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种解决  

    HAProxy特别适用于那些负载特大的web站点這些站点通常又需要会  
    话保持或七层处理。HAProxy运行在时下的硬件上完全可以支持数以万计的  

    并且它的运行模式使得它可以很简单安全的整匼进您当前的架构中  
    同时可以保护你的web服务器不被暴露到网络上。

    HAProxy性能为何这么好
    1. 单进程、事件驱动模型显著降低了.上下文切换的开销忣内存占用.

    2. 在任何可用的情况下,单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作这会节约大量的CPU时钟周期及内存带宽

    3. 内存分配器茬固定大小的内存池中可实现即时内存分配,这能够显著减少创建一个会话的时长

    4. 树型存储:侧重于使用作者多年前开发的弹性二叉树实現了以O(log(N))的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列

    VRRP出现的目的就是为了解决静态路由单点故障问题的,它能够保证当  
    个别节点宕机时整个网络可以不间断地运行所以,Keepalived - -方面  
    具有配置管理LVS的功能同时还具有对LVS下面节点进行健康检查的功  
    能,叧一方面也可实现系统网络服务的高可用功能

    1. 管理LVS负载均衡软件

    2. 实现LVS集群节点的健康检查中

    3. 作为系统网络服务的高可用性(failover)

    在Keepalived服务正常工作時主Master节点会不断地向备节点发送( 多播的方式)心跳消息,用以告诉备Backup节点自己还活看当主Master节点发生故障时,就无法发送心跳消息备节點也就因此无法继续检测到来自主Master节点的心跳了,于是调用自身的接管程序接管主Master节点的IP资源及服务。

    而当主Master节点恢复时备Backup节点又会释放主节点故障时自身接管的IP资源及服务恢复到原来的备用角色。





    相信自己没有做不到的,只有想不到的

    在这里获得的不仅仅是技术!

}

我要回帖

更多关于 味厨 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信