一致性Hash算法的缩容扩容分析

Sun, 16 Dec 2018 00:00:00 +0000

背景

之前的文章我们已经分析过，一致性Hash算法能够在Hash输出空间发生变化时，引起最小的变动。

以上篇文章的例子来讲，增加或者移除一台服务器时，对原有的服务器和用户之间的映射关系产生的影响最小。

本文我们讨论使用了一致性Hash算法后，扩容和缩容具体会产生怎样的影响，以及在扩容缩容时应该如何做来减少影响。

扩容分析

如果扩容增加一台服务器X，如下图：

我们发现，该扩容对对象A、B、D无影响，只有对象C会被重定位到新的Node X。

因此，在扩容时，仅仅影响扩容服务器所在的位置的后面一台服务器，原本分配到它身上的请求被分流了，使得它的请求减少。

而对于新增加的服务器，接入了其后面一台服务器的部分流量。

在实际生产中，使用了一致性Hash算法后，如果需要增加一台服务器X，只需要将其插入位置后面的服务器C的内容拷贝到服务器X上一份即可。

更精细化的操作可以将服务器C的数据按照新的Hash输出结果分摊到服务器C和服务器X这两台服务器上，这样可以避免数据冗余，但操作相对繁杂一些。

缩容分析

假如服务器C被缩容摘除，则对数据对象A、B、D不会产生任何影响。只有C对象被重定位到服务器D上。

而事实上，C对象对应的Node C不存在了，因此无论如何C都会受到影响。同时，会对服务器D产生影响，因为原本分配到服务器C上的流量会被转到它的身上，使其压力增大。

在具体生产操作中，如果需要缩容服务器C，则需要将该服务器C的内容拷贝到其后面的服务器D上。这样，由服务器C转接过来的流量还可以访问到对应的数据。

什么是一致性Hash算法？

Sat, 24 Nov 2018 00:00:00 +0000

Hash算法

说起Hash算法，我们都是熟悉的，它是一种摘要算法，即根据原有的内容产生一个简短的摘要结果。摘要结果跟原内容是相关的，原内容的改变（极大概率）会导致摘要内容的改变。这里说的极大概率会改变是因为这取决于该Hash算法的输出空间的大小：输出空间小了，则可能出现改变后的Hash结果与原Hash结果恰好相等的情况；而输出空间越大，上述情况发生的概率则越小。

假设输入输出都是一个数字，那么我们可以定义一个简单的Hash算法：

private final int size = 7;

public int simpleHash(int value) {
    return value%size;
}

当一个值value输入时，该算法会输出0到6之间的自然数。

Hash算法的使用与问题

Hash算法的使用非常广泛，例如对一段信息生成Hash值后，可以作为校验信息是否发生变更的依据；通过Hash算法，将请求均匀地分配到应用服务器上；使用Hash算法，确保同样的用户总是访问同一个服务器等。

但是，Hash算法也存在一定的局限性。例如，我们有0-6共7台服务器，通过我们上一节的Hash算法将用户id(自然数)作为输入，得到一个服务器编号。然后将用户的信息近似均匀地分配到这7台服务器上，从而实现负载均衡。

假如这时5号服务器出现故障，我们要将其下线，于是：

private final int size = 6;

这时我们发现，用户id输入后，该Hash算法输出的结果与原来相差极大，使得大量用户无法访问到原来的服务器，这并不是我们想见到的。例如，28号用户，原来28%7=0，映射到0号服务器，现在则映射到了28%6=4，映射到了4号服务器。而原来的0号服务器是存在的，该28号用户应依旧分配到0号服务器才对。

当然，随着用户增多，我们增加一台服务器时，也会引发相同的问题。此时一般需要进行重新Hash操作，对各个服务器上的数据进行重新分配，此操作几乎涉及所有服务器上的所有数据，工作量极大。