Redis槽的作用与分布式存储核心原理解析

// Redis 源码中的槽位计算（cluster.c）
unsigned int keyHashSlot(char *key, int keylen) {
    int s, e; /* start-end indexes of { and } */
    for (s = 0; s < keylen; s++)
        if (key[s] == '{') break;
    
    /* 处理 hash tag 情况：{user1000}.profile 和 {user1000}.age 会落到同槽 */
    if (s == keylen) return crc16(key,keylen) & 0x3FFF;
    
    for (e = s+1; e < keylen; e++)
        if (key[e] == '}') break;
    if (e == keylen || e == s+1) return crc16(key,keylen) & 0x3FFF;
    
    return crc16(key+s+1,e-s-1) & 0x3FFF;
}

// 集群状态中的槽位映射（clusterState 结构体）
clusterNode *slots[16384];  // 槽位到节点的指针数组
unsigned char slots_slots[16384]; // 槽位状态：未分配/导入/迁移中

# 将槽 1000 从节点 A 迁移到节点 B（内部执行流程）
CLUSTER SETSLOT 1000 IMPORTING nodeB_id  # 节点 A 标记槽 1000 正在导入
CLUSTER SETSLOT 1000 MIGRATING nodeA_id  # 节点 B 标记槽 1000 正在迁移
 
# 批量迁移键（每次最多 10 个键，避免阻塞）
MIGRATE nodeB_ip nodeB_port key1 0 5000 KEYS key1 key2 key3

# Python 计算槽位分布（使用 redis-py-cluster）
from rediscluster import RedisCluster
 
startup_nodes = [
    {"host": "127.0.0.1", "port": "7000"},
    {"host": "127.0.0.1", "port": "7001"},
    {"host": "127.0.0.1", "port": "7002"}
]
 
rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)
 
# 查看键的槽位分布
for i in range(10):
    key = f"user:{i}"
    slot = rc.cluster_keyslot(key)
    node = rc.cluster_nodes()[rc.cluster_slots()[slot][0][2]]
    print(f"{key} -> 槽 {slot} -> 节点 {node['host']}:{node['port']}")

// JedisCluster 的槽位缓存机制
private volatile Map<Integer, ConnectionPool> slots = 
    new AtomicReference<>(new HashMap<Integer, ConnectionPool>());
 
// 首次访问后缓存槽位映射
private Connection getConnectionFromSlot(int slot) {
    ConnectionPool pool = slots.get().get(slot);
    if (pool != null) {
        return pool.getResource(); // 直接访问，无重定向
    }
    // 缓存未命中时刷新槽位映射
    return discoverClusterSlots();
}

# 错误示例：跨槽位事务会失败
127.0.0.1:7000> MULTI
OK
127.0.0.1:7000> SET user:1000:name "Alice"  # 槽 9527
QUEUED
127.0.0.1:7000> SET user:2000:age 25        # 槽 1234（不同槽位）
QUEUED
127.0.0.1:7000> EXEC
(error) CROSSSLOT Keys in request don't hash to the same slot
 
# 正确方案：使用 Hash Tag 强制同槽
127.0.0.1:7000> SET {user}:1000:name "Alice"   # 都使用槽 CRC16("user") & 0x3FFF
QUEUED
127.0.0.1:7000> SET {user}:1000:age 25
QUEUED
127.0.0.1:7000> EXEC
1) OK
2) OK

# 在 TRAE IDE 终端中执行
CLUSTER NODES | trae-cluster-viz

【诊断报告】
⚠️ 检测到槽位 8000-9000 热点（QPS 超均值 5 倍）
📍 建议执行：
1. 对热点 key 添加前缀 {prefix} 强制分散槽位
2. 使用 MIGRATE 命令将 8000-8100 迁移至新节点
3. 考虑启用 Redis 7.0 的 slot-based 过期策略
 
【一键修复】已生成迁移脚本：migrate_hot_slots.sh

// 自适应压测程序（根据集群节点数动态调整并发）
func BenchmarkCluster() {
    startupNodes := []string{"127.0.0.1:7000", "127.0.0.1:7001", "127.0.0.1:7002"}
    
    // TRAE IDE 自动注入：根据 CLUSTER SLOTS 结果优化并发度
    concurrency := getOptimalConcurrency(startupNodes) // 返回 3*CPU 核心数
    
    var wg sync.WaitGroup
    for i := 0; i < concurrency; i++ {
        wg.Add(1)
        go worker(i, &wg)
    }
    wg.Wait()
}