1 为什么要用Hadoop现在是数据大爆炸的年代。在2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。 1扩展：数据大小单位：Byte,KB,MB,GB,TB,PB,EB,ZB,YB,DB,NB 一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输

1 轮询算法概念：按照固定的顺序依次将请求分配给后端服务器 适用场景：适用于服务器处理能力接近，小规模的简单应用场景 代码实现：Next Page 优点：均衡性，简单易用，无状态 缺点：不考虑服务器实时负载；服务器性能差异，会导致服务热点或轻负载；当并发过多会负载服务器热点 实现思路：创建可用服务器列表，记录上一次选择的服务器，模拟请求分发 12345678910111213141516171

Basic Paxos相关概念在Paxos算法中，有三种角色： Proposer Acceptor Learners 在具体的实现中，一个进程可能同时充当多种角色。比如一个进程可能既是Proposer又是Acceptor又是Learner。 还有一个很重要的概念叫提案（Proposal）。最终要达成一致的value就在提案里。 注： 暂且认为『提案=value』，即提案只包含value。在我

概括： Leader选举。选择一台服务器作为leader，心跳监测，如果Leader崩溃则选择一台服务器作为Leader 系统正常运行（日志复制） Leader变化后的安全性和一致性 处理旧Leader 客户端和服务端的交互 配置的变更 服务的状态： 在任何时候，每个服务器都处于三种状态之一： Leader：处理所有客户端交互、日志复制。同时只能有一个Leader Followe

服务的状态 Leader：处理所有客户端的线性写操作，日志复制。同时只能有一个Leader Follower：被动处理Leader请求和客户端读请求 Looking：用来重新选举Leader Observer：特殊节点状态，不参与Leader选举，负责接收客户端读请求 正常情况下，1个Leader，n-1个Follower Leader选举 Epoch > Counter > SI

1 CAP定理 C：Consistency 强一致性 A：Avaliablity 可用性 P：partition Tolerance 分区容错性 2 分布式一致性的三种级别 01 强一致性：系统写入什么，读出来的就是什么 02 弱一致性：不一定可以读取到最新写入的值，也不保证多少时间之后读取到的数据是最新的，只是会尽量保证某个时刻达到数据一致的状态 03 最终一致性：弱一致性的升级版，系统会保证在

概念：为每个服务器分配一个权重值，表示其处理请求的能力，与加权轮询算法类似。不同之处在于服务器的选择是基于当前服务器的活跃连接数进行决策。 适用场景：服务器性能和负载差异较大的场景，适用有不同服务器性能差异和负载波动的情况 代码实现：Next Page 优点：精准负载分配，动态负载分配，避免不活跃的服务器 缺点：算法的复杂性，资源开销，权重设置不准确导致负载不均衡 实现思路： 1.定义一个数据结

概念：一致性哈希算法将所有服务器和数据节点映射到一个虚拟的哈希环上，哈希环的范围通常是0到2^32-1（或其他合适的范围） 适用场景：分布式系统中需要动态增减节点、实现负载均匀和保持数据一致性的场景 优点：整体负载均匀，可扩展性和容错性 缺点：节点倾斜，节点动态变化，哈希函数和哈希内容 实现思路： 1.构建哈希环：哈希环是一个循环数组，所有的服务器节点和请求都要依赖这个数组排序计算 2.哈希映射

概念：基于公平性考虑的P2C算法， 对于每次调用，从可用的服务列表中选择两个节点，然后选择一个“当前正在处理的连接数”较少的那个节点。 使用场景：服务器机器配置比较均匀下，高并发下快速选择负载较轻的服务器。 优点：公平性、均衡性 缺点：随机性，简单的P2C无法考虑服务器的实时负载情况和性能指标 实现思路： 1.获取可用的服务提供列表 2.选择两个随机的服务提供者 3.通过负载指标选择负载较轻的服

概念：为每个服务器分配一个权重值，表示其处理请求的能力，与加权轮询算法类似。不同之处在于选择响应时间短且权重合适的服务来分配。 适用场景：服务器性能和负载差异较大，注重用户体验 代码实现：Next Page 优点：响应时间优化，动态负载适应 缺点：算法的复杂性，资源开销，权重设置不准确导致负载不均衡 实现思路：1.定义一个数据结构：用于保存服务器权重值和最短响应时间数等信息 2.初始化服务器列表