分库分表方案

本篇只讲方案,不讲原理,原理需要考虑的地方太多,很多关键名词大家叫法也不一样。

暂时只整理了方案部分,其中提到分库分表导致的问题以及解决方案值得仔细看一看,我还没有完全看懂所以暂时先不整理了:)。

1.分库分表方案

1.1. 水平分库

  1. 概念:以字段为依据,按照一定策略(hash、range等),将一个中的数据拆分到多个中。
  2. 结果:
    • 每个结构都一样;
    • 每个数据都不一样,没有交集;
    • 所有并集是全量数据;
  3. 场景:系统总并发量上来了,无法定位到具体表问题,所以分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。
  4. 分析:库多了,io和cpu的压力自然可以成倍缓解,可以简单理解为数据库在处理SQL的时候采用多进程和单进程的区别。

1.2. 水平分表

  1. 概念:以字段为依据,按照一定策略(hash、range等),将一个中的数据拆分到多个中。
  2. 结果:
    • 每个结构都一样;
    • 每个数据都不一样,没有交集;
    • 所有并集是全量数据;
  3. 场景:系统总并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。
  4. 分析:表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担,但是需要考虑分表策略也不能太过复杂,否则反而影响效率。

1.3. 垂直分库

  1. 概念:以为依据,按照业务归属不同,将不同的拆分到不同的中。
  2. 结果:
    • 每个结构都不一样;
    • 每个数据也不一样,没有交集;
    • 所有并集是全量数据;
  3. 场景:系统总并发量上来了,可以定位到具体业务的并发量比重,并且可以抽象出单独的业务模块。
  4. 分析:到这一步,基本上就可以服务化了。例如,随着业务的发展一些公用的配置表、字典表等越来越多,这时可以将这些表拆到单独的库中,甚至可以服务化。再有,随着业务的发展孵化出了一套业务模式,这时可以将相关的表拆到单独的库中,甚至可以服务化。

1.4. 垂直分表

  1. 概念:以字段为依据,按照字段的活跃性,将中字段拆到不同的(主表和扩展表)中。
  2. 结果:
    • 每个结构都不一样;
    • 每个数据也不一样,一般来说,每个表的字段至少有一列交集,一般是主键,用于关联数据;
    • 所有并集是全量数据;
  3. 场景:系统总并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读磁盘数据产生大量的随机读IO,产生IO瓶颈。
  4. 分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。但记住,千万别用join,因为join不仅会增加CPU负担并且会讲两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。

2. 分库分表步骤

根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。

3. 参考

https://www.cnblogs.com/littlecharacter/p/9342129.html#_label3

https://www.cnblogs.com/butterfly100/p/9034281.html