数据库分片分库常见问题解决方案

常见的优化数据库结构方法:

  • 字段多的表分解多个表,分库分表
  • 中间表
  • 适当增加冗余字段

接下来具体说下分库分表。

1、垂直分表

表的相关性拆分不同的表,表现形式一张列比较多的表拆分多张子表。

 数据库分片分库常见问题解决方案

特点:

  • 多张子表需要主键,所以主键出现冗余
  • 这种场景使用元表中,尤有些列常用,有些列不常用
  • 查询所有数据要join。2次查询,第一次查询结果集查出关联数据id,再根据id查询相关数据

2、水平分表

通过策略对每一片数据分散不同库。

数据库分片分库常见问题解决方案

特点:

  • 使用场景数据量大
  • 查询多张表需要union
  • 分布式事务,部署,运维难

数据库分片常见实现方案:

  1. 分片在应用端,封装在jar,通过修改或封装JDBC实现
  2. 应用和数据中加中间代理

分片分库面临问题:

  • 跨节点的count,order by,group by以及聚合函数问题。分别在各节点并行查询得到结果,再应用端合并结果
  • 数据迁移,容量规划,扩容等问题。对2的倍数取余分配数据,表级别数据迁移
  • id问题。不能依赖数据库自身的主键生成机制,无法保证全局唯一。snowflake算法解决
  • 分页排序问题。如果排序字段就是分片字段,比较容易定位指定分片。如果不是,在不同结果排序返回,再将不同分片返回的结果排序