分类： 数据库

Java数据库访问的分片技术架构实现

图片来自pixabay.com的spencerlikestorun会员

最近和朋友同事在一起聊天，问起我正在做的项目-数据访问中间件，很多人都有一丝疑惑，这不是重复造轮子的事情么？业界里ORM框架有mybatis/hiberate，分库分表有sharding-jdbc/mycat等等，你们为什么还要新做一个框架？新做的框架有什么不一样？

对于这些问题，我希望通过本文能够帮助解决这些疑惑。本文主要介绍了数据库访问的技术架构，然后讨论了分片在不同架构层级的技术实现方案，对标业界各个数据库访问中间件，相互进行比较，分析各种架构的实现差别和优缺点。

1. 什么是数据库分片

传统关系型数据库集中存储数据到单一节点，单表可以存储达数亿行的数据记录，通过主从备份作为灾备方案，保证数据的安全性，这基本可以覆盖大多数的应用场景。但是，随着互联网技术的发展，海量数据和高并发访问的应用场景日益增多，单表数据记录在突破一定阈值之后，其性能和可用性大幅下降。为了解决这个问题，将单一节点的数据拆分存储到多个数据库或表，即分库分表，使得关系型数据库能够存储的数据量阈值上限扩大1-2个数量级，从而满足业务需求。

数据库的分片拆分有两种方式，

  1. 按照业务划分的垂直拆分，将不同业务、不同模块的数据拆分为不同表。
  2. 按照容量平衡的水平拆分，将同一表的数据按照一定平衡策略，存储到不同数据库和表中。

sql事务特性简介

图片来自pixabay.com的spencerlikestorun会员

Sql事务有原子性、一致性、隔离性、持久性四个基本特性，要实现完全的ACID事务，是以牺牲事务的吞吐性能作为代价的。在有些应用场景中，通过分析业务数据读写，使得可以降低事务的隔离性，容忍相应出现的数据一致性问题，实现事务的高并发、高吞吐、低时延性，这是sql事务优化的最佳实践。本文对sql标准中隔离性级别定义和可能会出现的问题进行一一介绍，最后通过Mysql数据库进行相应的演示。

1. Sql事务特性

业界常用字母缩写ACID描述Sql事务的四个基本特性，这四个字母分别代表为，

  • Atomicity 原子性
  • Consistency 一致性
  • Isolation 隔离性
  • Durability 持久性

下面对这四个特性进行介绍，

  1. 原子性：在一个事务中sql的操作，要不成功提交，要不回滚。当一个事务对数据库有做多项改动，这些改动要不全部一起提交进入数据库，要不就全部回滚，数据库无变化。
  2. 一致性：在事务执行的过程中，数据库一直保持一致性的状态，无论事务是否成功提交或者回滚，或者事务在执行中。当一个事务改动了多个表的记录，查询时要不看到所有变化后的新记录，要不就看到变化前的老记录，不会出现查询出新老记录混合出现的场景。
  3. 隔离性：各个事务之间相互隔离，互不影响，隔离性是通过数据库锁机制实现。要说明的是，隔离性是相对的，在数据库使用过程中，为了实现高并发，会降低事务之间的隔离性，并牺牲一定的数据一致性。更详细的讨论见下文。
  4. 持久性：事务的执行结果具有持久性，一旦事务提交后，其结果将被安全持久化到存储设备上，无论遇到电力中断、系统崩溃、关机、或者其它潜在威胁。