Demo入门Mycat

前言
Mycat是一个开源的分布式数据库系统,是一个实现了MySQL协议的的Server,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生(Native)协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里;
下面将从Mycat提供的demo来简单分析一下:

准备
1.Jdk1.7.0_80
2.Mysql 5.5
3.Mycat-server-1.6-release http://dl.mycat.io/1.6-RELEASE/
4.Mycat配置后端的writeHost和readHost,配置成本机即可,在conf/schema.xml下:

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="localhost:3306" user="root"
				   password="root">
			<!-- can have multi read hosts -->
			<readHost host="hostS2" url="localhost:3306" user="root" password="root" />
		</writeHost>
	</dataHost>

5.配置日志等级为debug,在conf/log4j2.xml下:

<asyncRoot level="debug" includeLocation="true">
     <AppenderRef ref="Console" />
     <AppenderRef ref="RollingFile"/>
</asyncRoot>

启动Mycat
1.启动Mycat,运行bin/startup_nowrap.bat可执行文件
2.连接Mycat服务器,默认端口是8066

C:\Users\hui.zhao.cfs>mysql -uroot -proot -P8066 -h127.0.0.1

3.简单查看Mycat服务器,包括数据库,数据表

mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB   |
+----------+
1 row in set (0.00 sec)

mysql> use TESTDB;
Database changed
mysql> show tables;
+------------------+
| Tables in TESTDB |
+------------------+
| company          |
| customer         |
| customer_addr    |
| employee         |
| goods            |
| hotnews          |
| orders           |
| order_items      |
| travelrecord     |
+------------------+
9 rows in set (0.01 sec)

以上显示的数据库和数据表,都配置在conf/schema.xml中,相关的还有conf/server.xml和conf/rule.xml。
schema.xml主要定义了逻辑库,逻辑表等相关信息;
server.xml主要配置了一些系统参数;
rule.xml主要定义了分库分表的一些规则。
下面主要以schema.xml中配置的默认的逻辑库和逻辑表,来做一些简单的操作了解Mycat。

Demo展示
schema.xml定义了后台的Mysql数据库db1,db2,db3;所以首先需要在Mysql数据库中创建这三个数据库;

1.表travelrecord(分片规则),定义如下:

<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

name:定义了逻辑表的表名;
dataNode:定义这个逻辑表所属的dataNode,需要和dataNode标签中name属性的值相互对应,也就是对应的后台的数据库;
rule:用于指定逻辑表要使用的规则名字,规则名字在rule.xml中定义;

1.1分别在三个数据库中创建表

CREATE TABLE `travelrecord` (
  `id` int(11) NOT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

1.2在rule.xml中定义的规则

<tableRule name="auto-sharding-long">
	<rule>
		<columns>id</columns>
		<algorithm>rang-long</algorithm>
	</rule>
</tableRule>
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
	<property name="mapFile">autopartition-long.txt</property>
</function>

此分片规则提前规划好分片字段某个范围属于哪个分片,具体定义在conf/autopartition-long.txt文件中;并且指定了id作为分片字段;

1.3模拟id范围插入数据

insert into travelrecord (id,name) values(1,'hehe');
insert into travelrecord (id,name) values(5000001,'hehe');
insert into travelrecord (id,name) values(10000001,'hehe');

1.4查询数据,并观察日志

select * from travelrecord where id=5000001;
select * from travelrecord;

id=5000001应该路由到dn2节点,查看日志:

route={1 -> dn2{SELECT * FROM travelrecord WHERE id = 5000001 LIMIT 100}

无查询条件的应该路由到三个节点,查看日志:

route={1 -> dn1{SELECT * FROM travelrecord LIMIT 100} 
   2 -> dn2{SELECT * FROM travelrecord LIMIT 100}
   3 -> dn3{SELECT * FROM travelrecord LIMIT 100}

2.表company(全局表),定义如下:

<table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />

2.1分别在三个数据库中创建表

CREATE TABLE `company` (
  `ID` int(11) NOT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

2.2逻辑表类型
type定义了逻辑表的类型,目前逻辑表只有“全局表”和”普通表”两种类型,如果是全局表,所有的分片都有一份相同的数据;

insert into company (ID,name) values(1,'hehe');

查看日志如下:

route={
   1 -> dn1{insert into company (ID,name) values(1,'hehe')}
   2 -> dn2{insert into company (ID,name) values(1,'hehe')}
   3 -> dn3{insert into company (ID,name) values(1,'hehe')}
} rrs

2.3查看全局表

select * from company;

多次执行查看全局表,查看日志会发现每次从三个分片中随机取一个执行查询语句;以下三条日志是执行三次的结果:

route={1 -> dn3{SELECT * FROM company LIMIT 100}} rrs
route={1 -> dn2{SELECT * FROM company LIMIT 100}} rrs
route={1 -> dn1{SELECT * FROM company LIMIT 100}} rrs

3.表hotnews(自增主键),定义如下:

<table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="mod-long" />

3.1分别在三个数据库中创建表

CREATE TABLE `hotnews` (
  `id` bigint(20) DEFAULT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

3.2自增长主键
在分库分表的情况下,默认的MySQL的自增长主键无法满足主键的唯一性,Mycat提供了全局序列号的功能,来保证表主键的唯一性;
Mycat提供了多种全局序列号的方式包括:本地文件方式,数据库方式,本地时间戳方式,分布式ZK ID 生成器,Zk 递增方式;
server.xml默认的的sequnceHandlerType=2,表示本地时间戳方式,具体使用如下:

insert into hotnews (id,name) values(next value for MYCATSEQ_GLOBAL,'hehe');

同时配置了rule=”mod-long”,指定的分片规则为取模,可以查看数据结果,在db1下插入了如下数据:

968418212909813760	hehe

4.表employee(配置primaryKey),定义如下:

<table name="employee" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile" />

4.1分别在三个数据库中创建表

CREATE TABLE `employee` (
  `id` int(11) NOT NULL,
  `sharding_id` int(11) NOT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

4.2插入数据
employee指定的分片规则是sharding-by-intfile,具体conf/rule.xml:

<tableRule name="sharding-by-intfile">
	<rule>
		<columns>sharding_id</columns>
		<algorithm>hash-int</algorithm>
	</rule>
</tableRule>
<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
	<property name="mapFile">partition-hash-int.txt</property>
</function>

使用sharding_id作为分片字段,分片规则是“分片枚举”:通过在配置文件中配置可能的枚举 id,自己配置分片,此处配置在conf/partition-hash-int.txt中,准备插入两条数据,分别入库dn1和dn2:

insert into employee (id,sharding_id,name) values(1,10000,'hehe0');
insert into employee (id,sharding_id,name) values(2,10010,'hehe1');

4.3primaryKey属性
表示该逻辑表对应真实表的主键,当分片规则使用非主键进行分片的,当使用主键查询时,会将查询语句发送到所有的分片节点上,如果配置了该属性,那么Mycat就会缓存主键和具体dataNode的信息;

select * from employee where id=1;

第一次执行上面的查询语句,查看日志可以发现往2个分片节点上都发送了查询语句:

route={
   1 -> dn1{select * from employee where id=1}
   2 -> dn2{select * from employee where id=1}
} rrs

当第二次执行此查询语句,再查看日志只往一个节点发送了查询语句:

route={
   1 -> dn1{select * from employee where id=1}
} rrs

5.表customer和orders(父子表关系),定义如下:

<table name="customer" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile">
	<childTable name="orders" primaryKey="ID" joinKey="customer_id" parentKey="id">
	</childTable>
</table>

5.1分别在三个数据库中创建表

CREATE TABLE `customer` (
  `id` int(11) NOT NULL,
  `sharding_id` int(11) NOT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
CREATE TABLE `orders` (
  `id` int(11) NOT NULL,
  `customer_id` int(11) NOT NULL,
  `name` varchar(255) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

5.2父子表关系
childTable 标签用于定义 E-R 分片的子表,通过标签上的属性与父表进行关联;
joinKey:插入子表的时候会使用这个列的值查找父表存储的数据节点;
parentKey:属性指定的值一般为与父表建立关联关系的列名。程序首先获取joinkey的值,再通过parentKey属性指定的列名产生查询语句,通过执行该语句得到父表存储在哪个分片上,从而确定子表存储的位置;

5.3模拟数据的插入

insert into customer (id,sharding_id,name) values(1,10000,'hehe0');
insert into customer (id,sharding_id,name) values(2,10010,'hehe1');

分别通过分片规则往dn1和dn2上面各自插入了一条数据,下面再往orders插入数据看是否可以插入到关联的节点上;

insert into orders (id,customer_id,name) values(1,1,'order1');

customer_id=1对应的customer表的id,应该插入到dn1节点上,查看日志:

route={
   1 -> dn1{insert into orders (id,customer_id,name) values(1,1,'order1')}
} rrs

同理指定customer_id=2:

insert into orders (id,customer_id,name) values(2,2,'order1');

route={
   1 -> dn2{insert into orders (id,customer_id,name) values(2,2,'order2')}
} rrs

总结
本文主要从Mycat自带的demo并结合官方提供的文档大概了解了一下Mycat的相关功能,很多功能并没有深入,算是一个简单的入门;后续准备了解对Mycat有更全面的了解,同时能够深入到源码层面。