从MySQL到Redis的简单数据库迁移方法

这篇文章主要介绍了从MySQL到Redis的简单数据库迁移方法,注意Redis数据库基于内存,并不能代替传统数据库,需要的朋友可以参考下

从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。

一个约八百万行数据的mysql表，原本导入到redis中需要90分钟，使用这个方法后，只需要两分钟。不管你信不信，反正我是信了。

Mysql到Redis的数据协议

redis-cli命令行工具有一个批量插入模式，是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!

我的统计表：

1. CREATE TABLE events_all_time ( 
2. id int(11) unsigned NOT NULL AUTO_INCREMENT, 
3. action varchar(255) NOT NULL, 
4. count int(11) NOT NULL DEFAULT 0, 
5. PRIMARY KEY (id), 
6. UNIQUE KEY uniq_action (action) 
7. ); 

准备在每行数据中执行的redis命令如下：

HSET events_all_time [action] [count]

按照以上redis命令规则，创建一个events_to_redis.sql文件，内容是用来生成redis数据协议格式的SQL：

-- events_to_redis.sql

1. SELECT CONCAT( 
2. "*4/r/n", 
3. ' 
4. ok, 用下面的命令执行： 
5.  
6. ? 
7.  
8. 1 
9.  
10. mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe 
11.  
12.  
13. 很重要的mysql参数说明： 
14.  
15. --raw: 使mysql不转换字段值中的换行符。 
16.  
17. --skip-column-names: 使mysql输出的每行中不包含列名。 
18.  
19. , LENGTH(redis_cmd), '/r/n', 
20.  
21.  
22. redis_cmd, '/r/n', 
23. ' 
24. ok, 用下面的命令执行： 
25.  
26. ? 
27.  
28. #FormatTableID_2# 
29. 很重要的mysql参数说明： 
30.  
31. --raw: 使mysql不转换字段值中的换行符。 
32.  
33. --skip-column-names: 使mysql输出的每行中不包含列名。 
34.  
35. , LENGTH(redis_key), '/r/n', 
36.  
37.  
38. redis_key, '/r/n', 
39. ' 
40. ok, 用下面的命令执行： 
41.  
42. ? 
43.  
44. #FormatTableID_2# 
45. 很重要的mysql参数说明： 
46.  
47. --raw: 使mysql不转换字段值中的换行符。 
48.  
49. --skip-column-names: 使mysql输出的每行中不包含列名。 
50.  
51. , LENGTH(hkey), '/r/n', 
52.  
53.  
54. hkey, '/r/n', 
55. ' 
56. ok, 用下面的命令执行： 
57.  
58. ? 
59.  
60. #FormatTableID_2# 
61. 很重要的mysql参数说明： 
62.  
63. --raw: 使mysql不转换字段值中的换行符。 
64.  
65. --skip-column-names: 使mysql输出的每行中不包含列名。 
66.  
67. , LENGTH(hval), '/r/n', 
68.  
69.  
70. hval, '/r' 
71. ) 
72. FROM ( 
73. SELECT 
74. 'HSET' as redis_cmd, 
75. 'events_all_time' AS redis_key, 
76. action AS hkey, 
77. count AS hval 
78. FROM events_all_time 
79. ) AS t 

ok, 用下面的命令执行：

1. #FormatTableID_2# 

很重要的mysql参数说明：

--raw: 使mysql不转换字段值中的换行符。

--skip-column-names: 使mysql输出的每行中不包含列名。