场景是从MySQL中将数据导入到Redis的Hash结构中。当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中。这样可能没什么错,但是速度会非常慢。而如果能够使MySQL的查询输出数据直接能够与Redis命令行的输入数据协议相吻合,可能就省事多了。
根据测试800w的数据迁移,时间从90分钟缩短到2分钟。
具体案例如下:
MySQL数据表结构:

CREATE TABLE events_all_time (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
action varchar(255) NOT NULL,
count int(11) NOT NULL DEFAULT 0,
PRIMARY KEY (id),
UNIQUE KEY uniq_action (action)
);

Redis存储结构:

HSET events_all_time [action] [count]

下面是重点,能过下面SQL语句将MySQL输出直接变更成redis-cli可接收的格式:

– events_to_redis.sql

SELECT CONCAT(
“*4\r\n”,
‘$’, LENGTH(redis_cmd), ‘\r\n’,
redis_cmd, ‘\r\n’,
‘$’, LENGTH(redis_key), ‘\r\n’,
redis_key, ‘\r\n’,
‘$’, LENGTH(hkey), ‘\r\n’,
hkey, ‘\r\n’,
‘$’, LENGTH(hval), ‘\r\n’,
hval, ‘\r’
)
FROM (
SELECT
‘HSET’ as redis_cmd,
‘events_all_time’ AS redis_key,
action AS hkey,
count AS hval
FROM events_all_time
) AS t

  然后用管道符重定向输出即可:

mysql stats_db –skip-column-names –raw < events_to_redis.sql | redis-cli --pipe

相关文章:

  • 2021-11-19
  • 2021-11-30
  • 2021-10-21
  • 2021-08-16
猜你喜欢
  • 2021-09-01
  • 2022-01-01
  • 2021-05-22
  • 2021-11-19
  • 2021-07-29
  • 2022-12-23
相关资源
相似解决方案