【转载】执行sql文件限制频率避免流控

对于pxc, 为了避免流控, 可以在导入.sql文件时, 先对文件做处理

代码语言：javascript复制

awk '1;NR00==0{print "select sleep(1);"}' xxx.sql > xxx_dba.sql

上面的命令每1000行增加一行​​select sleep(1);​​, 这样执行频率是1k/s

对于mysqldump产生的sql文件, 则需要在导出是指定

代码语言：javascript复制

mysqldump --skip-extended-insert

每行一个insert语句, 之后再使用awk处理

使用pt-fifo-split

代码语言：javascript复制

FLAT_FILE="/tmp/big_file.txt"
FIFO_PATH="${FLAT_FILE}.fifo"
LOAD_FILE="${FLAT_FILE}.load"
CHUNK_SIZE=1000
 
# Split the file
pt-fifo-split --force --lines ${CHUNK_SIZE} ${FLAT_FILE} --fifo ${FIFO_PATH} &
# Sleep 10 seconds to assure ${FIFO_PATH} exists before entering loop
sleep 10
while [ -e ${FIFO_PATH} ]
do
  # Write chunk to disk
  cat ${FIFO_PATH} > ${LOAD_FILE}
  # Load chunk into table
  mysql --database=test 
   --show-warnings 
   -vv < ${LOAD_FILE}
  sleep 1
done

​​http://fuxkdb.com/2018/08/20/执行sql文件限制频率避免流控/​​

sql awk fifo insert

0 人点赞