13518219792
网站建设资讯

NEWS

网站建设资讯

多项目百库百表慢日志切割

问题描述：

    多个项目，有些项目分库分表分布在多个节点，因此，对慢日志的切割并且收集对于慢日志分析来说是极其必要的。

实现方案：

    ①环境准备

    Host1 : ftp服务器(192.168.xx.xxx)，用于集中存储各项目每天(可脚本自定义)的日志
    Host2 : MySQL服务器(192.168.xx.xxx)，用于存储配置相关的参数(如需要收集的日志host,user,pwd,日志位置等信息)，之后用于脚本的查询调用。
    Host3 : 执行操作的机器(192.168.xx.xxx) ，即执行脚本设置定时任务的机器

    ②脚本准备

    涉及到两个脚本，logrotate.sh 以及 job.sh
    其中job.sh用于批量执行的mysql中存储的相关host的操作，job.sh调用logrotate.sh
    logrotate.sh用于在各台需要收集日志的机器上实际的执行操作

    mysql配置表结构及数据如下(注意添加一个所有机器都能查询该表的一个账号)：

    多项目百库百表慢日志切割

    多项目百库百表慢日志切割


    job.sh脚本如下：
    

点击(此处)折叠或打开

成都创新互联公司专注于宁县企业网站建设,响应式网站设计,商城网站开发。宁县网站建设公司,为宁县等地区提供建站服务。全流程定制设计，专业设计，全程项目跟踪，成都创新互联公司专业和态度为您提供的服务

  1. #!/bin/bash


  4. mysql_host=192.168.xx.xxx
  5. mysql_port=3456
  6. mysql_user=xxx
  7. mysql_pwd=xxxxxx


  10. function get_info {
  11.     cmd=`which mysql`
  12.     $cmd -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_pwd -BNe "select * from DB_SPLIT_LOG.t_log_info;" | while read line
  13.     do
  14.         host_ip=`echo $line | awk '{print $3}'`
  15.         ssh_user=`echo $line | awk '{print $9}'`
  16.         ssh_pwd=`echo $line | awk '{print $10}'`
  17.         /usr/bin/sshpass -p $ssh_pwd ssh -o StrictHostKeyChecking=no $ssh_user@$host_ip "bash " < logrotate.sh
  18.     done
  19. }

  21. get_info

    logrotate.sh脚本内容如下:

点击(此处)折叠或打开

  1. #!/bin/bash


  4. declare game
  5. declare slow_log
  6. declare ftp_host
  7. declare ftp_user
  8. declare ftp_pwd
  9. declare ssh_pwd
  10. declare local_ip
  11. declare log_name
  12. declare old_dir
  13. declare tmp_conf
  14. declare tran_log_dir
  15. declare tran_log

  17. dev=eth2
  18. mysql_host=192.168.xx.xxx
  19. mysql_port=3456
  20. mysql_user=xxx
  21. mysql_pwd=xxxxx
  22. mysql_db=DB_SPLIT_LOG

  24. date=`date +%Y%m%d`



  28. function get_ip {
  29.     local_ip=`/sbin/ifconfig| grep -A 1 "$dev" | grep -i 'inet addr' | head -1 | awk -F[:] '{print $2}' | cut -d' ' -f1`
  30. }

  32. function get_info {
  33.     cmd=`which mysql`
  34.     argvs=`$cmd -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_pwd -BNe "select * from DB_SPLIT_LOG.t_log_info where host_ip='${local_ip}' limit 1;"`
  35.     game=`echo $argvs | awk '{print $2}'`
  36.     local_ip=`echo $argvs | awk '{print $3}'`
  37.     old_dir=`echo $argvs | awk '{print $4}'`
  38.     slow_log=`echo $argvs | awk '{print $5}'`
  39.     ftp_host=`echo $argvs | awk '{print $6}'`
  40.     ftp_user=`echo $argvs | awk '{print $7}'`
  41.     ftp_pwd=`echo $argvs | awk '{print $8}'`


  44.     log_name=${game}_`date +%Y%m%d`_$local_ip.slow
  45.     tmp_conf=$old_dir/logrotate_${date}.conf
  46.     mkdir -p /tmp/slow_tran_log
  47.     tran_log_dir=/tmp/slow_tran_log
  48.     tran_log=$tran_log_dir/${date}.log
  49. }


  52. function operation_log {
  53.     exec 1>$tran_log
  54.     exec 2>$tran_log
  55. }

  57. function create_rotate_conf {
  58.     echo """
  59.     $slow_log {
  60.         daily
  61.         copytruncate
  62.         dateext
  63.         create 0660 mysql mysql
  64.         olddir $old_dir
  65.         rotate 1
  66.     }
  67.     """ > $tmp_conf
  68. }


  71. function start_logrotate {
  72.     echo ""
  73.     /usr/sbin/logrotate -vf $tmp_conf
  74. }


  77. function change_logname {
  78.     echo ""

  80.     for file in `find $old_dir -maxdepth 1 -type f -name "*slow*${date}*"`
  81.     do
  82.         echo $file
  83.     done
  84.     echo "change log name $file to ${old_dir}/${log_name}"
  85.     mv $file ${old_dir}/${log_name}
  86. }

  88. function ftp_put {
  89.     echo ""
  90.     echo "start ftp put $log_name"
  91.     ftp -in <
  92.     open $ftp_host
  93.     user $ftp_user $ftp_pwd
  94.     mkdir $game
  95.     cd $game
  96.     lcd $old_dir
  97.     mput $log_name
  98.     quit
  99. EOF
  100.     echo "ftp put $log_name over!"
  101. }

  103. function clear_tmp_file {
  104.     echo ""
  105.     echo "clear tmp file"
  106.     cd $old_dir
  107.     echo "cd $old_dir "
  108.     echo "rm -f $tmp_conf "
  109.     echo "rm -f $log_name "
  110.     rm -f $tmp_conf
  111.     rm -f $log_name
  112. }

  114. get_ip
  115. get_info
  116. operation_log
  117. create_rotate_conf
  118. start_logrotate
  119. change_logname
  120. ftp_put
  121. clear_tmp_file
        在Host3上将两个脚本置于一个目录之下，然后添加一个定时任务

        多项目百库百表慢日志切割

        
        在Host2(ftp)上查看操作结果
        
        多项目百库百表慢日志切割


       ③过程描述
        1 .  job.sh 查询DB_SPLIT_LOG.t_log_info表中的所有host_ip ssh_user ssh_pwd ,然后循环远程执行脚本logrotate.sh
        2 . logrotate.sh 首先查询本机ip ，然后根据本机ip获取DB_SPLIT_LOG.t_log_info表中对应的log_dir lot_file game ftp相关信息
        3 . 生成logrotate的配置文件
        4 . 进行切割
        5 . 更改切割出来的日志名称
        6 . 上传到ftp
        7 . 清空临时文件
    
    注意点：logrotate所切割的文件产生的结果必须和源文件在一个分区上(即你切割的结果文件slow.log-2016-10-25和原来的slow.log文件)，不然切割会不成功。

    另 : 该脚本适用于任何日志文件的切割与收集。只需要在DB_SPLIT_LOG.t_log_info表中添加相应的记录即可。



分享文章：多项目百库百表慢日志切割
文章网址：http://cdweb.net/article/jdsoeg.html

其他资讯