vsftp容器启动并内网穿透注意事项

使用镜像：fauria/vsftpd

基本用法

  1. 要开启被动模式，默认应该是开启的PASV_ENABLE=true
  2. 设置被动模式下，使用哪些端口进行数据传输PASV_MIN_PORT和PASV_MAX_PORT，此处的端口范围决定了同时在线数的大小，每一个连接时会占用一个端口。
    注意： PASV_MIN_PORT和PASV_MAX_PORT的端口范围，必须要 容器，宿主机，外网服务器（穿透服务所在的主机） 三者保持相同。否则无法正常映射。
  3. 将21端口随便映射一个端口，用于用户连接。
  4. 设置用户上传文件的默认权限码为022。
  5. 指定被动模式下使用的IP地址为外网服务器地址，即穿透服务所在的主机的地址PASV_ADDRESS=139.198.16.241。（如果不指定，默认会绑定容器的路由IP）
  6. 挂载宿主机的一个目录到vsftp的用户目录，如:-v /data/ftptest:/home/vsftpd/user1 。该命令代表user1用户登陆后使用的主目录映射到宿主机的/data/ftptest目录。

添加用户

如果添加新的用户，要进入容器内部进行添加，然后参考步骤6的方式，将宿主机的某个目录映射到新用户的主目录即可。

1
2
3
4
5
6
docker exec -i -t vsftpd bash
mkdir /home/vsftpd/myuser
echo -e "myuser\nmypass" >> /etc/vsftpd/virtual_users.txt # 注意 用户名和密码之间有个\n
/usr/bin/db_load -T -t hash -f /etc/vsftpd/virtual_users.txt /etc/vsftpd/virtual_users.db
exit
docker restart vsftpd

#权限码说明

权限码 文件夹上传后的权限 文件上传后的权限
077 700 600
022 755 644

（完）

展开全文 >>

nfs搭建和常用命令

配置NFS服务器

  • 执行 yum install nfs-utils rpcbind -y安装nfs环境。rpcbind是依赖。（Debian系执行命令：apt install nfs-kernel-server）
  • 执行 mkdir /root/nfs_root 创建共享目录。（目录名随意，这里只是个例子）。
  • 执行命令 vim /etc/exports，创建 exports 文件，文件内容如下:
    1
    /root/nfs_root/ *(insecure,rw,sync,no_root_squash) # `*` 表示允许所有IP挂载，可以指定为具体的IP或CIDR网段。括号中的参数具体含义参考最后的表格
  • 启动rpc和nfs服务，并设置为开机启动。命令如下：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
      # 开机启动
      systemctl enable rpcbind
      systemctl enable nfs-server
      # 启动服务
      systemctl start rpcbind
      systemctl start nfs-server # nfs 启动后的status为 `active (exited) ` 是正常现象。因为该服务不需要常驻，只需运行一次便可。
      # 重新加载配置
      systemctl reload nfs-server 
      或
      exportfs -r
      ```  
    - 检查配置是否生效，执行`exportfs`命令。如果输出刚才配置的目录，说明已生效。
    - 服务器端防火墙开放111、662、875、892、2049的 tcp / udp 允许，否则远端客户无法连接。

    # 在客户端测试nfs
    - 执行以下命令安装 nfs 客户端所需的软件包。
    yum install -y nfs-utils #Debian系执行命令：apt install nfs-common
    1
    - 执行以下命令检查 nfs 服务器端是否有设置共享目录。（showmount用法参考最后的表格）

    showmount -e $(nfs服务器的IP)

    showmount -e 172.17.216.82

    输出结果如下所示

    Export list for 172.17.216.82:
    /root/nfs_root *
    1
    - 执行以下命令挂载 nfs 服务器上的共享目录到本机路径 `/root/nfsmount`
    mkdir /root/nfsmount

    mount -t nfs $(nfs服务器的IP):/root/nfs_root /root/nfsmount

    mount -t nfs 172.17.216.82:/root/nfs_root /root/nfsmount

    写入一个测试文件

    echo “hello nfs server” > /root/nfsmount/test.txt
    1
    - 登录 nfs 服务器，在 nfs 服务器上执行以下命令，验证文件是否写入成功
    cat /root/nfs_root/test.txt
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33

    # 附录

    - NFS服务程序配置文件的参数：  

      | 参数 | 作用 |
      | - | - |
      | ro | 只读 |
      | rw | 读写 |
      | root_squash（默认） | 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户 |
      | no_root_squash | 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员 |
      | all_squash | 无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户 |
      | no_all_squash（默认）| 访问用户先与本机用户匹配，匹配失败后再映射为匿名用户或用户组 |
      | sync | 同时将数据写入到内存与硬盘中，保证不丢失数据 |
      | async | 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据 |
      | insecure | 非安全模式，允许客户端使用大于1024的端口进行挂载。默认不开启。与`secure`作用相反 |
      | secure（默认） | 安全模式，不允许客户端使用大于1024的端口进行挂载。默认开启。与`insecure`作用相反 |
      | wdelay（默认） | 检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率 |
      | no_wdelay | 若有写操作则立即执行，应与sync配合使用 |
      | subtree_check  | 若输出目录是一个子目录，则nfs服务器将检查其父目录的权限 |
      | no_subtree_check（默认）  | 即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率 |

      更详细的介绍可参考： https://www.golinuxcloud.com/unix-linux-nfs-mount-options-example/  

    - showmount 命令的用法：

      | 参数 | 作用 |
      | - | - |
      | -e | 显示NFS服务器的共享列表 |
      | -a | 显示本机挂载的文件资源的情况NFS资源的情况 |
      | -v | 显示版本号 |

    - 允许多个网段或多个IP的客户端挂载

    下面的配置，表示 /backup 允许172.27.34.0/24和172.27.34.0/24两个网段访问

    [root@centos7 /]# view /etc/exports
    /backup 172.27.34.0/24(rw,sync,no_root_squash)
    /backup 172.27.9.0/24(rw,sync,no_root_squash) 
    1
    2
    3
    4
    ```
    # 下面的配置，表示 /backup 允许172.27.9.17、172.27.9.227、172.27.34.37 IP地址访问
    [root@centos7 /]# view /etc/exports
    /backup  172.27.9.17(rw,sync,no_root_squash) 172.27.9.227(rw,sync,no_root_squash) 172.27.34.37(rw,sync,no_root_squash)

（完）

展开全文 >>

mysql通过binlog恢复数据

前提：

  1. 有最近的数据库全备文件。
  2. 数据库开启了 binlog,且binlog_row_image=FULL binlog_format = row

相关命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
# 查看binlog的开启状态和存放路径
show variables like '%log_bin%';

# 查看所有binlog日志文件列表
show master logs;

# 查看最后一个binlog日志的编号名称及其最后一个操作事件pos结束点的值
show master status; 

# 查看某个binlog日志文件的详情（binlog.000105为对应的日志文件名）
show binlog events in 'binlog.000105';

# 查看某个binlog日志文件的详情，从pos点:8224开始查起，查询10条（binlog.000105为对应的日志文件名）
show binlog events in 'binlog.000105' from 8224 limit 10;

# 刷新日志，此刻开始产生一个新编号的binlog文件(每当mysqld服务重启时，会自动执行刷新binlog日志命令，mysqldump备份数据时加-F选项也会刷新binlog日志)
flush logs;

# 删除 binlog.000058 之前的所有binlog
purge master logs to 'binlog.000058';  

# 删除指定日期之前的所有binlog
purge master logs before '2020-02-01 03:00:00';  

# 清空所有binlog日志命令(慎用！！！)
reset master;

# 设置普通用户只读模式（super用户可读写）
set global read_only=1;

# 解除普通用户只读模式
set global read_only=0;

# 设置所有用户只读模式（慎用，加锁后只能由当前会话解锁，否则只能杀会话进程或重启服务解锁。所有用户只读。详情可参考：https://segmentfault.com/a/1190000010539455）
set global read_only=1;
flush tables with read lock;

# 解除所有用户只读模式
set global read_only=0;
unlock tables;

备份数据库

实例全备（该mysql实例的所有数据库都备份到一个文件）

1
2
mysqldump -uroot -proot -h192.168.1.66 -P31306 -A -F -R -E \
--triggers --hex-blob --flush-privileges --single-transaction --master-data=1 > test-all-bk-0416.sql

缩写说明（逗号前后的指令含义相同）：
-A, –all-databases
-F, –flush-logs
-E, –events
-B, –databases #如果要备份指定的几个库，请将 -B 作为命令的最后一个参数。（-B 参数和重定向符 > 之间的所有参数都会被认为是要备份的库名）
-x, –lock-all-tables
-l, –lock-tables
-R, –routines

-h, –host=value
-u, –user=value
-p, –password[=value]
-P, –port=#
-n, –no-create-db 只导出数据，而不添加CREATE DATABASE 语句。
-t, –no-create-info 只导出数据，而不添加CREATE TABLE 语句。
-d, –no-data 不导出任何数据，只导出数据库表结构
–add-drop-database 每个数据库创建之前添加drop数据库语句。
–add-drop-table 每个数据表创建之前添加drop数据表语句。(默认为打开状态，使用–skip-add-drop-table取消选项)
–add-locks 在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(默认为打开状态，使用–skip-add-locks取消选项)
–single-transaction 适合innodb事务数据库的备份。保证备份的一致性，原理是设定本次会话的隔离级别为Repeatable read，来保证本次会话（也就是dump）时，不会看到其它会话已经提交了的数据。
–master-data 在备份文件中写入备份时的binlog文件，在恢复进，增量数据从这个文件之后的日志开始恢复。值为1时，binlog文件名和位置没有注释，为2时，则在备份文件中将binlog的文件名和位置进行注释

分库全备（为mysql实例的每个库备份为一个文件）

1
2
3
4
5
6
for dbname in ` mysql -uroot -p'123456' -e "show databases;" | grep -Evi "database|infor|perfor"`
do
    mysqldump -uroot -proot -h192.168.1.66 -P31306 -F -R -E \
    --triggers --hex-blob --flush-privileges --single-transaction --master-data=1 \
    -B ${dbname} | gzip >/opt/backup/${dbname}_$(date +%F).sql.gz
done

通过备份文件和binlog恢复数据库

如果发生了误删或误增数据、数据库。可以按照以下步骤进行恢复。

  1. 先将数据库实例设为全局只读（防止有人继续增删改数据）

    1
    2
    # 设置所有普通用户只读模式
    set global read_only=1;

  2. 查看当前最新的binlog日志文件（如果每天都有自动备份，很大概率要使用该binlog文件恢复全备之后到误删之间时间段的数据。如果没有每天备份，那么可能需要不止这一个binlog文件。具体视情况而定）

    1
    2
    3
    4
    5
    6
    7
    8
    show master status;
    mysql> show master status;
    +---------------+----------+--------------+------------------+-------------------+
    | File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
    +---------------+----------+--------------+------------------+-------------------+
    | binlog.000099 | 20042489 |              |                  |                   |
    +---------------+----------+--------------+------------------+-------------------+
    1 row in set (0.00 sec)

  3. 刷新binlog日志，产生一个新的binlog日志文件（防止还原数据操作污染当前的binlog日志，如不刷新，也可将binlog备份一下也行）

    1
    flush logs;

  4. 先通过全备文件恢复数据库到备份的时间点（全备只能全恢复，如果要恢复单个库，可以使用单备单恢复方式，或者将指定数据库的备份语句从全备文件中提取出来，具体可参考本文后面章节）

    1
    2
    # 通过全备文件还原该mysql实例的所有数据库
    mysql -uroot -p123456 < /mnt/all-db_bak.sql

  5. 查看备份文件备份时对应的binlog位置。（还原时将以该位置作为--start-position）

    1
    2
    root@db-tmp-mysql57:/# cat /all-db.bksql | grep -i 'CHANGE MASTER TO MASTER_LOG_FILE' | head -n1
    CHANGE MASTER TO MASTER_LOG_FILE='1.000004', MASTER_LOG_POS=154;

  6. 查询误删数据前对应的binlog位置。（如：此处使用grep以DELETE作为关键字检索，具体视情况而定）

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    root@db-tmp-mysql57:/# mysql -uroot -proot -e "show binlog events in '1.000004'" | grep -i 'DELETE'
    mysql: [Warning] Using a password on the command line interface can be insecure.
    1.000004        1973    Rows_query      1       2082    # /* ApplicationName=DataGrip 2020.3.1 */ DELETE FROM `test-db3`.table_3 WHERE id = 333
    1.000004        2139    Delete_rows     1       2193    table_id: 257 flags: STMT_END_F
    1.000004        2193    Rows_query      1       2301    # /* ApplicationName=DataGrip 2020.3.1 */ DELETE FROM `test-db3`.table_3 WHERE id = 33
    1.000004        2358    Delete_rows     1       2402    table_id: 257 flags: STMT_END_F
    1.000004        2402    Rows_query      1       2509    # /* ApplicationName=DataGrip 2020.3.1 */ DELETE FROM `test-db3`.table_3 WHERE id = 3
    1.000004        2566    Delete_rows     1       2609    table_id: 257 flags: STMT_END_F
    1.000004        2609    Rows_query      1       2718    # /* ApplicationName=DataGrip 2020.3.1 */ DELETE FROM `test-db3`.table_3 WHERE id = 334
    1.000004        2775    Delete_rows     1       2830    table_id: 257 flags: STMT_END_F

  7. 根据以上操作能够确定我们的全备文件内容对应binlog文件1.000004的154位置，而我们误删数据是在1.000004的1973位置。所以在我们通过全备文件还原数据库后，即代表我们的数据库状态已经恢复到了binlog文件1.000004的154位置。此时我们将154至1973之间的数据通过binlog还原，即可让数据库恢复到，误删数据前的状态。命令如下：

    1
    2
    root@db-tmp-mysql57:/# mysqlbinlog  --start-position=1003 --stop-position=1973 1.000004 | mysql -uroot -proot
    mysql: [Warning] Using a password on the command line interface can be insecure. # 如果在命令中指定密码，会收该条警告。

  8. 通过mysqlbinlog恢复数据，可以只恢复指定的数据库，通过 -d 参数指定即可。如只恢复 test-db3 数据库，则命令如下：

    1
    2
    root@db-tmp-mysql57:/# mysqlbinlog  -d test-db3 --start-position=1003 --stop-position=1973 1.000004 | mysql -uroot -proot
    mysql: [Warning] Using a password on the command line interface can be insecure. # 如果在命令中指定密码，会收该条警告。

  9. 因为通过binlog恢复数据，本质上是通过回放binlog文件中记录的SQL语句来进行的恢复。所以，可以通过，如：--stop-position=1 --stop-position=100或--start-datetime="2016-09-25 21:57:19" --stop-datetime="2016-09-25 21:58:41参数来回放任意区间的SQL，实现对指定操作位置区间、指定时间段的数据恢复，可根据情况灵活使用。比如上面的例子中，如果在误删数据后，又插入了新的数据，那么想要跳过误删操作，将误删之后添加的数据也进行还原。则可以找出误删数据的截止点，如2775,然后将2775之后操作也通过binlog进行回放，则可将误删前和误删后的数据都还原。如：

    1
    2
    3
    # 将误删操作之后新增的数据也还原到 test-db3 数据库
    root@db-tmp-mysql57:/# mysqlbinlog  -d test-db3 --start-position=2775 1.000004 | mysql -uroot -proot
    mysql: [Warning] Using a password on the command line interface can be insecure. # 如果在命令中指定密码，会收该条警告。

  10. 以上过程都是基于单个 binlog 文件进行的数据恢复。如果我们要恢复的操作涉及到多个binlog文件，则将多个binlog文件用空格隔开即可。如：备份文件是很长时间之前的，在这段时间binlog日志已经滚存了好几个文件了。这个时候在通过备份文件还原后，就要重放好几个binlog文件才能使数据库恢复到最新的状态。如：

    1
    mysqlbinlog  --start-position=27284 binlog.001002 binlog.001003 binlog.001004 | mysql --host=host_name -u root -p

  11. 数据还原成功后，可将数据库做一次全新的全备，然后通过下方的SQL命令，清空老旧的binlog日志释放磁盘空间（推荐）。

    1
    2
    3
    4
    5
    6
    # 刷新binlog日志，产生一个新的binlog日志文件
    flush logs;
    # 查看当前正在使用的binlog日志
    show master status;
    # 删除 binlog.000058 之前的所有binlog
    purge master logs to 'binlog.000058';

  12. 如果通过远程binlog还原远程数据库，则在命令中添加相关的远程地址、端口和 --read-from-remote-server（或-R）选项即可，如果binlog已经拷贝到本地，则不需加该选项。如：

    1
    2
    mysqlbinlog -uroot -pserver,test@pass -h192.168.1.66 -P31306 --read-from-remote-server -d test-db3 --start-position=1003 --stop-position=1973 1.000004 | mysql -uroot -pserver,test@pass -h192.168.1.66 -P31306

  13. 如果想要审阅将binlog文件中的日志（如：查找一些关键操作），可将其解析易于阅读的格式，如：

    1
    2
    3
    4
    # 将本地/data/mysql_data/bin.000008文件中针对EpointFrame数据库09-25 21:57:19之后的操作，解析成易读格式并输出到本地 /opt/sql.log 文件
    mysqlbinlog /data/mysql_data/bin.000008 --database EpointFrame --base64-output=decode-rows -vv  --start-datetime="2016-09-25 21:57:19"   |grep -C 1 -i “delete from Audit_Orga_Specialtype” > /opt/sql.log
    # 将远程mysql的 binlog.000099 文件中针对zuihou_base_0000数据库4月14号之后的操作，解析成易读格式输出到本地根目录下的 wwp2.binlog 文件
    mysqlbinlog -uroot -pserver,test@pass -h192.168.1.66 -P31306 --read-from-remote-server binlog.000099 --base64-output=decode-rows -vv  --start-datetime="2021-04-14 00:00:00" -d zuihou_base_0000 > /wwp2.binlog

参数解释：

-v 参数： 显示sql语句
-vv 参数： 显示sql语句和字段类型
–base64-output参数： 用来控制binlog部分是否显示出来的，指定为decode-rows表示不显示binglog部分
grep -C 1 显示符合查询条件的当前行，及该行前后各一行的数据
grep -i 查询时忽略大小写

mysqlbinlog –no-defaults –skip-gtids=true

是否使用–skip-gtids=true 参数，要根据情况来定；
第一种情况：
如果我们是要恢复数据到源数据库或者和源数据库有相同 GTID 信息的实例，那么就要使用该参数。如果不带该参数的话，是无法恢复成功的。因为包含的 GTID 已经在源数据库执行过了，根据 GTID 特性，一个 GTID 信息在一个数据库只能执行一次，所以不会恢复成功。

第二种情况：
如果是恢复到其他实例的数据库并且不包含源实例的 GTID 信息，那么可以不使用该参数，使用或者不使用都可以恢复成功。

一般如果我们基于全备文件和干净的binlog日志（未被还原操作污染过的binlog）进行数据还原时，都不需要加 –skip-gtids=true 参数。

是否使用–no-defaults参数：
如果命令报错 mysqlbinlog: [ERROR] unknown variable ‘default-character-set=utf8mb4’ 则可以使用 –no-defaults 跳过该错误。

从全备文件中提取单备文件

从全备文件中提取单备文件（从所有数据库备份文件中提取出其中一个数据库的备份文件）

1
2
3
4
5
# 从全备文件中提取某一个数据库的备份文件（下面示例语句从全备文件中提取test-db3数据库的备份内容到一个新的单备文件）
sed -n '/^-- Current Database: `test-db3`/,/^-- Current Database: `/p' 0420-temp-all.bksql > 0420-temp-test-db3.bksql

# 通过单备文件还原test-db3数据库
mysql -uroot -p123456 < /0420-temp-test-db3.bksql

注意： 如果单备文件是手动从全备提取的，为保证顺利还原，请将全备文件头部和底部的注释，复制到提取出的单备文件中。可避免timestamp类型字段还原后，时间错误问题。如果不是手动提取的，则不用关心。
注释内容大致如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 将以下内容从全备文件的头部复制到手动提取的单备文件头部
/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
 SET NAMES utf8mb4 ;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!50606 SET @OLD_INNODB_STATS_AUTO_RECALC=@@INNODB_STATS_AUTO_RECALC */;
/*!50606 SET GLOBAL INNODB_STATS_AUTO_RECALC=OFF */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

# 将以下内容从全备文件的尾部复制到手动提取的单备文件尾部
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
/*!50606 SET GLOBAL INNODB_STATS_AUTO_RECALC=@OLD_INNODB_STATS_AUTO_RECALC */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

-- Dump completed on 2021-04-20 11:53:40

从全备或单备文件中提取单表的备份数据

  1. 从全备份中提取出该表的建表语句
    1
    sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `user_online`/!d;q' all_database_bak_471_2017-12-04_15_36_38.sql > user_online.sql &
  2. 提取该表的insert into语句
    1
    grep -i 'INSERT INTO `user_online`'  all_database_bak_471_2017-12-04_15_36_38.sql >> user_online.sql &
  3. 将全备文件头部和底部的注释，复制到提取出的单表备份文件中
    注释内容大致如下：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    # 将以下内容从全备文件的头部复制到手动提取的单表备份文件头部
    /*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
    /*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
    /*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
     SET NAMES utf8mb4 ;
    /*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
    /*!40103 SET TIME_ZONE='+00:00' */;
    /*!50606 SET @OLD_INNODB_STATS_AUTO_RECALC=@@INNODB_STATS_AUTO_RECALC */;
    /*!50606 SET GLOBAL INNODB_STATS_AUTO_RECALC=OFF */;
    /*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
    /*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
    /*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
    /*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

    # 将以下内容从全备文件的尾部复制到手动提取的单表备份文件尾部
    /*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
    /*!50606 SET GLOBAL INNODB_STATS_AUTO_RECALC=@OLD_INNODB_STATS_AUTO_RECALC */;

    /*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
    /*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
    /*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
    /*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
    /*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
    /*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
    /*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

    -- Dump completed on 2021-04-20 11:53:40
  4. 导入到对应的库中
    1
    mysql -uroot -p < user_online.sql
  5. 查看数据，检查导入效果
    1
    2
    3
    4
    5
    6
    7
    8
    9
    mysql> select count(*) from user_online;
    +----------+
    | count(*) |
    +----------+
    |        9 |
    +----------+
    1 row in set (0.01 sec)

    # 已经恢复完毕

（完）

展开全文 >>

mysql定期备份脚本

mysql定期全量加增量备份脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
#!/bin/bash
##########################################################
#        数据库自动备份脚本（仅支持数据库服务在本机）            #
##########################################################
# 备份策略：                          #
# 7天1全备，1天1增备，每次增备时都会     #
# 清空14天之前的binlog(可按需调整)      #
#####################################
# 可以将下面这段被注释的语句保存为一个测试脚本进行测试。
# 该测试逻辑，是通过循环修改系统时间，模拟一个月的备份过程。
########测试脚本-START##########
# #!/bin/bash
# for day in {1..30}
# do
#    date -s "2021-04-$day 12:00:00"
#    /bin/bash 当前备份脚本.sh
# done
########测试脚本-END############
# 可以通过下面这段命令，使用crontab将备份脚本加入定时任务
########使用crontab将脚本加入定时任务-START#######
# crontab -e
# 0 3 * * *  /bin/bash 当前备份脚本.sh > /dev/null 2>&1 空格
# 编辑定时任务的语句最后加个空格，不然有些机器不能执行脚本
########使用crontab将脚本加入定时任务-END#########

# 开启 alias
shopt -s expand_aliases
# 将“检查命令执行结果的逻辑”封装为一个别名（该别名包含return语句，仅能在function中使用）
alias CHECK_RETURN='{
  result=$?
  if [ $result -ne 0 ];then
    read errMsg
    echo `date +%Y-%m-%d_%H:%M:%S` ERROR：$errMsg
    return $result
  fi
}<<<'
# 将自定义echo格式封装为别名
alias ECHO='{
  read msg
  echo `date +%Y-%m-%d_%H:%M:%S` MESSAGE：$msg
}<<<'
# 变量定义区域
DB_USER='root'
DB_PASSWORD='test9D_Pass'
DB_PORT='4400'
DB_HOST='192.168.1.66'
DB_BIN='/usr/bin'
BACKUP_DIR_BASE="/data/mysql-backup/local_temp"
BACKUP_LOG="${BACKUP_DIR_BASE}/backup.log"
BACKUP_DIR_LATEST="${BACKUP_DIR_BASE}/backup_latest"
BACKUP_DIR_OLDER="${BACKUP_DIR_BASE}/backup_older"
BACKUP_CONFIG_FILE=$BACKUP_DIR_LATEST"/db-backup.conf"
#全备时间 0代表周日
FULL_BACKUP_DAY='0'
TODAY=`date +%w`
DATE=`date +%Y%m%d`
CURRENT_TIME="date +%Y-%m-%d_%H:%M:%S"

# 增量备份
function INCREASE_BACKUP(){
  ECHO "开始数据库增量备份"
  local BINLOG_BASENAME=`$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show variables like 'log_bin_basename'" | awk '{print $2}' |tail -n1`
  CHECK_RETURN "查询binlog目录失败！"
  local BINLOG_PATH=${BINLOG_BASENAME%/*}
  if [ ! -d "$BINLOG_PATH" ]; then
      ECHO "未找到有效的binlog目录：$BINLOG_PATH"
      return 1
  fi
  if [[ ! -r $BACKUP_CONFIG_FILE ]];then
    ECHO "错误- $BACKUP_CONFIG_FILE 配置文件不存在或不可读。"
    return 1
  fi
  # 读取配置文件，获取开始备份的起始文件名
  BINLOG_FILE_BEGIN=$(tail -n1 $BACKUP_CONFIG_FILE | awk '{print $2}')
  ECHO "读取配置文件，获取开始备份的起始文件名为：$BINLOG_FILE_BEGIN"
  # 刷新日志，生成新的 binlog
  $DB_BIN/mysqladmin -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST flush-logs
  CHECK_RETURN "刷新binlog日志错误！"
  ECHO "刷新日志，生成新的 binlog 成功。"
  # 取最新的 binlog 文件名，作为备份截止文件
  local BINLOG_FILE_BEFORE_END=`$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master status" | awk '{print $1}' | tail -n1`
  CHECK_RETURN "查询最新的binlog文件名失败！"
  ECHO "获取最新的 binlog 文件名为：$BINLOG_FILE_BEFORE_END"
  # 增量备份 binlog
  local IS_BEGIN_BACKUP=0
  local BACKUP_FILES=""
  for i in `$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master logs" | awk '{print $1}' | tail -n +2`
  do
    if [[ $BINLOG_FILE_BEGIN == $i ]];then
      IS_BEGIN_BACKUP=1
    fi
    if [[ $IS_BEGIN_BACKUP == 1 && $i != $BINLOG_FILE_BEFORE_END ]]; then
        BACKUP_FILES+=" $i"
    fi
  done
  # 打包压缩 binlog
  if [[ ${BACKUP_FILES// /} == "" ]]; then
      ECHO "错误-没有有效的binlog,迭代binlog错误。"
      return 1
  fi
  # 适用于mysql服务在本机的binlog打包
  tar -zcf $BACKUP_DIR_LATEST/binlog_daily_$DATE.tar.gz  -C $BINLOG_PATH $BACKUP_FILES
  CHECK_RETURN "增备打包 binlog 时发生错误！"
  ECHO "数据库增量备份执行完成。成功打包文件：$BACKUP_DIR_LATEST/binlog_daily_$DATE.tar.gz，包含 binlog ：$BACKUP_FILES"
  # 将最新的 binlog 文件名写入 config 配置文件
  echo "`$CURRENT_TIME`        $BINLOG_FILE_BEFORE_END         INCREASE" >> $BACKUP_CONFIG_FILE
  CHECK_RETURN "更新 $BACKUP_CONFIG_FILE 配置文件失败！"
  ECHO "更新 $BACKUP_CONFIG_FILE 配置文件成功。"
}
# TODO 全量备份
function FULL_BACKUP() {
    ECHO "开始数据库全量备份"
    $DB_BIN/mysqldump -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -A -F -R -E --triggers --hex-blob --flush-privileges --single-transaction --master-data=2 | gzip > $BACKUP_DIR_LATEST/db_fullbak_$DATE.sql.gz
    CHECK_RETURN "数据库全量备份命令执行失败！"
    ECHO "数据库全量备份执行完成。成功打包 SQL 文件：$BACKUP_DIR_LATEST/db_fullbak_$DATE.sql.gz"
    # 取最新的 binlog 文件名，作为备份截止文件
    local BINLOG_FILE_BEFORE_END=`$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master status" | awk '{print $1}' | tail -n1`
    CHECK_RETURN "查询最新的binlog文件名失败！"
    ECHO "获取最新的 binlog 文件名为：$BINLOG_FILE_BEFORE_END"
    # 将最新的 binlog 文件名写入 config 配置文件
    echo "    BACKUP_TIME           BINLOG_END_BEFORE        BACKUP_MODEL" >> $BACKUP_CONFIG_FILE
    echo "`$CURRENT_TIME`        $BINLOG_FILE_BEFORE_END         FULL" >> $BACKUP_CONFIG_FILE
    CHECK_RETURN "更新 $BACKUP_CONFIG_FILE 配置文件失败！"
    ECHO "更新 $BACKUP_CONFIG_FILE 配置文件成功。"
}
# 检测数据库服务的状态
function DB_SERVER_CHECK(){
    $DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e ""
    CHECK_RETURN "数据库服务不能正常连接！"
    ECHO "数据库服务正常可连接。"
}
# 检测并创建备份目录
function BACKUP_DIR_CREATE(){
    if test -d $BACKUP_DIR_LATEST;then
        ECHO "$BACKUP_DIR_LATEST 检测到目录已存在，即将执行后续逻辑。"
    else
        ECHO "$BACKUP_DIR_LATEST 目录不存在，即将创建。"
        mkdir -pv $BACKUP_DIR_LATEST
        CHECK_RETURN "$BACKUP_DIR_LATEST 目录创建失败！"
        ECHO "$BACKUP_DIR_LATEST 目录创建成功。"
    fi

    if test -d $BACKUP_DIR_OLDER;then
        ECHO "$BACKUP_DIR_OLDER 检测到目录已存在，即将执行后续逻辑。"
    else
        ECHO "$BACKUP_DIR_OLDER 目录不存在，即将创建。"
        mkdir -pv $BACKUP_DIR_OLDER
        CHECK_RETURN "$BACKUP_DIR_OLDER 目录创建失败！"
        ECHO "$BACKUP_DIR_OLDER 目录创建成功。"
    fi
}
# 检测 binlog 是否开启
function BINLOG_EXIST(){
    local BINLOG_OPEN=`mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show variables like 'log_bin'" | tail -n +2 | awk '{print $2}'`
    CHECK_RETURN "查询 binlog 日志状态出错！"
    if [[ $BINLOG_OPEN == "ON" ]];then
        ECHO "检测到 BINLOG 日志为打开状态。"
        return 0
    fi
    ECHO "检测到 BINLOG 日志为关闭状态。"
    return 1
}
# 归档7天以前的备份，清空14天以前的备份
function BACKUP_CLEANER(){
    if [ "`ls -A $BACKUP_DIR_LATEST`" == "" ]; then
        ECHO "$BACKUP_DIR_LATEST 备份目录为空，没有要归档的文件"
    else
      tar -zcf $BACKUP_DIR_OLDER/db_archive_$DATE.tar.gz  -C $BACKUP_DIR_LATEST .
      CHECK_RETURN "$BACKUP_DIR_LATEST 归档失败！"
      ECHO "$BACKUP_DIR_LATEST 归档完成"
      rm -rf $BACKUP_DIR_LATEST/*
      CHECK_RETURN "$BACKUP_DIR_LATEST 清空失败！"
      ECHO "$BACKUP_DIR_LATEST 清空完成"
    fi

    local CLEAN_FILES=`find $BACKUP_DIR_OLDER -mtime +14 -exec ls -A {} \;`
    if [ "$CLEAN_FILES" == "" ]; then
        ECHO "$BACKUP_DIR_OLDER 目录中，没有要清空的14天以前的旧备份文件"
    else
      find $BACKUP_DIR_OLDER -mtime +14 -exec rm -fr {} \;
      CHECK_RETURN "$BACKUP_DIR_OLDER 清空14天以前的备份失败！"
      ECHO "$BACKUP_DIR_OLDER 清空14天以前的备份成功。"
    fi

}
# 备份方法
function BACK_UP() {
    # 备份前的各种必要检测
    DB_SERVER_CHECK
    CHECK_RETURN "执行中断，退出脚本！"
    BINLOG_EXIST
    CHECK_RETURN "执行中断，退出脚本！"
    # 如果今天是全备日或者备份目录为空，则执行全备，否则执行增备
    if [[ $TODAY == $FULL_BACKUP_DAY || "`ls -A $BACKUP_DIR_LATEST`" == "" ]]; then
        BACKUP_CLEANER
        CHECK_RETURN "执行中断，退出脚本！"
        FULL_BACKUP
        CHECK_RETURN "执行中断，退出脚本！"
    else
      INCREASE_BACKUP
      CHECK_RETURN "执行中断，退出脚本！"
    fi
    ECHO "备份脚本顺利执行完成。"
}
# 主函数
function MAIN() {
# 首先检测创建备份目录，否则无法写日志，也无法创建备份文件
BACKUP_DIR_CREATE
# 执行备份逻辑
BACK_UP >> $BACKUP_LOG # 输出到日志文件
#BACK_UP # 输出到标准输出
}

# 调用主函数
MAIN

mysql定期全量加增量备份脚本-增强版

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
#!/bin/bash
#######################################################################
#        数据库自动备份脚本-增强版（支持备份本地数据库和远程数据库）  #
#######################################################################
# 备份策略：                          #
# 7天1全备，1天1增备，每次增备时都会     #
# 清空14天之前的binlog(可按需调整)      #
#####################################
# 可以将下面这段被注释的语句保存为一个测试脚本进行测试。
# 该测试逻辑，是通过循环修改系统时间，模拟一个月的备份过程。
########测试脚本-START##########
# #!/bin/bash
# for day in {1..30}
# do
#    date -s "2021-04-$day 12:00:00"
#    /bin/bash 当前备份脚本.sh
# done
########测试脚本-END############
# 可以通过下面这段命令，使用crontab将备份脚本加入定时任务
########使用crontab将脚本加入定时任务-START#######
# crontab -e
# 0 3 * * *  /bin/bash 当前备份脚本.sh > /dev/null 2>&1 空格
# 编辑定时任务的语句最后加个空格，不然有些机器不能执行脚本
########使用crontab将脚本加入定时任务-END#########

# 开启 alias
shopt -s expand_aliases
# 将“检查命令执行结果的逻辑”封装为一个别名（该别名包含return语句，仅能在function中使用）
alias CHECK_RETURN='{
  result=$?
  if [ $result -ne 0 ];then
    read errMsg
    echo `date +%Y-%m-%d_%H:%M:%S` ERROR：$errMsg
    return $result
  fi
}<<<'
# 将自定义echo格式封装为别名
alias ECHO='{
  read msg
  echo `date +%Y-%m-%d_%H:%M:%S` MESSAGE：$msg
}<<<'
# 变量定义区域
DB_USER='root'
DB_PASSWORD='test9D_Pass'
DB_PORT='4400'
DB_HOST='192.168.1.66'
DB_BIN='/usr/bin'
BACKUP_DIR_BASE="/data/mysql-backup/local_temp"
BACKUP_LOG="${BACKUP_DIR_BASE}/backup.log"
BACKUP_DIR_LATEST="${BACKUP_DIR_BASE}/backup_latest"
BACKUP_DIR_OLDER="${BACKUP_DIR_BASE}/backup_older"
BACKUP_CONFIG_FILE=$BACKUP_DIR_LATEST"/db-backup.conf"
#全备时间 0代表周日
FULL_BACKUP_DAY='0'
TODAY=`date +%w`
DATE=`date +%Y%m%d`
CURRENT_TIME="date +%Y-%m-%d_%H:%M:%S"

# 增量备份
function INCREASE_BACKUP(){
  ECHO "开始数据库增量备份"
  if [[ ! -r $BACKUP_CONFIG_FILE ]];then
    ECHO "错误- $BACKUP_CONFIG_FILE 配置文件不存在或不可读。"
    return 1
  fi
  # 读取配置文件，获取开始备份的起始文件名
  BINLOG_FILE_BEGIN=$(tail -n1 $BACKUP_CONFIG_FILE | awk '{print $2}')
  ECHO "读取配置文件，获取开始备份的起始文件名为：$BINLOG_FILE_BEGIN"
  # 刷新日志，生成新的 binlog
  $DB_BIN/mysqladmin -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST flush-logs
  CHECK_RETURN "刷新binlog日志错误！"
  ECHO "刷新日志，生成新的 binlog 成功。"
  # 取最新的 binlog 文件名，作为备份截止文件
  local BINLOG_FILE_BEFORE_END=`$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master status" | awk '{print $1}' | tail -n1`
  CHECK_RETURN "查询最新的binlog文件名失败！"
  ECHO "获取最新的 binlog 文件名为：$BINLOG_FILE_BEFORE_END"
  # 增量备份 binlog
  local IS_BEGIN_BACKUP=0
  local BACKUP_FILES=""
  for i in `$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master logs" | awk '{print $1}' | tail -n +2`
  do
    if [[ $BINLOG_FILE_BEGIN == $i ]];then
      IS_BEGIN_BACKUP=1
    fi
    if [[ $IS_BEGIN_BACKUP == 1 && $i != $BINLOG_FILE_BEFORE_END ]]; then
        BACKUP_FILES+=" $i"
    fi
  done
  # 打包压缩 binlog
  if [[ ${BACKUP_FILES// /} == "" ]]; then
      ECHO "错误-没有有效的binlog,迭代binlog错误。"
      return 1
  fi
  # 适用于mysql服务在远程主机的binlog打包（也适用本机）
  $DB_BIN/mysqlbinlog -R --raw -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST $BACKUP_FILES \
   && tar -zcf $BACKUP_DIR_LATEST/binlog_daily_$DATE.tar.gz $BACKUP_FILES --remove-files
  CHECK_RETURN "增备打包 binlog 时发生错误！"
  ECHO "数据库增量备份执行完成。成功打包文件：$BACKUP_DIR_LATEST/binlog_daily_$DATE.tar.gz，包含 binlog ：$BACKUP_FILES"
  # 将最新的 binlog 文件名写入 config 配置文件
  echo "`$CURRENT_TIME`        $BINLOG_FILE_BEFORE_END         INCREASE" >> $BACKUP_CONFIG_FILE
  CHECK_RETURN "更新 $BACKUP_CONFIG_FILE 配置文件失败！"
  ECHO "更新 $BACKUP_CONFIG_FILE 配置文件成功。"
}
# TODO 全量备份
function FULL_BACKUP() {
    ECHO "开始数据库全量备份"
    $DB_BIN/mysqldump -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -A -F -R -E --triggers --hex-blob --flush-privileges --single-transaction --master-data=2 | gzip > $BACKUP_DIR_LATEST/db_fullbak_$DATE.sql.gz
    CHECK_RETURN "数据库全量备份命令执行失败！"
    ECHO "数据库全量备份执行完成。成功打包 SQL 文件：$BACKUP_DIR_LATEST/db_fullbak_$DATE.sql.gz"
    # 取最新的 binlog 文件名，作为备份截止文件
    local BINLOG_FILE_BEFORE_END=`$DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show master status" | awk '{print $1}' | tail -n1`
    CHECK_RETURN "查询最新的binlog文件名失败！"
    ECHO "获取最新的 binlog 文件名为：$BINLOG_FILE_BEFORE_END"
    # 将最新的 binlog 文件名写入 config 配置文件
    echo "    BACKUP_TIME           BINLOG_END_BEFORE        BACKUP_MODEL" >> $BACKUP_CONFIG_FILE
    echo "`$CURRENT_TIME`        $BINLOG_FILE_BEFORE_END         FULL" >> $BACKUP_CONFIG_FILE
    CHECK_RETURN "更新 $BACKUP_CONFIG_FILE 配置文件失败！"
    ECHO "更新 $BACKUP_CONFIG_FILE 配置文件成功。"
}
# 检测数据库服务的状态
function DB_SERVER_CHECK(){
    $DB_BIN/mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e ""
    CHECK_RETURN "数据库服务不能正常连接！"
    ECHO "数据库服务正常可连接。"
}
# 检测并创建备份目录
function BACKUP_DIR_CREATE(){
    if test -d $BACKUP_DIR_LATEST;then
        ECHO "$BACKUP_DIR_LATEST 检测到目录已存在，即将执行后续逻辑。"
    else
        ECHO "$BACKUP_DIR_LATEST 目录不存在，即将创建。"
        mkdir -pv $BACKUP_DIR_LATEST
        CHECK_RETURN "$BACKUP_DIR_LATEST 目录创建失败！"
        ECHO "$BACKUP_DIR_LATEST 目录创建成功。"
    fi

    if test -d $BACKUP_DIR_OLDER;then
        ECHO "$BACKUP_DIR_OLDER 检测到目录已存在，即将执行后续逻辑。"
    else
        ECHO "$BACKUP_DIR_OLDER 目录不存在，即将创建。"
        mkdir -pv $BACKUP_DIR_OLDER
        CHECK_RETURN "$BACKUP_DIR_OLDER 目录创建失败！"
        ECHO "$BACKUP_DIR_OLDER 目录创建成功。"
    fi
}
# 检测 binlog 是否开启
function BINLOG_EXIST(){
    local BINLOG_OPEN=`mysql -u$DB_USER -p$DB_PASSWORD -P$DB_PORT -h$DB_HOST -e "show variables like 'log_bin'" | tail -n +2 | awk '{print $2}'`
    CHECK_RETURN "查询 binlog 日志状态出错！"
    if [[ $BINLOG_OPEN == "ON" ]];then
        ECHO "检测到 BINLOG 日志为打开状态。"
        return 0
    fi
    ECHO "检测到 BINLOG 日志为关闭状态。"
    return 1
}
# 归档7天以前的备份，清空14天以前的备份
function BACKUP_CLEANER(){
    if [ "`ls -A $BACKUP_DIR_LATEST`" == "" ]; then
        ECHO "$BACKUP_DIR_LATEST 备份目录为空，没有要归档的文件"
    else
      tar -zcf $BACKUP_DIR_OLDER/db_archive_$DATE.tar.gz  -C $BACKUP_DIR_LATEST .
      CHECK_RETURN "$BACKUP_DIR_LATEST 归档失败！"
      ECHO "$BACKUP_DIR_LATEST 归档完成"
      rm -rf $BACKUP_DIR_LATEST/*
      CHECK_RETURN "$BACKUP_DIR_LATEST 清空失败！"
      ECHO "$BACKUP_DIR_LATEST 清空完成"
    fi

    local CLEAN_FILES=`find $BACKUP_DIR_OLDER -mtime +14 -exec ls -A {} \;`
    if [ "$CLEAN_FILES" == "" ]; then
        ECHO "$BACKUP_DIR_OLDER 目录中，没有要清空的14天以前的旧备份文件"
    else
      find $BACKUP_DIR_OLDER -mtime +14 -exec rm -fr {} \;
      CHECK_RETURN "$BACKUP_DIR_OLDER 清空14天以前的备份失败！"
      ECHO "$BACKUP_DIR_OLDER 清空14天以前的备份成功。"
    fi

}
# 备份方法
function BACK_UP() {
    # 备份前的各种必要检测
    DB_SERVER_CHECK
    CHECK_RETURN "执行中断，退出脚本！"
    BINLOG_EXIST
    CHECK_RETURN "执行中断，退出脚本！"
    # 如果今天是全备日或者备份目录为空，则执行全备，否则执行增备
    if [[ $TODAY == $FULL_BACKUP_DAY || "`ls -A $BACKUP_DIR_LATEST`" == "" ]]; then
        BACKUP_CLEANER
        CHECK_RETURN "执行中断，退出脚本！"
        FULL_BACKUP
        CHECK_RETURN "执行中断，退出脚本！"
    else
      INCREASE_BACKUP
      CHECK_RETURN "执行中断，退出脚本！"
    fi
    ECHO "备份脚本顺利执行完成。"
}
# 主函数
function MAIN() {
# 首先检测创建备份目录，否则无法写日志，也无法创建备份文件
BACKUP_DIR_CREATE
# 执行备份逻辑
BACK_UP >> $BACKUP_LOG # 输出到日志文件
#BACK_UP # 输出到标准输出
}

# 调用主函数
MAIN

（完）

展开全文 >>

mysql常用命令和相关知识点

修改最大连接数

1
2
3
4
5
6
7
8
9
10
#查看当前设置的最大连接数
show variables like '%max_connections%';
#查看当前单用户最大连接数
show variables like '%max_user_connections%';
# 查看数据库当前的连接数（Threads_connected ：这个数就是打开的连接数.）
show status like 'Threads%';
#临时修改最大连接数为2000（如果数据库重启会失效）
set global max_connections =2000;
#永久修改最大连接数为2000（数据库重启不会失效）
编辑`mysql.cnf`配置文件，在`[mysqld]`下方添加`max_connections=2000`

慢查询

1
2
3
4
5
6
#------ 开启/关闭 慢查询日志----
set GLOBAL slow_query_log = 'ON/OFF';
#------ 设置 慢查询日志 的阈值（秒，小数点后可精确到微秒）----
set GLOBAL long_query_time = 4.000000;
#------ 开启/关闭 记录没有使用索引的语句----
set GLOBAL log_queries_not_using_indexes = 'ON/OFF';

修改时区

1
2
3
4
5
6
7
8
#查看mysql当前时区
show variables like '%time_zone%';
#设置全局时区
set global time_zone='Asia/Shanghai';
#设置当前时区
set  time_zone='Asia/Shanghai';
#刷新权限
flush privileges;

登录mysql

1
2
$ mysql -u root -p
$ 密码

连接远程数据库

1
2
3
4
5
6
7
8
9
10
11
12
mysql -uroot -proot -h192.168.0.333 -P3306   #（mysql -u用户名 -p密码 -h 远程主机 -P数据库端口。）密码如果包含特殊字符将密码用单引号扩起来，如：-p'test@&12345'
#展示所有数据库
show databases       
#选择数据库
use 数据库名         
#显示表结构
desc tableName       
#显示表的DDL语句
show create table tableName 

# 允许root远程登录
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '设一个密码' WITH GRANT OPTION;

创建用户

1
2
3
4
5
6
7
8
9
10
11
#创建用户‘htrace22’（`%`表示所有ip均可链接，可制定为具体的ip地址）
mysql> CREATE USER `htrace22`@`%` IDENTIFIED BY '密码';  

#创建用户‘hszk’并指定加密方式为'mysql_native_password'
mysql> CREATE USER 'hszk'@'%' IDENTIFIED WITH mysql_native_password   BY '密码';

# 创建一个普通用户（创建‘非super用户’常用命令）

mysql> CREATE USER 'temp'@'%' IDENTIFIED BY 'temp';

mysql> GRANT EXECUTE, PROCESS, SELECT, SHOW DATABASES, SHOW VIEW, ALTER, ALTER ROUTINE, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, CREATE VIEW, DELETE, DROP, EVENT, INDEX, INSERT, REFERENCES, TRIGGER, UPDATE, LOCK TABLES, RELOAD  ON *.* TO 'temp'@'%';

修改密码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

'root'@'localhost'	#修改本机root用户的密码
'root'@'%'			#修改远程root用户的密码

#方式一
	#修改密码
	ALTER USER 'root'@'%' IDENTIFIED BY '新密码'; 
#方式二	
	#修改密码，同时修改加密方式为‘mysql_native_password’
	ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '新密码';
#方式三
	mysqladmin -u root -p password 新密码
	回车之后会要求让输入原始密码，然后就修改了密码。
	
#修改密码后如果不生效，请执行刷新权限的命令
	FLUSH PRIVILEGES;


#------修改用户密码的加密方式为mysql_native_password----------

mysql> ALTER USER 'htrace2'@'%' IDENTIFIED BY 'htrace@20182' PASSWORD EXPIRE NEVER;
mysql> ALTER USER 'htrace2'@'%' IDENTIFIED WITH mysql_native_password BY 'htrace@20182'; 
mysql> FLUSH PRIVILEGES;

用户查询、赋权、删除

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#------查看所有用户------

mysql> use mysql；
mysql> select * from user;	


#------赋权限给用户----------

#授权‘htrace22’用户，拥有所有数据库的所有操作权限
mysql> GRANT ALL ON *.* TO `htrace22`@`%` WITH GRANT OPTION; 

#授权‘hszk’用户，拥有‘parkinglot’数据库的所有操作权限
mysql> GRANT ALL PRIVILEGES ON parkinglot.* TO 'hszk'@'%';

#------删除用户----------

mysql> DROP USER 'htrace2'@'%'

设置只读模式

1
2
3
4
5
6
7
8
9
10
11
12
13
# 设置普通用户只读模式（super用户可读写）
set global read_only=1;

# 解除普通用户只读模式
set global read_only=0;

# 设置所有用户只读模式（慎用，加锁后只能由当前会话解锁，否则只能杀会话进程或重启服务解锁。所有用户只读。详情可参考：https://segmentfault.com/a/1190000010539455）
set global read_only=1;
flush tables with read lock;

# 解除所有用户只读模式
set global read_only=0;
unlock tables;

查看mysql配置文件的路径

1
2
3
4
# linux
mysql --help | grep my.cnf 
# windows
mysql --help | findstr my.cnf

mysql系统变量设置

如果是全局级别需要加GLOBAL，如果是会话级别需要加SESSION。如果什么都不写，默认是SESSION。
全局变量的作用域： 修改全局变量后，针对后续创建的所有会话（连接）有效。服务重启后失效。
会话变量的作用域： 仅仅针对当前的会话（连接）有效。
服务器的配置文件： 永久有效，如果修改了，需重启服务才能生效。
修改mysql系统变量不重启服务的方式： 依次修改 当前所有会话变量、全局变量、配置文件,这样就能保证当前会话、后续会话、及服务重启后，系统变量都能生效的效果。 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
-- 查看mysql版本
SHOW GLOBAL VARIABLES LIKE '%version%';
-- 显示所有全局变量
SHOW GLOBAL VARIABLES;
-- 显示所有会话变量
SHOW SESSION VARIABLES;
-- 查看满足模糊条件的部分全局变量
SHOW GLOBAL VARIABLES LIKE '%character%';
-- 查看满足模糊条件的部分会话变量
SHOW SESSION VARIABLES LIKE '%character%';
-- 查看某个指定的全局变量
SELECT @@GLOBAL.系统变量名;
-- 查看某个指定的会话变量
SELECT @@SESSION.系统变量名;
-- 为全局变量设置值
SET GLOBAL 系统变量名 = 值;
-- 为会话变量设置值
SET SESSION 系统变量名 = 值;
-- 为全局变量设置值
SET @@GLOBAL.系统变量名 = 值;
-- 为会话变量设置值
SET @@SESSION.系统变量名 = 值;

binlog常用参数介绍

binlog_rows_query_log_events=1
在row模式下开启该参数,将把sql语句打印到binlog日志里面.默认是0(off);

binlog_row_image=FULL
在binlog为row格式下,full将记录update前后所有字段的值,binlog增长速度较快,对存储空间,主从传输都是一个不小的压力。minimal时,只记录更改字段的值和where字段的值,noblob时,记录除了blob和text的所有字段的值,如果update的blob或text字段,也只记录该字段更改后的值,更改前的不记录;默认为full。（只有值为full时，才能通过binlog进行数据恢复）

在mysql中查询当前二进制日志列表：SHOW BINARY LOGS;或SHOW MASTER LOGS;

mysqlbinlog命令介绍

一条示例命令： mysqlbinlog /data/mysql_data/bin.000008 --database EpointFrame --base64-output=decode-rows -vv --skip-gtids=true --start-datetime="2016-09-25 21:57:19" |grep -C 1 -i “delete from Audit_Orga_Specialtype” > /opt/sql.log
-v 参数： 显示sql语句
-vv 参数： 显示sql语句和字段类型
–base64-output参数： 用来控制binlog部分是否显示出来的，指定为decode-rows表示不显示binglog部分（加了该参数后导出的binlog文件将不能用来进行数据恢复）
grep -C 1 显示符合查询条件的当前行，及该行前后各一行的数据
grep -i 查询时忽略大小写

通过mysqlbinlog恢复数据方法

  1. 在备份时使用--master-data=2 参数，在备份语句里添加CHANGE MASTER语句以及binlog文件及位置点信息。如：mysqldump -uroot -p -B -F -R -x --master-data=2 ops|gzip >/opt/backup/ops_$(date +%F).sql.gz
  2. 通过最新的备份文件还原数据库，如：mysql --host=host_name -u root -p < dump_file
  3. 使用grep命令从备份文件中找到备份时对应的binlog位置，如：grep CHANGE ops_2016-09-25.sql 从dump_file中找到– CHANGE MASTER TO MASTER_LOG_FILE=‘binlog.001002’, MASTER_LOG_POS=27284;
  4. 通过以上几步，已经将数据库还原到了binlog的binlog.001002对应的27284位置，然后再通过mysqlbinlog命令对27284位置之后的数据进行增量恢复即可。如：mysqlbinlog --start-position=27284 binlog.001002 binlog.001003 binlog.001004 | mysql --host=host_name -u root -p。如果想恢复到指定的时间点也可以通过设置--stop-position=binlog截止位置实现。另外如果想恢复某个时间段的数据也可以使用时间戳参数进行恢复，如：--start-datetime="2016-09-25 21:57:19" --stop-datetime="2016-09-25 21:58:41"。

（完）

展开全文 >>

mysql备份和恢复

  1. mysql恢复时，恢复几个数据库取决于备份文件中包含了几个库的备份，还原命令本身不支持从多个库的备份文件中只恢复某一个数据库。（除非备份时，只备份了一个）
  2. 备份时如果使用了 -A 或 -B 参数，指定了数据库，则备份文件中会包含 CREATE DATABASE 和 use database 语句。恢复时不需要指定数据库。否则需要指定恢复到哪个库，并且该库要提前创建好。
  3. 因为不使用 -B 参数时，备份文件中不包含数据库名相关信息，因此利用该特性，也可以将该备份还原到别的数据库名。（还原时指定要还原到的数据库名即可）。

备份前和恢复完成后的操作（可选）

根据实际情况，可设置普通用户或所有用户只读。等还原完成后，再进行对应的解除操作。

1
2
3
4
5
6
7
8
9
10
11
12
13
# 设置普通用户只读模式（super用户可读写）
set global read_only=1;

# 解除普通用户只读模式
set global read_only=0;

# 设置所有用户只读模式（慎用，加锁后只能由当前会话解锁，否则只能杀会话进程或重启服务解锁。所有用户只读。详情可参考：https://segmentfault.com/a/1190000010539455）
set global read_only=1;
flush tables with read lock;

# 解除所有用户只读模式
set global read_only=0;
unlock tables;

使用 -B 参数备份和还原数据库（导出的备份文件会包含建库语句）

1
2
3
4
# 使用 -B 参数，备份数据库 t1
mysqldump -uroot -proot -h192.168.1.66 -P31306 -B t1 > t1.bk.sql
# 还原数据库 t1
mysql -uroot -proot -h192.168.1.66 -P31306 < t1.bk.sql

不使用 -B 参数备份和还原数据库（导出的备份文件不包含建库语句）

1
2
3
4
5
6
# 不使用 -B 参数，备份数据库 t1
mysqldump -uroot -proot -h192.168.1.66 -P31306 t1 > t1.bk.sql
# 还原数据库 t1（数据库 t1 必须要提前创建好，并且在语句中指定该库名）
mysql -uroot -proot -h192.168.1.66 -P31306 t1 < t1.bk.sql
# 因为不使用 -B 参数时，备份文件中不包含数据库名相关信息，因此也可以将该备份还原到别的数据库名。如下例将数据库t1的备份还原到数据库t2
mysql -uroot -proot -h192.168.1.66 -P31306 t2 < t1.bk.sql

mysqldump 选项介绍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
-A --all-databases：导出全部数据库
-Y --all-tablespaces：导出全部表空间
-y --no-tablespaces：不导出任何表空间信息
--add-drop-database每个数据库创建之前添加drop数据库语句。
--add-drop-table每个数据表创建之前添加drop数据表语句。(默认为打开状态，使用--skip-add-drop-table取消选项)
--add-locks在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(默认为打开状态，使用--skip-add-locks取消选项)
--comments附加注释信息。默认为打开，可以用--skip-comments取消
--compact导出更少的输出信息(用于调试)。去掉注释和头尾等结构。可以使用选项：--skip-add-drop-table --skip-add-locks --skip-comments --skip-disable-keys
-c --complete-insert：使用完整的insert语句(包含列名称)。这么做能提高插入效率，但是可能会受到max_allowed_packet参数的影响而导致插入失败。
-C --compress：在客户端和服务器之间启用压缩传递所有信息
-B--databases：导出几个数据库。参数后面所有名字参量都被看作数据库名。
--debug输出debug信息，用于调试。默认值为：d:t:o,/tmp/
--debug-info输出调试信息并退出
--default-character-set设置默认字符集，默认值为utf8
--delayed-insert采用延时插入方式（INSERT DELAYED）导出数据
-E--events：导出事件。
--master-data：在备份文件中写入备份时对应的binlog文件，在恢复时，增量数据从这个文件之后的日志开始恢复。值为1时，binlog文件名和位置没有注释，为2时，则在备份文件中将binlog的文件名和位置进行注释
--flush-logs开始导出之前刷新日志。请注意：假如一次导出多个数据库(使用选项--databases或者--all-databases)，将会逐个数据库刷新日志。除使用--lock-all-tables或者--master-data外。在这种情况下，日志将会被刷新一次，相应的所以表同时被锁定。因此，如果打算同时导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs。
--flush-privileges在导出mysql数据库之后，发出一条FLUSH PRIVILEGES 语句。为了正确恢复，该选项应该用于导出mysql数据库和依赖mysql数据库数据的任何时候。
--force在导出过程中忽略出现的SQL错误。
-h --host：需要导出的主机信息
--ignore-table不导出指定表。指定忽略多个表时，需要重复多次，每次一个表。每个表必须同时指定数据库和表名。例如：--ignore-table=database.table1 --ignore-table=database.table2 ……
-x --lock-all-tables：提交请求锁定所有数据库中的所有表，以保证数据的一致性。这是一个全局读锁，并且自动关闭--single-transaction 和--lock-tables 选项。
-l --lock-tables：开始导出前，锁定所有表。用READ LOCAL锁定表以允许MyISAM表并行插入。对于支持事务的表例如InnoDB和BDB，--single-transaction是一个更好的选择，因为它根本不需要锁定表。请注意当导出多个数据库时，--lock-tables分别为每个数据库锁定表。因此，该选项不能保证导出文件中的表在数据库之间的逻辑一致性。不同数据库表的导出状态可以完全不同。
--single-transaction：适合innodb事务数据库的备份。保证备份的一致性，原理是设定本次会话的隔离级别为Repeatable read，来保证本次会话（也就是dump）时，不会看到其它会话已经提交了的数据。
-F：刷新binlog，如果binlog打开了，-F参数会在备份时自动刷新binlog进行切换。
-n --no-create-db：只导出数据，而不添加CREATE DATABASE 语句。
-t --no-create-info：只导出数据，而不添加CREATE TABLE 语句。
-d --no-data：不导出任何数据，只导出数据库表结构。
-p --password：连接数据库密码
-P --port：连接数据库端口号
-u --user：指定连接的用户名。

（完）

展开全文 >>

lvm扩容步骤

  1. 使用fdisk创建一个普通分区（也可以使用现有的硬盘分区或一整块硬盘），如：/dev/sda1 可以是主分区也可是逻辑分区,过程略。
    如果使用一整块硬盘的进行扩容的话，可以忽略分区过程，直接执行第三步创建物理卷。
  2. 将 /dev/sda1 设置为lvm模式
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    # 对 /dev/sda 进行分区设置
    fdisk /dev/sda
    # 输入 t 改变分区的系统id
    t
    # 输入要改变的分区号，如 1
    1
    # 输入 L 可列出系统id的所有代码
    L
    # 输入lvm对应的代码 8e
    8e
    # 输入 w 使设置生效
    w
    # 如果分区表没有正常更新，可执行以下命令更新分区表
    partx -a /dev/sdb
  3. 将新建的lvm分区转化为PV（物理卷）。
    1
    2
    3
    4
    5
    # 将分区 /dev/sda1 转化为物理卷
    pvcreate /dev/sda1

    # 将硬盘 /dev/sda  转化为物理卷
    pvcreate /dev/sda
  4. 使用df -h命令，查看系统的挂载情况。确定要扩展的目录对应的挂载点
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    [root@bogon centos]# df -h
    文件系统                 容量  已用  可用 已用% 挂载点
    devtmpfs                  16G     0   16G    0% /dev
    tmpfs                     16G     0   16G    0% /dev/shm
    tmpfs                     16G   18M   16G    1% /run
    tmpfs                     16G     0   16G    0% /sys/fs/cgroup
    /dev/mapper/centos-root   56G  1.3G   55G    3% /
    /dev/sdb5                178G   47G  122G   28% /data
    /dev/sdb1                473M  143M  330M   31% /boot
    tmpfs                    3.2G     0  3.2G    0% /run/user/0
    /dev/sda1                3.6T  138G  3.3T    4% /data_slow

  5. 比如我们要扩展根目录的空间，通过上面命令可以得知根目录的挂载点为/dev/mapper/centos-root，对应的逻辑卷即为/dev/centos/root，可以通过lvdisplay命令再进行一下确认。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    [root@bogon centos]# lvdisplay
      --- Logical volume ---
      LV Path                /dev/centos/root # 逻辑卷路径
      LV Name                root 
      VG Name                centos # 逻辑卷所属的卷组名称
      LV UUID                Fe5MNi-r0OW-exz7-dSWO-F9ZZ-kkeU-PLQ65v
      LV Write Access        read/write
      LV Creation host, time bogon, 2021-01-14 15:50:30 +0800
      LV Status              available
      # open                 1
      LV Size                <55.99 GiB
      Current LE             14333
      Segments               3
      Allocation             inherit
      Read ahead sectors     auto
      - currently set to     256
      Block device           253:0

  6. 将新转化的物理卷加入要扩展的卷组，加入后卷组的剩余可用空间变大。
    1
    2
    # 此处的 centos 为 卷组名称，卷组的名称也可使用 vgdisplay 命令进行查看
    vgextend centos /dev/sda1
  7. 视情况，将想要扩展的容量分配给卷组中对应的lv（逻辑卷）。
    1
    2
    3
    4
    5
    6
    7
    # 将centos卷组的全部剩余空间分配给root逻辑卷
    lvextend  /dev/centos/root
    或
    lvextend -l +100%FREE /dev/mapper/centos-root

    # 从centos卷组的全部剩余空间中划分出10G分配给root逻辑卷
    lvextend -L +10G /dev/centos/root
  8. 刷新硬盘容量，使扩容生效
    1
    2
    3
    4
    5
    # xfs格式的文件系统使用该命令
    xfs_growfs /dev/centos/root

    # ext格式的文件系统使用该命令
    resize2fs  /dev/centos/root

lvm创建步骤

  1. 同上面扩容的前3个步骤一样，先将硬盘或分区转化为PV（物理卷）
  2. 使用PV（物理卷）创建VG（卷组），如此处使用PV /dev/sdb 和 /dev/sdc 创建了VG storage
    1
    vgcreate storage /dev/sdb /dev/sdc
  3. 从卷组storage中创建一个名为vo的逻辑卷，其大小为150M
    1
    lvcreate -n vo -L 150M storage
  4. 把生成好的逻辑卷进行格式化，然后挂载使用。
    1
    2
    3
    4
    5
    6
    # 将逻辑卷格式化为ext4格式
    mkfs.ext4 /dev/storage/vo 
    # 创建挂载目录
    mkdir /linuxprobe
    # 挂载
    mount /dev/storage/vo /linuxprobe
  5. 将挂载信息写入/etc/fstab实现永久挂载
    1
    echo "/dev/storage/vo /linuxprobe ext4 defaults 0 0" >> /etc/fstab

附录

查看卷组（存储池）名称及使用情况

1
vgdisplay

查看逻辑卷（数据卷）空间状态

1
lvdisplay

参考

https://blog.csdn.net/u012439646/article/details/73380197
https://www.cnblogs.com/lenmom/p/9897739.html
https://www.linuxprobe.com/chapter-07.html#72_LVM

（完）

展开全文 >>

linux时间同步chrony和ntpdate

检查并设置时区

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
# 查看当前主机的时区
# timedatectl
      Local time: Fri 2018-2-29 13:31:04 CST
  Universal time: Fri 2018-2-29 05:31:04 UTC
        RTC time: Fri 2018-2-29 08:17:20
       Time zone: Asia/Shanghai (CST, +0800)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a

如果你当前的时区不正确，请按照以下操作设置。

#查看所有可用的时区：

# timedatectl list-timezones

#筛选式查看在亚洲S开的上海可用时区：

# timedatectl list-timezones |  grep  -E "Asia/S.*"

Asia/Sakhalin
Asia/Samarkand
Asia/Seoul
Asia/Shanghai
Asia/Singapore
Asia/Srednekolymsk

# 设置当前系统为Asia/Shanghai上海时区：
# timedatectl set-timezone Asia/Shanghai

# 设置时间
# timedatectl set-time "YYYY-MM-DD HH:MM:SS"


# 设置硬件时间,硬件时间默认为UTC：
# timedatectl set-local-rtc 1

# 是否NTP服务器同步 yes/no
# timedatectl set-ntp yes

chrony

chrony 可用来自动同步集群中主机的时钟。

服务端配置

  1. 安装chrony软件
    1
    [root@server ~]# yum install chrony -y
  2. 修改配置文件
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    [root@server ~]# vi /etc/chrony.conf

    # Use public servers from the pool.ntp.org project.
    # Please consider joining the pool (http://www.pool.ntp.org/join.html).
    # server 0.centos.pool.ntp.org iburst
    # server 1.centos.pool.ntp.org iburst
    # server 2.centos.pool.ntp.org iburst
    # 远程时钟服务器
    server time1.aliyun.com iburst

    # Record the rate at which the system clock gains/losses time.
    driftfile /var/lib/chrony/drift

    # Allow the system clock to be stepped in the first three updates
    # if its offset is larger than 1 second.
    makestep 1.0 3

    # Enable kernel synchronization of the real-time clock (RTC).
    # 将启用一个内核模式，在该模式中，系统时间每11分钟会拷贝到实时时钟
    rtcsync

    # Enable hardware timestamping on all interfaces that support it.
    #hwtimestamp *

    # Increase the minimum number of selectable sources required to adjust
    # the system clock.
    #minsources 2

    # Allow NTP client access from local network.
    # 允许或拒绝指定网络的主机同步时间，不指定就是允许所有，默认不开启。（allow：允许 deny：拒绝）
    allow 192.168.1.0/24
    # Serve time even if not synchronized to a time source.
    # 即使服务端没有同步到精确的网络时间，也允许向客户端同步不精确的时间。
    local stratum 10

    # Specify file containing keys for NTP authentication.
    #keyfile /etc/chrony.keys

    # Specify directory for log files.
    logdir /var/log/chrony

    # Select which information is logged.
    #log measurements statistics tracking
  3. 启动、开机自启动、查看状态、查看同步源
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    [root@server ~]# systemctl start chronyd

    [root@server ~]# systemctl enable chronyd

    [root@server ~]# systemctl status chronyd
    ● chronyd.service - NTP client/server
       Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
       Active: active (running) since 一 2018-04-23 11:25:38 CST; 6min ago

    [root@server ~]# chronyc sources
    210 Number of sources = 1
    MS Name/IP address         Stratum Poll Reach LastRx Last sample               
    ===============================================================================
    ^* time4.aliyun.com              2   6    17    41    +87us[+1374us] +/-   28ms
    执行chronyc sources命令后，输出信息中包含^?代表时间未同步，^*代表时间已同步

客户端配置

  1. 安装chrony软件。
    1
    [root@server ~]# yum install chrony -y
  2. 修改配置文件
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    [root@server ~]# vi /etc/chrony.conf

    # Use public servers from the pool.ntp.org project.
    # Please consider joining the pool (http://www.pool.ntp.org/join.html).
    # server 0.centos.pool.ntp.org iburst
    # server 1.centos.pool.ntp.org iburst
    # server 2.centos.pool.ntp.org iburst
    # 远程时钟服务器（设置为刚才的服务端地址，如：192.168.1.55）
    server 192.168.1.55 iburst

    # 其它配置项保持默认即可
  3. 启动、开机自启动、查看状态、查看同步源。方法同服务端一样。

chrony 常用命令

1
2
3
4
5
6
7
8
9
10
11
查看时间同步源和同步状态（输出信息中包含`^?`代表时间未同步，`^*`代表时间已同步）
$ chronyc sources -v

查看时间同步源状态：
$ chronyc sourcestats -v

校准时间服务器：
$ chronyc tracking

立即步进地校正时钟
$ chronyc -a makestep

时间同步问题no server suitable for synchronization found

在客户端和服务端分别按照以下步骤进行问题排查。

  1. 检查防火墙
  2. ping内部ip（路由）
  3. ping外部地址（百度）
    然后试着重启服务。

ntpdate

ntpdate可用来手动强制同步时间。

  1. 安装ntpdate yum -y install ntpdate
  2. 强制同步时间 ntpdate -d time1.aliyun.com

（完）

展开全文 >>

linux安装中文字体

  1. 将需要安装的字体上传到linux的/usr/share/fonts目录。（TTC或TTF都可以）
  2. 执行以下命令更新字体缓存
    1
    fc-cache -fv  #如果命令未安装可执行：yum install fontconfig 或 apt-get install fontconfig
  3. 执行fc-list或fc-list :lang=zh验证字体安装效果。

（完）

展开全文 >>

k8s证书续期

检查证书过期时间

1
2
3
4
5
6
7
8
9
10
11
# 方法1
kubeadm alpha certs check-expiration
# 方法2
openssl x509 -noout -dates -in /etc/kubernetes/pki/apiserver.crt
kubeadm alpha certs 命令详解：
Available Commands:
  certificate-key  生成证书和key
  check-expiration  检测证书过期时间
  renew            续订Kubernetes集群的证书

  kubeadm alpha certs命令仅支持v1.15及其以上的版本。

手动续订证书一年

1
2
3
# 将所有证书续签一年(如果只续签apiserver证书的时间，可执行 kubeadm  alpha certs renew apiserver )
kubeadm alpha certs renew all

重启kubelet，并查看新的过期时间

1
2
3
4
# 重启kubelet
systemctl restart kubelet
# 查看新的过期时间
kubeadm alpha certs check-expiration

备注

如果已上步骤后，还是不好使，那么尝试重启master节点的主机。重启后还不好使，那么再试着执行以下两步。

  1. 更新用户配置
    1
    2
    3
    4
    5
    6
    kubeadm alpha kubeconfig user --client-name=admin
    kubeadm alpha kubeconfig user --org system:masters --client-name kubernetes-admin  > /etc/kubernetes/admin.conf
    kubeadm alpha kubeconfig user --client-name system:kube-controller-manager > /etc/kubernetes/controller-manager.conf
    kubeadm alpha kubeconfig user --org system:nodes --client-name system:node:$(hostname) > /etc/kubernetes/kubelet.conf
    kubeadm alpha kubeconfig user --client-name system:kube-scheduler > /etc/kubernetes/scheduler.conf

  2. 用更新后的admin.conf替换/root/.kube/config文件
    1
    cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

然后再重启kubelet,如果不好使，再重启master主机，再不好使，百度吧。

官方文档：https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
参考博文：
https://blog.csdn.net/weixin_42562106/article/details/107025507
https://blog.csdn.net/swan_tang/article/details/115755311

（完）

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

<p style="text-align:left;padding-left:50px">好记性不如烂笔头。<br/>古人诚不我欺也！！<br/><br/>随着时间的流逝，发现有很多知识点都遗忘了。本博客的诞生，是为了方便日后自己查找一些遗忘的知识点。内容包含：自己写的、网上的摘抄和转载。</p>