当前位置：首页 > java >正文

自动化备份全网服务器数据平台

java 2025/8/11 13:59:34

一、项目背景

某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复

1、备份要求

每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件
通过rsync命令推送到备份服务器上保存
备份服务器定时清除旧记录
搭建邮件告警平台

2、备份需求

所有服务器的备份目录必须都为/backup。
要备份的系统配置文件包括但不限于：
- 定时任务服务的配置文件（/var/spool/cron/root）（适合Web和NFS服务器）。
- 开机自启动的配置文件（/etc/rc.local）（适合Web和NFS服务器）。
- 日常脚本的目录（/server/scripts）。

Web服务器要求
- Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。
- Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
- Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。
备份服务器要求
- 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
- 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。
- 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
- 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

二、软硬件环境清单

已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。

主机名	IP	硬件	软件
web	192.168.188.131	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 nginx1.20 rsync3.1.2
backup	192.168.188.132	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 nfs rpcbind rsync3.1.2
nfs	192.168.188.133	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 mailx12.5 rsync3.1.2

三、项目准备

1、项目环境搭建

可以使用iventoy网启安装3台centos7.9服务器
按照规划，最小化部署系统。
以web服务器为例，其他两台更改主机名即可
Centos7.9的iso下载链接：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso

搭建完成后我们获得三台主机

2、CentOS 7 安装

安装配置

选择语言和区域设置，默认英语（可后续调整）。进入 INSTALLATION SUMMARY 界面后配置以下选项：

DATE & TIME：设置时区（如 Asia/Shanghai）。
KEYBOARD：确认键盘布局。
INSTALLATION SOURCE：默认选择本地介质，如需网络安装可指定 URL。
SOFTWARE SELECTION：选择安装环境（如 Minimal Install、GNOME Desktop）。
INSTALLATION DESTINATION：分区设置。选择自动分区或手动配置（推荐手动划分 /、/boot、swap 等）。

分区建议

手动分区时，建议以下配置（以 20GB 硬盘为例）：

/boot：1GB（ext4）
swap：4GB（根据内存大小调整）
/：剩余空间（ xfs）

开始安装

点击 Begin Installation，设置 root 密码并创建普通用户（可选）。等待安装完成，重启后移除安装介质。

3、开机，关闭防火墙，禁用SELinux，确保能够联网

[root@web ~]# systemctl stop firewalld
[root@web ~]# systemctl disable firewalld
[root@web ~]# vim /etc/selinux/config # This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

nfs主机，backup主机同上

4、设置静态IP

[root@web~]#vi  /etc/sysconfig/network-scripts/ifcfg-ens32
# Generated by dracut initrd
NAME="ens32"
DEVICE="ens32"
ONBOOT=yes             
NETBOOT=yes
UUID="7e65296d-c761-4002-80ab-0543cee4f60d"
IPV6INIT=yes
BOOTPROTO=none
IPADDR="192.168.188.131"    
NETMASK="255.255.255.0"    
GATEWAY="192.168.188.2"   
DNS1="114.114.114.114" 
TYPE=Ethernet[root@web01 ~]# systemctl restart network

nfs主机，backup主机同上，仅修改IP

5、配置yum源，下载所需软件

切到yum源目录下，删除原yum源，打开xftp将Centos-7yum源导入

[root@web ~]# cd /etc/yum.repos.d/
[root@web yum.repos.d]# rm -f *
[root@web~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

web端环境搭建

[root@web~]# yum  makecache
[root@web~]# yum  install  nginx  -y
[root@web~]# mkdir  -p  /www/sczl
[root@web~]# cd  /www/sczl

使用xftp将web源文件上传至/www/sczl，如图：

修改nginx配置文件

[root@web~]# vim  /etc/nginx/nginx.conf  
42         root         /www/sczl;
[root@web~]# systemctl start nginx 
[root@web~]# systemctl enable nginx

测试：打开windows端浏览器输入服务端IP地址

nfs端环境搭建

[root@nfs ~]# yum  install  rpcbind  -y
[root@nfs ~]# yum  install  nfs-utils  -y
[root@nfs ~]# mkdir  /nfsfile
[root@nfs ~]# echo  "welcome to www.openlab.com" > /nfsfile/readme
[root@nfs ~]# chmod  -Rf  777  /nfsfile

编辑nfs配置文件，添加如下内容

[root@nfs ~]# vim  /etc/exports 
/nfsfile        192.168.188.131/24(rw,sync,all_squash)[root@nfs ~]# systemctl start  rpcbind
[root@nfs ~]# systemctl enable  rpcbind
[root@nfs ~]# systemctl start  nfs-server
[root@nfs ~]# systemctl enable  nfs-server
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

backup端环境搭建

修改rsync配置文件

[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
fake super = yes[backup]path = /backupignore errorsread only = falselist = falsehosts allow = 192.168.188.131/24  192.168.188.133/24hosts deny = 0.0.0.0/32auth users = rsyncsecrets file = /etc/rsync.password

创建rsync账户及共享目录并修改目录属主为rsync

[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync /backup[root@backup ~]# systemctl enable --now rsyncd
[root@backup ~]# ps -ef | grep rsync
root  1333   1  0 15:09 ?      00:00:00 /usr/bin/rsync --daemon --no-detach
root  1335   1261  0 15:09 pts/0  00:00:00 grep --color=auto rsync# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

6、将nfs端下的nfsfile目录挂载到web客户端

[root@web web_nfs]# vim  /etc/fstab 
192.168.88.201:/nfsfile   /web_nfs   nfs    defaults    0    0[root@web01 web_nfs]# mount  -a
[root@web01 web_nfs]# df  -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 900M     0  900M   0% /dev
tmpfs                    910M     0  910M   0% /dev/shm
tmpfs                    910M  9.4M  901M   2% /run
tmpfs                    910M     0  910M   0% /sys/fs/cgroup
/dev/sda3                 17G  1.9G   16G  12% /
/dev/sda1               1014M  144M  871M  15% /boot
tmpfs                    182M     0  182M   0% /run/user/0
192.168.88.201:/nfsfile   17G  1.6G   16G   9% /web_nfs

四、配置备份脚本

1、配置web客户端本地备份脚本

[root@web ~]# mkdir  /backup
[root@web ~]# mkdir -p  /server/scripts

#!/bin/bash
#Date:2025-8-7
#Author:lipengyuan
#Mail:2984909618@qq.com
#Function:Regularly backup data from web servers
#Version:V1.0Date=$(date +%F_Week0%w)
Host_IP=$(ifconfig ens32 | awk 'NR==2{print $2}')
Backup_Dir="/backup/"
Backup_Server_IP=192.168.188.132
mount -l > /var/log/mount.log[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IPecho ${Date} ${Host_IP} start backup ......cd / &&\
tar -cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\
tar -rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar -rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar -zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz www/ &&\
tar -zcf $Backup_Dir$Host_IP/nginx_logs_${Date}_tar.gz var/log/nginx/ &&\find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" | xargs md5sum > $Backup_Dir/$Host_IP/${Date}.flagrsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.passwordfind ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7 | xargs rm -fecho "Local backup successful,the backup files have been pushed to the backup server"

[root@web ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@web ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600

2、配置nfs客户端本地备份脚本

[root@nfs ~]# mkdir  /backup
[root@nfs ~]# mkdir -p  /server/scripts

#!/bin/bash
#Date:2025-8-7
#Author:lipengyuan
#Mail:2984909618@qq.com
#Function:Regularly backup data from web servers
#Version:V1.0Date=$(date +%F_Week0%w)
Host_IP=$(ifconfig ens32 | awk 'NR==2{print $2}')
Backup_Dir="/backup/"
Backup_Server_IP=192.168.188.132
mount -l > /var/log/mount.log[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IPecho ${Date} ${Host_IP} start backup ......cd / &&\
tar -cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\
tar -rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar -rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar -zcf $Backup_Dir$Host_IP/nfs_${Date}_tar.gz nfsfile/ &&\
tar -zcf $Backup_Dir$Host_IP/mount_logs_${Date}_tar.gz var/log/mount.log/ &&\find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" | xargs md5sum > $Backup_Dir/$Host_IP/${Date}.flagrsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.passwordfind ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7 | xargs rm -fecho "Local backup successful,the backup files have been pushed to the backup server"

3、测试（在backup服务器中可以看到推送的数据）

[root@nfs ~]# bash  /server/scripts/backup.sh 
[root@backup ~]# ls  /backup/
192.168.88.200  192.168.88.201

五、配置定时任务

1、web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

[root@web ~]# crontab -l
00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1
[root@web ~]# crontab -e00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1

2、nfs01服务器过程同上

3、backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh#!/bin/bash
# Date:2025-8-8
# Author:lpy
# Mail:2984909618@qq.com
# Function: Delete all backup data from 180 days ago, but save every Monday
# Version: V1.0Backup_Dir="/backup/"
find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*" -mtime +7|xargs rm -ffind ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f

4、backup服务器配置定时任务，实现服务端180天前数据自动删除

[root@backup ~]# crontab -e# crond-id-003:data backup
00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

六、数据传输完整性验证与监控告警

1、验证数据完整性

[root@backup ~]# vim /server/scripts/send_mail.sh
#!/bin/bash
Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)"
Admin_Mail=2984909618@qq.comfind $Backup_Dir -type f -name "${Date}.flag" | xargs md5sum -c >> $Check_Logif [ -n "cat $Check_Log"  ]
thenmail -s "$Date backup data info" $Admin_Mail < $Check_Log
elseecho "$Date backup data error,please check it" > $Check_Logmail -s "$Date backup data info" $Admin_Mail < $Check_Log
fi
cp $Check_Log{,.ori} && > $Check_Log

2、配置邮件告警

[root@backup ~]# yum  install  mailx  -y

[root@backup ~]# mkdir -p /root/.certs
[root@backup ~]# cd  /root/.certs[root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt
Notice: Trust flag u is set automatically if the private key is present.

3、配置邮件服务

[root@backup ~]# cd  /root/.certs
[root@backup .certs]# vim  /etc/mail.rcset showto# Automatically check for new messages at each prompt, but avoid polling
# of IMAP servers or maildir folders.
set newmail=nopoll# If threaded mode is activated, automatically collapse thread.
set autocollapse# Mark messages that have been answered.
set markanswered# Hide some header fields which are uninteresting for most human readers.
ignore received in-reply-to message-id references
ignore mime-version content-transfer-encoding# Only include selected header fields when forwarding messages.
fwdretain subject date from to# For Linux and BSD, this should be set.
set bsdcompatset from=2984909618@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=2984909618@qq.com
set smtp-auth-password=xrxncmkbbxywddjh
set smtp-auth=login
set nss-config-dir=/root/.certs/
set ssl-verify=ignore

4、测试邮件服务

[root@backup ~]# echo  "lpy"  |  mail  -s  "ll"  2984909618@qq.com[root@backup ~]# bash /server/scripts/send_mail.sh

七、项目小结

该项目围绕企业 Web 服务器数据备份展开，通过 web01、backup、nfs01 三台服务器协作实现。先搭建环境，包括安装系统、配置网络、关闭防火墙、设置 yum 源及部署相关软件。接着为 web 和 nfs 服务器配置本地备份脚本，定时打包关键数据并生成校验文件，通过 rsync 推至 backup 服务器，本地保留 7 天数据。backup 服务器则配置脚本删除 180 天前数据但保留每周一备份，并设定时任务自动执行。同时，通过校验备份文件完整性，结合 mailx 配置邮件服务实现告警。方案实现了数据自动备份、清理及监控，保障数据安全与可恢复性。

从该项目中，我学到企业数据备份的系统思路：需明确多服务器分工，通过分离源数据与备份存储降低风险。掌握了环境搭建的基础操作，如配置网络、关闭不必要安全组件、部署所需软件。学会编写备份脚本，实现数据打包、校验及远程传输，并结合定时任务实现自动化。还了解到分层备份策略，本地短期留存与远程长期归档结合，以及用校验机制和邮件告警保障备份有效性。这些内容展现了从环境准备到自动化运维、监控告警的完整数据安全闭环思维。

查看全文

http://www.xdnf.cn/news/17572.html