深入理解Linux文件系统与日志分析

一、inode和block概述

文件数据包括元信息与实际数据 （元信息：包含属性的相关信息，实际数据：文件内容）

文件是存储在硬盘上的，硬盘的最小存储单位叫做"扇区”(sector)，每个扇区存储512字节。

一般连续八个扇区组成一个"块"(block)，一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。

block(块)

●连续的八个扇区组成一个block(4K)

●是文件存取的最小单位

inode(索引节点)

●中文译名为“索引节点”，也叫i节点

●用于存储文件元信息

文件数据包括实际数据与元信息（类似文件属性)。文件数据存储在"块"中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode。因此，一个文件必须占用一个inode，并且至少占用一个 block。

inode不包含文件名。文件名是存放在目录当中的。Linux系统中一切皆文件，因此目录也是一种文件。

每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。

所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码，通过inode号码，获取inode信息﹔根据inode信息，看该用户是否具有访问这个文件的权限;如果有，就指向相对应的数据block，并读取数据。

元信息

inode

数据

block

1.inoded内容

inode包含文件的元信息：文件的字节数，文件拥有者的User lD，文件的Group ID，文件的读、写、执行权限，文件的时间戳等

stat命令可以查看某文件的inode信息：ls -i  aa.txt  或 stat aa.txt（这个更详细）

Linux系统文件三个主要的时间属性
atime (accesstime) :当使用这个文件的时候就会更新这个时间。
mtime (modification time) :当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变这就是和ctime的区别。
ctime (status time) :当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是create time，更像是change time，只有当更新文件的属性或者权限的时候才会更新这个时间，
但是更改内容的话是不会更新这个时间。

find ./ -m +30 -exec rm -f {} \;     查找文件超过30天的删除

• 目录也是一种文件，
• 目录文件的结构

文件名1

inode号码1

文件名2

inode号码2

每一行称为一个目录项

• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件
• Linux系统内部不使用文件名，而使用inode号码来识别文件
• 对于用户，文件名只是inode号码便于识别的别称

访问文件的流程：用户使用文件名访问文件，系统查找文件对应的inode，判断用户是否具备访问权限，有权限指向对应数据block，无权限则返回Permission denied​

2.inode的大小

inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据:另一个是 inode区，存放 inode 所包含的信息。每个 inode 的大小，一般是128字节或256字节。

通常情况下不需要关注单个inode 的大小，而是需要重点关注inode总数。inode的总数在格式化时就给定了，执行“df -i"命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量。

3.inode的特殊作用

由于inode号码与文件名分离，导致Linux系统具备以下几种特有的现象:

1.文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用;

格式

普通文件 find ./ -inum 52305140 -exec rm -i {} \;      find ./ -inum 52345140 -exec rm -rf {} \   目录

 find ./ -inum 50464299 -delete

find ./ -inum 5482545 | xargs rm -rf

2.移动文件或重命名文件，只是改变文件名，不影响inode号码;

3.打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。

4.使用vi编辑器修改文件数据保存后，会生成一个新的inode号码。使用echo导入数据给文件，inode号不变

4.实验

1.inode节点耗尽故障处理

使用fdisk创建分区/dev/sdb1，分区大小30M即可（建议使用ext4，这个更准确些）
fdisk /dev/sdb
mkfs.ext4 /dev/sdb1
mkdir /qqq
mount /dev/sdb1 /qqq
df -i
模拟inode节点耗尽故障
for ((i=1; i<=7680; i++))
>do
>touch /qqq/file$i;
>done
或 touch {1..7680}.txt
df -i
df -hT
删除文件恢复
rm -rf /qqq/*
df -i
df -hT

ls -ld /qqq    查看目录qqq 空间大小

ls /qqq/ | wc -l  查看目录qqq文件数量

2.恢复EXT类型的文件

extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)
使用fdisk创建分区/dev/sdc1，格式化ext3文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.ext3 /dev/sdc1
mkdir /test
mount /dev/sdc1/test
df -hT
安装依赖包
yum -y install e2fsprogs-devel e2fsprogs-libs
编译安装 extundelete
cd /test
wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2
tar jxvf extundelete-0.2.4.tar.bz2
cd extundelete-0.2.4/
./configure --prefix=/usr/local/extundelete && make && make install
ln -s /usr/ local/extundelete/bin/*/usr/bin/
模拟删除并执行恢复操作
cd /test
echo a>a
echo a>b
echo a>c
echo a>d
ls
extundelete /dev/sdcl --inode 2 查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，
2代表该文件系统最开始的目录。
rm -rf a b
extundelete /dev/sdc1 --inode 2
cd ~
umount /test
extundelete /dev/sdc1 --restore-allt恢复/dev/sdc1 文件系统下的所有内容
在当前目录下会出现一个RECOVERED_FILES/日录，里面保存了己经恢复的文件
ls RECOVERED_FILES/

3.xfs 类型文件备份和恢复

Centos 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与 xfsrestore 工具进行备份恢复。

xfsdump的备份级别有两种:0表示完全备份:1-9表示增量备份。xfsdump 的备份级别默认为0。

xfsdump 的命令格式为:

xfsdump -f  备份存放位置      要备份的路径或设备文件

xfsdump命令常用选项

-f

指定备份文件目录

-L

指定标签session label

-M

指定设备标签media label

-s

备份单个文件，-s后面不能直接跟路径

xfsdump使用限制:

1.只能备份己挂载的文件系统

2.必须使用root的权限才能操作

3.只能备份XFS文件系统

4.备份后的数据只能让xfsrestore解析

5.不能备份两个具有相同UUID的文件系统（可用blkid命令查看)

使用fdisk创建分区/dev/sdb1，格式化xfs文件系统
fdisk /dev/sdb
partprobe /dev/sdb
mkfs.xfs [-f] /dev/sdb1
mkdir /data
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a
使用xfsdump命令备份整个分区
rpm -qa | grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump_sdbl /dev/sdb1 [-L dump_sdbl -M sdb1]
模拟数据丢失并使用xfsrestore命令恢复文件
cd /data/
rm -rf ./*
ls
xfsrestore -f l opt/dump_sdb1 /data/

二、日志文件

1.日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2.日志文件的分类

1.内核及系统日志

• 由系统服务rsyslog统一进行管理，日志格式基本相似
• 软件包：​rsyslog-7.4.7-16.el7.x86_64
• 主要程序：/sbin/rsyslogd​
• 主配置文件/etc/rsyslog.conf

2.用户日志

记录系统用户登录及退出系统的相关信息

3.程序日志

由各种应用程序独立管理的日志文件，记录格式不统一

3.日志保存的位置

默认位于:/var/log目录下  （操作系统本身和大部分服务器程序）

4.主要日志文件介绍：

内核及公共消息日志

/var/log/messages （最常用的）

计划任务日志

/var/log/cron

系统引导日志

/var/log/dmesg

邮件系统日志

/var/log/maillog

用户登录日志

/var/log/lastlog

/var/log/secure

/var/log/wtmp

/var/log/btmp

内核及公共消息日志

/var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、IO错误、网络错误、程序故障等。

对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。

计划任务日志

/var/log/cron：记录crond计划任务产生的事件信息

系统引导日志

/var/log/dmesg：记录Linux系统在引导过程中的各种事件信息

邮件系统日志

/var/log/maillog：记录进入或发出系统的电子邮件活动

用户登录日志

/var/log/secure：记录用户认证相关的安全事件信息

/var/log/lastlog：记录每个用户最近的登录事件。二进制格式

/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件。二进制格式

/var/run/btmp：记录失败的、错误的登录尝试及验证事件。二进制格式

通过vim /var/log/secure  来查看；二进制格式的无法通过vim直接查看需要解码

分析工具

​users 、who、w、last、lastb

​last命令用于查询成功登录到系统的用户记录

lastb命令用于查询登录失败的用户记录

3.配置文件/etc/rsyslog.conf

vim /etc/rsyslog.conf   查看配置文件

规则的格式：设备.级别    动作

规则的格式：设备.级别 动作
*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.info 表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none 表示某事件的信息不写到日志文件里（这里比如是邮件）

设备字段说明

auth

用户认证时产生的日志

authpriv  

ssh、ftp等登录信息的验证信息

daemon

一些守护进程产生的日志

ftp 

 FTP产生的日志

lpr

  打印相关活动

mark

 rsyslog服务内部的信息，时间标识

news

网络新闻传输协议(nntp)产生的消息

syslog

系统日志

uucp 

Unix-to-Unix Copy两个unix之间的相关通信

console

针对系统控制台的消息

cron

系统执行定时任务产生的日志

kern

系统内核日志

locaf0~local7

自定义程序使用

mail

 邮件日志

user

用户进程

Linux系统内核日志消息的优先级别（数字等级越小，优先级越高，消息越重要）

0 EMERG（紧急）

会导致主机系统不可用的情况。如系统崩溃

1 ALERT（警告）

必须马上采取措施解决的问题。如数据库被破坏

2 CRIT（严重)

比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能

3 ERR（错误）

运行出现错误。不是非常紧急，尽快修复的

4 WARNING（提醒）

可能影响系统功能，需要提醒用户的重要事件。不是错误，如磁盘用了85%等

5 NOTICE（注意)

不会影响正常功能，但是需要注意的事件。无需处理

6 INFO（信息）

一般信息。正常的系统信息

7 DEBUG（调试)

程序或系统调试信息等。包含详细开发的信息，调试程序时使用

none

没有优先级,不记录任何日志消息。

示例

mail.info /var/log/maillog：比指定级别更高的日志级别，包括指定级别自身，保存到/var/log/mailfog中
mail.=info /var/log/maillog：明确指定日志级别为info，保存至/var/log/maillog
mail.!info/var/log/maillog：除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog
*.info /var/log/maillog：所有facility的info级别，保存至/var/log/maillog
mail.* /var/log/maillog：mail的所有日志级别信息，都保存至/var/log/maillog
mail.notice;news.info /var/log/maillog：mail的notice以上记得日志级别和news的info以上的级别保存至/var/log/maillog
mail,news.crit -/var/log/maillog：mail和news的crit以上的日志级别保存/var/log/maillog中;"-"代表异步模式（一种排队的措施）

4.公共日志 /var/log/messages

文件记录格式

时间标签：消息发出的日期和时间
主机名 ：生成信息的计算机的名称
子系统名称：发出消息的应用程序的名称
消息：消息的具体内容

5.程序日志分析

有相应的应用程序独立进行管理

程序自己维护日志记录，httpd网站服务程序使用两个日志文件
access_log 记录客户访问事件
error_log 记录错误事件
web服务: /var/log/httpd/
代理服务:/var/log/squid/
access.log、cache.log
分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用日志分析工具

yum instal -y httpd 用yum安装httpd
systemctl start httpd 开启httpd服务
systemctl status httpd 查看httpd服务
cd /var/log
cd httpd/ （文件里有acess_log error_log）
cd /etc/httpd (logs是/var/log/httpd/的软连接)
另存文件：sz messages 或使用

6.日志管理策略

及时作好备份和归档：rsyslog ；命令或脚本+crontab；ELK或EFK

延长日志保存期限：find -mtime +

控制日志访问权限：chmod 640

●日志中可能会包含各类敏感信息，如账户、口令等

集中管理日志

●将服务器的日志文件发到统一的日志文件服务器

●便于日志信息的统─收集、整理和分析

●杜绝日志信息的意外丢失、恶意篡改或删除