Rootop 服务器运维与web架构

2024-07-16
发表者 Venus
XHR和fetch两种类型对OPTIONS方法和预检请求区别整理已关闭评论

XHR和fetch两种类型对OPTIONS方法和预检请求区别整理

XHR是传统的数据请求方式，而 Fetch API 则代表了现代Web开发的新兴标准。

fetch和XMLHttpRequest（XHR）在处理跨域请求时的行为有所不同。

# fetch
fetch默认不发送OPTIONS请求。
如果需要发送OPTIONS请求，需要显式地创建一个OPTIONS请求并使用fetch发送。

# XMLHttpRequest (XHR)
XHR在跨域请求时浏览器会先发送OPTIONS请求，以检查服务器是否允许实际请求跨域访问资源。
这是浏览器的一种安全措施，确保服务器知道请求的方法、来源和头部是安全的。

预检请求（Preflight Request）：在实际的跨域请求之前，浏览器会首先发送一个 OPTIONS 请求，以检测服务器是否支持真实的跨域请求。
这个 OPTIONS 请求中会携带以下请求头信息：
Access-Control-Request-Headers：告知服务器实际请求可能携带的自定义请求头字段。
Access-Control-Request-Method：告知服务器实际请求所使用的 HTTP 方法。

服务端响应：
服务端需要设置响应头，以允许跨域请求。以下是一些关键的响应头字段
Access-Control-Allow-Methods： 返回服务端允许的请求方法，包括 GET、HEAD、PUT、PATCH、POST、DELETE 等。
Access-Control-Allow-Credentials：允许跨域携带 cookie（如果跨域请求需要携带 cookie，这个字段必须设置为 true）。
Access-Control-Allow-Origin： 允许跨域请求的域名，可以在服务端配置信任的域名白名单。
Access-Control-Allow-Headers: 允许跨域携带自定义请求头。

参考：https://www.cnblogs.com/magicg/p/13670213.html

########################################################################################

在配置 aws cloudfront 时要注意两种 “缓存键和源请求” 的区别！！！

这两个标头，需要被 CloudFront 正确的转发至 S3，才能使有 OPTIONS 的跨域成功被满足。然而恰巧两种「缓存键和源请求」对于处理这个标头的方式不同：

1. 使用 Cache policy and origin request policy (recommended)，缓存策略是 CachingOptimized、源请求策略 无。
这样的配置会让 CloudFront 过滤掉以上两个 Access-Control-* 标头。
参考基准：当使用 Cache policy and origin request policy，需参考文档 [1] 的表格，确认您需要转发的标头是否在表格中、且是否默认会被转发。
然而 Access-Control-* 属于表格中第一列「其他定义的标头」，行为会是：被过滤。

解决方式：使用「源请求策略」功能，选择「CORS-S3Origin」，配置完成后刷新缓存（失效）。

2. 使用 Legacy cache settings，也就是「旧缓存设置」，旧缓存设置的行为，如同表格 [1] 第一列「其他定义的标头」提到的，「旧缓存设置 会使 CloudFront 将标头转发到源」，因此您使用旧缓存设置的时候，不用额外多做配置就可以将 Access-Control-* 转发到源，使 OPTIONS 成功。

因此建议您当使用 Cache policy and origin request policy 时需要额外注意标头是否被转发，并使用「源请求策略」来放行特定标头，以 CORS 跨域来说选择「CORS-S3Origin」并清理下缓存即可让 OPTIONS 成功。
或者是直接使用「旧缓存设置」也可以达成您的需求。

文档1：https://docs.aws.amazon.com/zh_cn/AmazonCloudFront/latest/DeveloperGuide/RequestAndResponseBehaviorCustomOrigin.html#request-custom-headers-behavior

2024-07-12
发表者 Venus
nginx配置br压缩已关闭评论

nginx配置br压缩

# br模块仓库 https://github.com/google/ngx_brotli

注意br模块只能在https中用。http协议是不支持的。

当浏览器发送请求时，会在请求头中携带支持的压缩算法。
比如chrome访问http网站时，请求头中为Accept-Encoding: gzip, deflate
访问https网站时，请求头中为Accept-Encoding: gzip, deflate, br, zstd

nginx可以同时配置gzip和br压缩算法，如果浏览器的请求头中含有br，则优先于gzip。

# 错误：CMake 3.15 or higher is required. You are running version 3.6.0
# 安装新版本cmake，否则可能会提示上面CMake版本过低问题。

[root@web02 ~]# cd /usr/local/
[root@web02 local]# wget -c https://cmake.org/files/v3.30/cmake-3.30.0-linux-x86_64.tar.gz
[root@web02 local]# tar zxvf cmake-3.30.0-linux-x86_64.tar.gz 

[root@web02 local]# echo 'export PATH=$PATH:/usr/local/cmake-3.30.0-linux-x86_64/bin' >> /etc/profile
[root@web02 ~]# source /etc/profile

# 构建依赖
[root@web02 ~]# cat br
git clone --recurse-submodules https://github.com/google/ngx_brotli
cd ngx_brotli/deps/brotli
mkdir out && cd out
cmake -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DCMAKE_C_FLAGS="-Ofast -m64 -march=native -mtune=native -flto -funroll-loops -ffunction-sections -fdata-sections -Wl,--gc-sections" -DCMAKE_CXX_FLAGS="-Ofast -m64 -march=native -mtune=native -flto -funroll-loops -ffunction-sections -fdata-sections -Wl,--gc-sections" -DCMAKE_INSTALL_PREFIX=./installed ..
cmake --build . --config Release --target brotlienc

[root@web02 ~]# bash br

# nginx添加br的编译参数
./configure --add-module=../ngx_brotli


# nginx虚拟主机配置
server
{

	listen       16666 ssl;
	http2 on;
	server_name  localhost;

	ssl_certificate /home/software/openresty/nginx/conf/vhost/fullchain5.pem;
	ssl_certificate_key /home/software/openresty/nginx/conf/vhost/privkey5.pem;
	
	ssl_session_timeout 5m;
	ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3;
	ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
	ssl_prefer_server_ciphers on;


	index index.html;
	root /home/software/openresty/nginx/html;

	#启用brotli压缩
	brotli on;
	brotli_comp_level 6;
	brotli_buffers 16 8k;
	brotli_min_length 20;
	# 注意要配置压缩的文件类型(content-type)
	brotli_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript image/svg+xml application/wasm application/octet-stream;  


	# 反向代理用法
	#location /
	#{
		#proxy_pass http://192.168.12.196:8888;
		#proxy_set_header Accept-Encoding "";

		#启用brotli压缩
		#brotli on;
		#brotli_comp_level 6;
		#brotli_buffers 16 8k;
		#brotli_min_length 20;
		# 注意要配置压缩的文件类型(content-type)
		#brotli_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript image/svg+xml application/wasm application/octet-stream;  
	#}
}

2024-06-27
发表者 Venus
sshfs远程挂载到本地已关闭评论

sshfs远程挂载到本地

sshfs命令可以将远程文件系统挂载到本地文件系统，使得远程文件可以像本地文件一样访问。

[root@web ~]# yum install -y fuse-sshfs
# ubuntu安装：apt install sshfs

# 将远程主机的/mnt目录挂载到本地的/mnt目录
[root@web ~]# sshfs root@192.168.12.220:/mnt /mnt
提示输入密码

[root@web ~]# df -h| grep mnt
root@192.168.12.220:/mnt   49G  2.1G   47G   5% /mnt

# 卸载
[root@web ~]# fusermount -u /mnt/

2024-06-18
发表者 Venus
ip rule/ip route定义策略路由已关闭评论

ip rule/ip route定义策略路由

ip rule 是 Linux 下的一个命令，用于管理和查看路由策略数据库 (RPDB, Routing Policy Database)。
它允许管理员定义基于各种选择条件（如源地址、目的地址、接口等）的路由规则。
以下是 ip rule 命令的一些常用参数及其解释：

# 常用参数
add：添加一条新的路由规则。
del：删除一条现有的路由规则。
list 或 show：显示当前的路由规则。

参数解释
from [ADDRESS[/MASK]]：指定源地址或源地址范围。只匹配来自这些地址的数据包。可以是单个 IP 地址或 CIDR 范围。
to [ADDRESS[/MASK]]：  指定目的地址或目的地址范围。只匹配发送到这些地址的数据包。可以是单个 IP 地址或 CIDR 范围。
iif [NAME]：		   指定入接口。只匹配从该接口接收到的数据包。接口名例如 eth0。
oif [NAME]：		   指定出接口。只匹配将从该接口发送出去的数据包。接口名例如 eth0。
priority [PREFERENCE]：指定规则的优先级。数值越小优先级越高。规则按优先级顺序进行匹配。规则按从小到大的顺序进行匹配。
table [TABLE_ID]：	   指定路由表。数据包匹配此规则后，将在指定的路由表中查找路由。默认路由表 ID 为 main (254)， local (255)， default (253) 等。
fwmark [MARK]：		   指定防火墙标记。只匹配带有该标记的数据包。由 iptables 或 nftables 设置的数据包标记。
uidrange [UID-START-UID-END]：匹配数据包的用户 ID 范围。例如， 0-65535。
sport [PORT[/MASK]]：  指定源端口或源端口范围。只匹配来自这些端口的数据包。可以是单个端口或端口范围。
dport [PORT[/MASK]]：  指定目标端口或目标端口范围。只匹配发送到这些端口的数据包。可以是单个端口或端口范围。
tos [TOS]：			   指定服务类型 (Type of Service)。只匹配带有此 TOS 值的数据包。TOS 值用来指定数据包的优先级。
ipproto [PROTOCOL]：   指定 IP 协议。只匹配使用该协议的数据包。例如， tcp， udp， icmp 等。

在方括号内的表达式(“[” 和 “]”之间的字符)是可选的（写命令时要去掉括号）。
在尖括号内的表达式(“<” 和 “>”之间的字符)是必须替换的表达式(而且要去掉尖括号)。
省略号表示该选项可以单个或多个

# 添加规则
ip rule add from 192.168.1.0/24 table 100 priority 100
这条规则表示，来自 192.168.1.0/24 网络的数据包将根据路由表 100 的规则进行处理，优先级为 100。

# 删除规则
ip rule del from 192.168.1.0/24 table 100 priority 100
这条规则表示删除之前添加的规则。

# 显示当前规则
ip rule show
这条命令将显示当前的所有路由规则及其优先级和条件。

#####################################################################
linux中默认有3个路由表，local main default
[root@localhost ~]# cat /etc/iproute2/rt_tables 
#
# reserved values
#
255	local
254	main
253	default
0	unspec
#
# local
#
#1	inr.ruhep

ip route show 默认就是打印的main表，等于ip route show table main
local表是本地路由表，ip route show table local，是系统配置的ip生成的路由信息。

ip route add 是用于向 Linux 内核的路由表中添加路由的命令。
它属于 ip 命令套件的一部分，该套件用于管理网络设备、路由、策略路由和隧道。
ip route add 命令有多种参数，可以配置路由的不同方面。以下是一些常见参数及其解释：

基本语法
ip route add [prefix] via [gateway] dev [device] [additional options]

常用参数及解释
prefix:				指定要添加的目标网络或主机。格式为 IP地址/子网掩码长度，例如 192.168.1.0/24 或 0.0.0.0/0（默认路由）。
via [gateway]:		指定路由数据包的下一跳网关 IP 地址。例如 via 192.168.1.1。这是数据包应通过的中间路由器。
dev [device]:		指定要通过的网络设备接口。例如 dev eth0。这用于指示数据包应发送到的物理或虚拟网络接口。
src [source-address]:	指定用于该路由的数据包的源地址。例如 src 192.168.1.100。这在多源地址环境中非常有用。
metric [value]:		指定路由的优先级（度量值）。度量值越小，优先级越高。用于在多条路由可用时确定使用哪条路由。
table [table_id]:	指定要添加路由的路由表。默认情况下，路由添加到主路由表（table 254）。
scope [scope]:		指定路由的范围。常用范围包括：
	global：			全球范围，适用于整个互联网。
	link：				链路范围，适用于直连网络。
	host：				主机范围，仅适用于特定主机。
proto [protocol]:	指定路由协议。常用协议包括：
	static：	静态路由。
	kernel：	由内核生成的路由。
	boot：		在系统启动时添加的路由。
	dhcp：		由 DHCP 获取的路由。
	onlink:		强制将目标视为直接连接，即使没有相关 ARP 条目。这在某些需要绕过常规 ARP 检查的情况下有用。
	nexthop:	指定多个下一跳以实现负载均衡或冗余。例如：

ip route add 192.168.1.0/24 nexthop via 192.168.1.1 dev eth0 weight 1 nexthop via 192.168.1.2 dev eth1 weight 2
weight：指定每个下一跳的权重，用于流量分配。

示例
添加到特定网络的路由:
ip route add 192.168.2.0/24 via 192.168.1.1 dev eth0
将发往 192.168.2.0/24 网络的数据包通过 192.168.1.1 网关，并使用 eth0 接口。


添加默认路由:
ip route add default via 192.168.1.1
将所有未知目的地的数据包发送到 192.168.1.1 网关。


添加主机路由:
ip route add 192.168.1.10/32 dev eth0
将发往 192.168.1.10 的数据包通过 eth0 接口。


添加带度量值的路由:
ip route add 192.168.2.0/24 via 192.168.1.1 dev eth0 metric 100
添加到 192.168.2.0/24 网络的路由，度量值为 100。


添加到特定路由表:
ip route add 192.168.2.0/24 via 192.168.1.1 dev eth0 table 100
将路由添加到 ID 为 100 的路由表。

2024-06-18
发表者 Venus
非对称路由已关闭评论

非对称路由

ubuntu双网卡，网卡1为一个网段（192.168.1.10），网卡2为另一个网段（192.168.2.10），网卡2不配置网关，通过网卡2的ip连接服务器ssh服务，为什么可以连接？

在 Ubuntu 系统中，如果有两个网卡 (NICs)，每个网卡连接到不同的网络，并且只有一个网卡配置了网关，那么通过未配置网关的网卡进行连接时，数据包的返回路径可能会通过配置了网关的网卡返回。
这通常被称为 “异路由” 或 “非对称路由”。

# 解释

网卡1 (eth0): IP 192.168.1.10/24, 网关 192.168.1.1
网卡2 (eth1): IP 192.168.2.10/24, 没有配置网关

# 连接过程
从外部网络的某个主机 (IP 192.168.6.20) 尝试通过 eth1 (192.168.2.10) 连接到服务器的 SSH 服务。
外部主机发送一个 SSH 请求到 192.168.2.10。这个数据包到达 eth1 并被处理。
服务器收到数据包并生成响应。

# 数据包的返回路径
由于 eth1 没有配置网关，默认情况下，服务器会根据其路由表决定如何返回数据包。
路由表中通常有一个默认网关指向 eth0 的网关 192.168.1.1。
如果没有特定路由指向 192.168.6.20，服务器会通过 eth0 上的默认网关将响应包发回。

可以使用 ip route show 查看路由表：
输出如下：

default via 192.168.1.1 dev eth0 proto static metric 100 
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.10 metric 100 
192.168.2.0/24 dev eth1 proto kernel scope link src 192.168.2.10 metric 100

在这种配置中，没有明确的路由指向 192.168.6.20，默认路由通过 192.168.1.1。

# 解决办法，策略路由
将从192.168.2.10发出的数据从192.168.2.1网关发送出去。

ip rule add from 192.168.2.10/32 table 100
ip route add default via 192.168.2.1 dev eth1 table 100

这样配置后两个网卡都可以用，并且实现了源进源出。

注意：
在linux发行版中要注意rp_filter内核参数，像centos默认会设置为1，严格模式，禁止进出路径不一致，而ubuntu默认为2，宽松模式，即数据包只要能回即可。

此问题对应华为usg防火墙中的源进源出。