分类:未分类


nginx的location优先级


在nginx配置文件中,location主要有这几种形式:

1. 正则匹配 location ~ /abc { }

2. 不区分大小写的正则匹配 location ~* /abc { }

3. 匹配路径的前缀,如果找到停止搜索 location ^~ /abc { }

4. 精确匹配 location = /abc { }

5.普通路径前缀匹配 location /abc { }

 

先说优先级

4 > 3 > 2 > 1 > 5

 

再来解释一下各个格式

location = / {
# 精确匹配 / ,主机名后面不能带任何字符串
[ configuration A ]
}

location / {
# 因为所有的地址都以 / 开头,所以这条规则将匹配到所有请求
# 但是正则和最长字符串会优先匹配
[ configuration B ]
}

location /documents/ {

# 匹配任何以 /documents/ 开头的地址,匹配符合以后,还要继续往下搜索
# 只有后面的正则表达式没有匹配到时,这一条才会采用这一条
[ configuration C ]
}

location ~ /documents/Abc {

# 匹配任何以 /documents/ 开头的地址,匹配符合以后,还要继续往下搜索
# 只有后面的正则表达式没有匹配到时,这一条才会采用这一条
[ configuration CC ]
}

location ^~ /images/ {

# 匹配任何以 /images/ 开头的地址,匹配符合以后,停止往下搜索正则,采用这一条。
[ configuration D ]
}

location ~* \.(gif|jpg|jpeg)$ {

# 匹配所有以 gif,jpg或jpeg 结尾的请求
# 然而,所有请求 /images/ 下的图片会被 config D 处理,因为 ^~ 到达不了这一条正则
[ configuration E ]
}

location /images/ {

# 字符匹配到 /images/,继续往下,会发现 ^~ 存在
[ configuration F ]
}

location /images/abc {

# 最长字符匹配到 /images/abc,继续往下,会发现 ^~ 存在
# F与G的放置顺序是没有关系的
[ configuration G ]
}

location ~ /images/abc/ {

# 只有去掉 config D 才有效:先最长匹配 config G 开头的地址,继续往下搜索,匹配到这一条正则,采用
[ configuration H ]
}​

 

再来分析一下A-H配置的执行顺序。

1. 下面2个配置同时存在时

location = / {
[ configuration A ]
}

location / {
[ configuration B ]
}

此时A生效,因为=/优先级高于/

 

2. 下面3个配置同时存在时

location  /documents/ {
[ configuration C ]
}

location ~ /documents/ {

[configuration CB]

}

location ~ /documents/abc {
[ configuration CC ]
}

当访问的url为/documents/abc/1.html,此时CC生效,首先CB优先级高于C,而CC更优先于CB

 

3. 下面4个配置同时存在时

location ^~ /images/ {
[ configuration D ]
}

location /images/ {
[ configuration F ]
}

location /images/abc {
[ configuration G ]
}

location ~ /images/abc/ {
[ configuration H ]
}​

当访问的链接为/images/abc/123.jpg时,此时D生效。虽然4个规则都能匹配到,但^~优先级是最高的。

若^~不存在时,H优先,因为~/images/ > /images/

而/images/和/images/abc同时存在时,/images/abc优先级更高,因为后者更加精准

 

4. 下面两个配置同时存在时

location ~* \.(gif|jpg|jpeg)$ {
[ configuration E ]
}

location ~ /images/abc/ {

[ configuration H ]
}​

当访问的链接为/images/abc/123.jpg时,E生效。因为上面的规则更加精准。


最让程序员头痛的事莫过于此


问题描述:

网站访问时,并不能正常显示汉字,而是很多问号,如下图

这种问题一看就是字符集不对。 在IE浏览器下打开此站点,然后点击右键,把字符集修改为gbk,则显示正常,这样肯定是不行的,总不能让所有用户自己去设置浏览器吧。 所以还得从服务端去入手。

先curl测试:

HTTP/1.1 200 OK

Server: nginxDate: Wed, 19 Jul 2017 08:32:56 GMT

Content-Type: text/html; charset=UTF-8

Connection: keep-aliveVary: Accept-Encoding

X-Powered-By: PHP/5.6.30

发现charset为UTF-8,只要把它修改为gbk即可。 所以修改虚拟主机配置文件,在里面增加一行

charset=gbk;

重启nginx服务后,问题依旧。但curl一个静态文件字符编码变为了gbk,所以怀疑到了php设置。

/usr/local/php/bin/php -i |grep charset

结果如下:

default_charset => UTF-8 => UTF-8

打开php配置文件 /usr/local/php/etc/php.ini 搜索charset,的确有这样的配置:

default_charset = “UTF-8”

把它改为

default_charset = “”

再重启php-fpm服务

/etc/init.d/php-fpm restart

再次curl测试,结果正常了。浏览器的页面也正常了。

郁闷,又TMD断开了!!!


有时,我们想在一个会话窗口中运行一个较长时间的任务,比如压缩一个比较大的目录,或者编译安装mysql,时间会很久,但是我们不能保证中途过程这个会话一直保持连接。万一断开,你岂不是又要重新开始?

如果使用screen,则我们可随时查看这个会话中的任务情况。

打开一个会话,然后输入screen命令,回车。此时就进入了screen界面了。
然后就跟平时一样,输入要执行的任务命令,比如:查看日志

# tail -f /var/log/messages

因为这个会话是活动状态,所以我们无法停止,那么此时需要 这样操作 : 
CTRL + A ,然后按 d键,那么就退出了这个screen界面

要想运行多个 screen,则我们还可以继续输入screen命令,回车,接下来的步骤和前面是一样的。

# screen -ls  // 查看目前所有的screen任务
# screen -r id // 这个id是screen -ls 时 看到的一个数字,如果只有一个,可以省略掉id号

MySQL插入一条数据竟然耗时100ms


数据引擎为innodb,数据量并没有多大,理论上插入一条数据也就几ms。磁盘IO、内存占用以及cpu使用都没有问题。所以想到是某个参数设置不当导致。查资料,发现可以设置一个参数

innodb_flush_log_at_trx_commit = 2

插入速度立马变快。  这个参数有什么意义?

该参数取值可以是0,1,2。

innodb_flush_log_at_trx_commit = 0,innodb 中的Log Thread 每隔1 秒钟会将log buffer中的数据写入到文件,同时还会通知文件系统进行文件同步的flush操作,保证数据确实已经写入到磁盘上面的物理文件。但是,每次事务的结束(commit 或者是rollback)并不会触发Log Thread 将log buffer 中的数据写入文件。所以,当设置为0 的时候,当MySQL Crash 和OS Crash 或者主机断电之后,最极端的情况是丢失1 秒时间的数据变更。

innodb_flush_log_at_trx_commit = 1,这也是innodb 的默认设置。我们每次事务的结束都会触发Log Thread 将log buffer 中的数据写入文件并通知文件系统同步文件。这个设置是最安全的设置,能够保证不论是MySQL Crash 还是OS Crash 或者是主机断电都不会丢失任何已经提交的数据。

innodb_flush_log_at_trx_commit = 2,当我们设置为2 的时候,Log Thread 会在我们每次事务结束的时候将数据写入事务日志,但是这里的写入仅仅是调用了文件系统的文件写入操作。而我们的文件系统都是有缓存机制的,所以Log Thread 的这个写入并不能保证内容真的已经写入到物理磁盘上面完成持久化的动作。文件系统什么时候会将缓存中的这个数据同步到物理磁盘文件Log Thread 就完全不知道了。所以,当设置为2 的时候,MySQL Crash 并不会造成数据的丢失,但是OS Crash 或者是主机断电后可能丢失的数据量就完全取决于文件系统了。


如何知道你的linux是什么时候安装的


在安装系统时,每个分区下都会有一个 lost+found,而且这个目录的创建时间是和该分区创建的时间一样的。所以如果想知道你的系统是什么时候安装的,只需要看这个目录的创建时间即可。

通常情况下,我们分区都会把 /boot 单独分一个区,所以你只要查看 /boot/lost+found 这个目录的创建时间即可。比较简单的方法是:

ls -ld  /boot/lost+found

如果你的/boot/不是单独分区,那么就看一下 / 下的吧

ls -ld  /lost+found

如果是centos7,这样做:

rpm -qi  basesystem

NFS客户端创建文件属主显示nobody


相信使用CentOS6搭建NFS的朋友大多都遇到过如此问题,NFS服务搭建好后,在客户端挂载成功了,但是创建文件时,属主和属组却显示为nobody。

这是NFS版本变化导致的,在centos 6版本中默认使用了nfs-v4版本,其提供了称为rpc.idmapd 的守护进程,并使用 /etc/idmapd.conf 的配置文件。当请求加载nfsv4 时,该守护进程将处理 UID 和 GID 映射。默认使用nis,没有nis它会自动映射成nobody用户。

解决此问题,并不难,下面提供两个办法:

  1. 在客户端挂载NFS时,加一个参数”-o nfsvers=3″
  2. 客户端和服务端分别打开/etc/idmapd.conf配置文件,把“#Domain = local.domain.edu” 改为 “Domain = xxx.com” (这里的xxx.com,你随意定义吧),然后再重启rpcidmapd服务,service rpcidmapd restart

网络基础就这么多


很多同学都在群里问,网络该学习那些知识?

对于一个计算机专业的学生,我写了这篇帖子。

下面是我罗列的一些知识点:脑海中根深蒂固,纯手打

1. OSI七层模型与TCP/IP五层模型

2.对所谓的五层模型进行详细讲解

2.1 物理层:同轴电缆、双绞线和光纤,这些网络传输介质;集线器和中继器等工作在物理层的网络设备

2.2数据链路层:什么是以太网帧?为什么都MAC地址来标识数据帧?为什么都讲交换机工作在这一层?什么是冲突域?

2.3 网络层:什么是IP包?为什么用IP地址来标识?IP和MAC的区别?为什么讲路由器工作在这一层?什么是广播域?

2.4 传输层:什么是报文?什么是TCP和UDP?TCP和UDP对应的IP协议号是什么?

2.5 应用层:常见的应用层服务DHCP,DNS,FTP?这些服务时干啥用的?它们对应的TCP或UDP端口号多少?

2.6 IP:A B C D E类IP地址的区别?如何一眼区分不同类别的IP地址?什么是掩码?

 

这些知识点,在《计算机网络》中都可以找得到, 所有的计算机专业的学生都会有这么一本书,大家可以取淘宝二手搜一下,十块钱 十五块钱就能买一本

下面是电子版

http://download.csdn.net/download/wjbnys/5924361 《计算机网络》第五版 谢希仁

FTP服务的主动模式和被动模式区别


FTP协议有两种工作方式:PORT方式和PASV方式,中文意思为主动模式和被动模式

一、什么是主动FTP
主动模式的FTP工作原理:客户端从一个任意的非特权端口N连接到FTP服务器的命令端口,也就是21端口。然后客户端开始监听端口N+1,并发送FTP命令“port N+1”到FTP服务器。接着服务器会从它自己的数据端口(20)连接到客户端指定的数据端口(N+1)。

针对FTP服务器前面的防火墙来说,必须允许以下通讯才能支持主动方式FTP:

1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)
2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)
3. FTP服务器的20端口到大于1024的端口(服务器端初始化数据连接到客户端的数据端口)
4. 大于1024端口到FTP服务器的20端口(客户端发送ACK响应到服务器的数据端口)

二、什么是被动FTP
为了解决服务器发起到客户的连接的问题,人们开发了一种不同的FTP连接方式。这就是所谓的被动方式,或者叫做PASV,当客户端通知服务器它处于被动模式时才启用。

在被动方式FTP中,命令连接和数据连接都由客户端发起,这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。

当开启一个 FTP连接时,客户端打开两个任意的非特权本地端口(N>1024和N+1)。第一个端口连接服务器的21端口,但与主动方式的FTP不同,客户端不会提交PORT命令并允许服务器来回连它的数据端口,而是提交 PASV命令。这样做的结果是服务器会开启一个任意的非特权端口(P>1024),并发送PORT P命令给客户端。然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据。

对于服务器端的防火墙来说,必须允许下面的通讯才能支持被动方式的FTP:

1. 从任何大于1024的端口到服务器的21端口(客户端初始化的连接)
2. 服务器的21端口到任何大于1024的端口(服务器响应到客户端的控制端口的连接)
3. 从任何大于1024端口到服务器的大于1024端口(客户端初始化数据连接到服务器指定的任意端口)
4. 服务器的大于1024端口到远程的大于1024的端口(服务器发送ACK响应和数据到客户端的数据端口)

从上面可以看出,两种方式的命令链路连接方法是一样的,而数据链路的建立方法就完全不同。

FTP服务器的主动工作模式如下图:

FTP服务器的被动工作模式如下图:

以上关于主动和被动FTP的解释,可以简单概括为以下两点:

1、主动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 <- 服务器 20端口

2、被动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 -> 服务器 >1024端口

三、主动模式ftp与被动模式FTP优点和缺点:

主动FTP对FTP服务器的管理和安全很有利,但对客户端的管理不利。因为FTP服务器企图与客户端的高位随机端口建立连接,而这个端口很有可能被客户端的防火墙阻塞掉。被动FTP对FTP客户端的管理有利,但对服务器端的管理不利。因为客户端要与服务器端建立两个连接,其中一个连到一个高位随机端口,而这个端口很有可能被服务器端的防火墙阻塞掉。


nginx代理一堆域名


需求背景:  内网有一台机器不能连外网,所以没有办法使用yum,考虑过使用iptables nat 转发上网,但因为一些原因,放弃使用。所以想到nginx代理,原理很简单。

A 不能访问 1网站, B可以访问,A和B可以内网通信,所以可以让B作为A的代理。 并且可以限定访问的来源IP,配置文件如下:

server {
listen       80;
server_name aaa.com bbb.com  ccc.com ddd.com eee.com;

location / {
resolver 119.29.29.29;
proxy_pass       http://$host;
proxy_set_header Host      $host;
proxy_set_header X-Real-IP $remote_addr;
allow 192.168.5.0/24;
deny all;
}
}

说明:这里的119.29.29.29 为一个DNS的ip,用resolver来指定。

假如B机器内网ip为 192.168.5.11,只需要在A上加一条hosts

192.168.5.11 aaa.com bbb.com ccc.com ddd.com eee.com


分享一个使用第三方邮箱发邮件的脚本


网上找的,原作者不详。这脚本用起来比linux系统自带的sendmail或者postfix强太多,无论是在shell告警脚本中引用,还是用于zabbix都非常好用。

可以在后面的地址下载源码  https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py

#!/usr/bin/env python

#-*- coding: UTF-8 -*-
import os,sys
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *

 
def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.qq.com'
    gport = 25

    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject

        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)
        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()

    except Exception,err:
        print "Send mail failed. Error: %s" % err
 
def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]

##定义QQ邮箱的账号和密码,你需要修改成你自己的账号和密码(请不要把真实的用户名和密码放到网上公开,否则你会死的很惨)
    sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
 
if __name__ == "__main__":
    main()

脚本使用说明:

1. 首先定义好脚本中的邮箱账号和密码

2. 脚本执行命令为:python mail.py 目标邮箱 “邮件主题” “邮件内容”