nginx代理一堆域名
需求背景： 内网有一台机器不能连外网，所以没有办法使用yum，考虑过使用iptables nat 转发上网，但因为一些原因，放弃使用。所以想到nginx代理，原理很简单。
A 不能访问 1网站， B可以访问，A和B可以内网通信，所以可以让B作为A的代理。 并且可以限定访问的来源IP，配置文件如下：
server {
listen 80;
server_name aaa.com bbb.com ccc.com ddd.com eee.com;
location / {
resolver 119.29.29.29;
proxy_pass http://$host;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
allow 192.168.5.0/24;
deny all;
}
}
说明：这里的119.29.29.29 为一个DNS的ip，用resolver来指定。
假如B机器内网ip为 192.168.5.11，只需要在A上加一条hosts
192.168.5.11 aaa.com bbb.com ccc.com ddd.com eee.com
shell习题-批量更改文件名
需求：
- 找到/123目录下所有后缀名为.txt的文件
- 批量修改.txt为.txt.bak
- 把所有.bak文件打包压缩为123.tar.gz
- 批量还原文件的名字，即把增加的.bak再删除
参考答案
#!/bin/bash
##查找txt文件
find /123 -type f -name “*.txt” > /tmp/txt.list
##批量修改文件名
for f in `cat /tmp/txt.list`
do
mv $f $f.bak
done
##创建一个目录，为了避免目录已经存在，所以要加一个复杂的后缀名
d=`date +%y%m%d%H%M%S`
mkdir /tmp/123_$d
##把.bak文件拷贝到/tmp/123_$d
for f in `cat /tmp/txt.list`
do
cp $f.bak /tmp/123_$d
done
##打包压缩
cd /tmp/
tar czf 123.tar.gz 123_$d/
##还原
for f in `cat /tmp/txt.list`
do
mv $f.bak $f
done
分享一个使用第三方邮箱发邮件的脚本
网上找的，原作者不详。这脚本用起来比linux系统自带的sendmail或者postfix强太多，无论是在shell告警脚本中引用，还是用于zabbix都非常好用。
可以在后面的地址下载源码 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py
#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
gserver = 'smtp.qq.com'
gport = 25
try:
msg = MIMEText(unicode(content).encode('utf-8'))
msg['from'] = mailfrom
msg['to'] = mailto
msg['Reply-To'] = mailfrom
msg['Subject'] = subject
smtp = smtplib.SMTP(gserver, gport)
smtp.set_debuglevel(0)
smtp.ehlo()
smtp.login(username,password)
smtp.sendmail(mailfrom, mailto, msg.as_string())
smtp.close()
except Exception,err:
print "Send mail failed. Error: %s" % err
def main():
to=sys.argv[1]
subject=sys.argv[2]
content=sys.argv[3]
##定义QQ邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
if __name__ == "__main__":
main()
脚本使用说明：
1. 首先定义好脚本中的邮箱账号和密码
2. 脚本执行命令为：python mail.py 目标邮箱 “邮件主题” “邮件内容”
mysql远程备份、压缩、解压、导入一条命令搞定
需求： 需要把远程的mysql服务器A上的数据，导出再导入到另一台服务器B。
其中B机器没有外网，所以只能通过中间一台有外网的机器C来操作。
其中C机器和B机器内网是通的。
思路就是： 先登录C机器，然后在C机器上执行命令：
ssh user@A “mysqldump -uroot –single-transaction –master-data=2 -q –flush-logs –databases databasename |bzip2 -” |bzip2 -d |tee /data/1.sql |mysql -hB -Pport -uusername -ppasswd
说明：
1. 命令中的A，B都为IP地址。
2. InnoDB 表在备份时，通常启用选项 –single-transaction 来保证备份的一致性，实际上它的工作原理是设定本次会话的隔离级别为：REPEATABLE READ，以确保本次会话(dump)时，不会看到其他会话已经提交了的数据。
3. master-data,使用此选项，可用于设立另一台服务器作为master的slave。它会使dump输出包含CHANGE MASTER TO语句，标记dump源的二进制日志坐标（文件名和位置）。在把load dump文件加载到slave之后，slave应当从该master坐标开始复制。如果选项赋值为2，那么CHANGE MASTER TO 语句会被写成一个SQL comment（注释），从而只提供信息，如果选项赋值为1，那么CHANGE MASTER TO语句不会被写成注释并且在dump被载入时生效。如果没有指定，默认值为1。
shell练习题-设计监控脚本
设计一个脚本，监控远程的一台机器(假设ip为123.23.11.21)的存活状态，当发现宕机时发一封邮件给你自己。
提示：
1. 你可以使用ping命令 ping -c10 123.23.11.21
2. 发邮件脚本可以参考 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py
3. 脚本可以搞成死循环，每隔30s检测一次
参考答案：
#!/bin/bash
ip=123.23.11.21
ma=abc@139.comwhile 1
do
ping -c10 $ip >/dev/null 2>/dev/null
if [ $? != “0” ];then
python /usr/local/sbin/mail.py $ma “$ip down” “$ip is down”#假设mail.py已经编写并设置好了
fi
sleep 30
done
shell练习题-统计内存使用
需求：
写一个脚本计算一下linux系统所有进程占用内存大小的和。（提示，使用ps或者top命令）
参考答案：
#! /bin/bash
sum=0
for mem in `ps aux |awk ‘{print $6}’ |grep -v ‘RSS’ `
do
sum=$[$sum+$mem]
done
echo “The total memory is $sum””k”
也可以使用awk 一条命令计算：
ps aux | grep -v ‘RSS TTY’ |awk ‘{(sum=sum+$6)};END{print sum}’
nginx 代理tomcat，自定义404页面
需求背景是：
网站基于java，使用tomcat搭建环境，使用nginx作为前端代理。若不做特殊处理，当访问出现404时，将会返回tomcat的404页面，现要求404页面为nginx的自定义页面，并非tomcat自带的404页面。
nginx的配置文件内容如下：
server {
listen 80;
server_name www.xxx.com;
proxy_intercept_errors on;
recursive_error_pages on;
location / {
error_page 404 @404;
proxy_pass http://127.0.0.1:8080;
proxy_set_header Host $host;
}
location @404 {
root /tmp/111/;
error_page 404 /404.html;
}
}
其中红色字体的两行配置非常关键，404.html的位置在/tmp/111/404.html。
proxy_intercept_errors on; 当上游服务器响应头回来后，可以根据响应状态码的值进行拦截错误处理，与error_page 指令相互结合。用在访问上游服务器出现错误的情况下。
recursive_error_pages on; 可以让下面的location @404生效。
shell练习题-统计日志
有日志1.log，内容如下：
日志片段：
112.111.12.248 – [25/Sep/2013:16:08:31 +0800]formula-x.haotui.com “/seccode.php?update=0.5593110133088248″ 200″http://formula-x.haotui.com/registerbbs.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)”
61.147.76.51 – [25/Sep/2013:16:08:31 +0800]xyzdiy.5d6d.com “/attachment.php?aid=4554&k=9ce51e2c376bc861603c7689d97c04a1&t=1334564048&fid=9&sid=zgohwYoLZq2qPW233ZIRsJiUeu22XqE8f49jY9mouRSoE71″ 301″http://xyzdiy.5d6d.com/thread-1435-1-23.html” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”
要求： 统计出每个IP的访问量有多少？
参考答案：
awk ‘{print $1}’ 1.log |sort -n|uniq -c |sort -n
grep命令的-P选项
man grep的时候有一个-P，文档上的英文：
-P, –perl-regexp
Interpret PATTERN as a Perl regular expression. This is highly experimental and grep -P may warn of nimplemented features.
这意思是，-P 可以让grep使用perl的正则表达式语法，因为perl的正则更加多元化，能实现更加复杂的场景。
最典型的用法是，匹配指定字符串之间的字符。 比如，我们想在一句话（Hello，my name is aming.)中匹配中间的一段字符串（my name is) 可以这样写正则表达式。
echo “Hello, my name is aming.”|grep -P ‘(?<=Hello, ).*(?= aming.)’
如果只需要匹配到的部分，还可以加上-o选项
echo “Hello, my name is aming.”|grep -Po ‘(?<=Hello, ).*(?= aming.)’
根据这个思路，我们可以去匹配IP地址
ifconfig eth0 |grep -Po ‘(?<=addr:).*(?= Bcast)’
shell习题-监控80端口
2017年7月14日
shell习题
No Comments
aming
需求：
写一个脚本，判断本机的80端口（假如服务为httpd）是否开启着，如果开启着什么都不做，如果发现端口不存在，那么重启一下httpd服务，并发邮件通知你自己。脚本写好后，可以每一分钟执行一次，也可以写一个死循环的脚本，30s检测一次。
参考答案
shell习题