月份：2017年7月
shell习题-监控80端口
需求：
写一个脚本，判断本机的80端口（假如服务为httpd）是否开启着，如果开启着什么都不做，如果发现端口不存在，那么重启一下httpd服务，并发邮件通知你自己。脚本写好后，可以每一分钟执行一次，也可以写一个死循环的脚本，30s检测一次。
参考答案
#! /bin/bash
mail=123@123.com
if netstat -lnp |grep ‘:80’ |grep -q ‘LISTEN’; then
exit
else
/usr/local/apache2/bin/apachectl restart >/dev/null 2> /dev/null
python mail.py $mail “check_80” “The 80 port is down.”
n=`ps aux |grep httpd|grep -cv grep`
if [ $n -eq 0 ]; then
/usr/local/apache2/bin/apachectl start 2>/tmp/apache_start.err
fi
if [ -s /tmp/apache_start.err ]; then
python mail.py $mail ‘apache_start_error’ `cat /tmp/apache_start.err`
fi
fi
nginx代理一堆域名
需求背景： 内网有一台机器不能连外网，所以没有办法使用yum，考虑过使用iptables nat 转发上网，但因为一些原因，放弃使用。所以想到nginx代理，原理很简单。
A 不能访问 1网站， B可以访问，A和B可以内网通信，所以可以让B作为A的代理。 并且可以限定访问的来源IP，配置文件如下：
server {
listen 80;
server_name aaa.com bbb.com ccc.com ddd.com eee.com;
location / {
resolver 119.29.29.29;
proxy_pass http://$host;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
allow 192.168.5.0/24;
deny all;
}
}
说明：这里的119.29.29.29 为一个DNS的ip，用resolver来指定。
假如B机器内网ip为 192.168.5.11，只需要在A上加一条hosts
192.168.5.11 aaa.com bbb.com ccc.com ddd.com eee.com
shell习题-批量更改文件名
需求：
- 找到/123目录下所有后缀名为.txt的文件
- 批量修改.txt为.txt.bak
- 把所有.bak文件打包压缩为123.tar.gz
- 批量还原文件的名字，即把增加的.bak再删除
参考答案
#!/bin/bash
##查找txt文件
find /123 -type f -name “*.txt” > /tmp/txt.list
##批量修改文件名
for f in `cat /tmp/txt.list`
do
mv $f $f.bak
done
##创建一个目录，为了避免目录已经存在，所以要加一个复杂的后缀名
d=`date +%y%m%d%H%M%S`
mkdir /tmp/123_$d
##把.bak文件拷贝到/tmp/123_$d
for f in `cat /tmp/txt.list`
do
cp $f.bak /tmp/123_$d
done
##打包压缩
cd /tmp/
tar czf 123.tar.gz 123_$d/
##还原
for f in `cat /tmp/txt.list`
do
mv $f.bak $f
done
分享一个使用第三方邮箱发邮件的脚本
网上找的，原作者不详。这脚本用起来比linux系统自带的sendmail或者postfix强太多，无论是在shell告警脚本中引用，还是用于zabbix都非常好用。
可以在后面的地址下载源码 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py
#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
gserver = 'smtp.qq.com'
gport = 25
try:
msg = MIMEText(unicode(content).encode('utf-8'))
msg['from'] = mailfrom
msg['to'] = mailto
msg['Reply-To'] = mailfrom
msg['Subject'] = subject
smtp = smtplib.SMTP(gserver, gport)
smtp.set_debuglevel(0)
smtp.ehlo()
smtp.login(username,password)
smtp.sendmail(mailfrom, mailto, msg.as_string())
smtp.close()
except Exception,err:
print "Send mail failed. Error: %s" % err
def main():
to=sys.argv[1]
subject=sys.argv[2]
content=sys.argv[3]
##定义QQ邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
if __name__ == "__main__":
main()
脚本使用说明：
1. 首先定义好脚本中的邮箱账号和密码
2. 脚本执行命令为：python mail.py 目标邮箱 “邮件主题” “邮件内容”
mysql远程备份、压缩、解压、导入一条命令搞定
需求： 需要把远程的mysql服务器A上的数据，导出再导入到另一台服务器B。
其中B机器没有外网，所以只能通过中间一台有外网的机器C来操作。
其中C机器和B机器内网是通的。
思路就是： 先登录C机器，然后在C机器上执行命令：
ssh user@A “mysqldump -uroot –single-transaction –master-data=2 -q –flush-logs –databases databasename |bzip2 -” |bzip2 -d |tee /data/1.sql |mysql -hB -Pport -uusername -ppasswd
说明：
1. 命令中的A，B都为IP地址。
2. InnoDB 表在备份时，通常启用选项 –single-transaction 来保证备份的一致性，实际上它的工作原理是设定本次会话的隔离级别为：REPEATABLE READ，以确保本次会话(dump)时，不会看到其他会话已经提交了的数据。
3. master-data,使用此选项，可用于设立另一台服务器作为master的slave。它会使dump输出包含CHANGE MASTER TO语句，标记dump源的二进制日志坐标（文件名和位置）。在把load dump文件加载到slave之后，slave应当从该master坐标开始复制。如果选项赋值为2，那么CHANGE MASTER TO 语句会被写成一个SQL comment（注释），从而只提供信息，如果选项赋值为1，那么CHANGE MASTER TO语句不会被写成注释并且在dump被载入时生效。如果没有指定，默认值为1。
shell练习题-设计监控脚本
设计一个脚本，监控远程的一台机器(假设ip为123.23.11.21)的存活状态，当发现宕机时发一封邮件给你自己。
提示：
1. 你可以使用ping命令 ping -c10 123.23.11.21
2. 发邮件脚本可以参考 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py
3. 脚本可以搞成死循环，每隔30s检测一次
参考答案：
#!/bin/bash
ip=123.23.11.21
ma=abc@139.comwhile 1
do
ping -c10 $ip >/dev/null 2>/dev/null
if [ $? != “0” ];then
python /usr/local/sbin/mail.py $ma “$ip down” “$ip is down”#假设mail.py已经编写并设置好了
fi
sleep 30
done
shell练习题-统计内存使用
需求：
写一个脚本计算一下linux系统所有进程占用内存大小的和。（提示，使用ps或者top命令）
参考答案：
#! /bin/bash
sum=0
for mem in `ps aux |awk ‘{print $6}’ |grep -v ‘RSS’ `
do
sum=$[$sum+$mem]
done
echo “The total memory is $sum””k”
也可以使用awk 一条命令计算：
ps aux | grep -v ‘RSS TTY’ |awk ‘{(sum=sum+$6)};END{print sum}’
nginx 代理tomcat，自定义404页面
需求背景是：
网站基于java，使用tomcat搭建环境，使用nginx作为前端代理。若不做特殊处理，当访问出现404时，将会返回tomcat的404页面，现要求404页面为nginx的自定义页面，并非tomcat自带的404页面。
nginx的配置文件内容如下：
server {
listen 80;
server_name www.xxx.com;
proxy_intercept_errors on;
recursive_error_pages on;
location / {
error_page 404 @404;
proxy_pass http://127.0.0.1:8080;
proxy_set_header Host $host;
}
location @404 {
root /tmp/111/;
error_page 404 /404.html;
}
}
其中红色字体的两行配置非常关键，404.html的位置在/tmp/111/404.html。
proxy_intercept_errors on; 当上游服务器响应头回来后，可以根据响应状态码的值进行拦截错误处理，与error_page 指令相互结合。用在访问上游服务器出现错误的情况下。
recursive_error_pages on; 可以让下面的location @404生效。
shell练习题-统计日志
有日志1.log，内容如下：
日志片段：
112.111.12.248 – [25/Sep/2013:16:08:31 +0800]formula-x.haotui.com “/seccode.php?update=0.5593110133088248″ 200″http://formula-x.haotui.com/registerbbs.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)”
61.147.76.51 – [25/Sep/2013:16:08:31 +0800]xyzdiy.5d6d.com “/attachment.php?aid=4554&k=9ce51e2c376bc861603c7689d97c04a1&t=1334564048&fid=9&sid=zgohwYoLZq2qPW233ZIRsJiUeu22XqE8f49jY9mouRSoE71″ 301″http://xyzdiy.5d6d.com/thread-1435-1-23.html” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)”
要求： 统计出每个IP的访问量有多少？
参考答案：
awk ‘{print $1}’ 1.log |sort -n|uniq -c |sort -n
FTP服务的主动模式和被动模式区别
2017年7月14日
未分类
No Comments
aming
FTP协议有两种工作方式：PORT方式和PASV方式，中文意思为主动模式和被动模式
一、什么是主动FTP
主动模式的FTP工作原理：客户端从一个任意的非特权端口N连接到FTP服务器的命令端口，也就是21端口。然后客户端开始监听端口N+1，并发送FTP命令“port N+1”到FTP服务器。接着服务器会从它自己的数据端口(20)连接到客户端指定的数据端口(N+1)。
针对FTP服务器前面的防火墙来说，必须允许以下通讯才能支持主动方式FTP：
1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)
2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)
3. FTP服务器的20端口到大于1024的端口(服务器端初始化数据连接到客户端的数据端口)
4. 大于1024端口到FTP服务器的20端口(客户端发送ACK响应到服务器的数据端口)
二、什么是被动FTP
为了解决服务器发起到客户的连接的问题，人们开发了一种不同的FTP连接方式。这就是所谓的被动方式，或者叫做PASV，当客户端通知服务器它处于被动模式时才启用。
在被动方式FTP中，命令连接和数据连接都由客户端发起，这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。
当开启一个 FTP连接时，客户端打开两个任意的非特权本地端口(N>1024和N+1)。第一个端口连接服务器的21端口，但与主动方式的FTP不同，客户端不会提交PORT命令并允许服务器来回连它的数据端口，而是提交 PASV命令。这样做的结果是服务器会开启一个任意的非特权端口(P>1024)，并发送PORT P命令给客户端。然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据。
对于服务器端的防火墙来说，必须允许下面的通讯才能支持被动方式的FTP:
1. 从任何大于1024的端口到服务器的21端口(客户端初始化的连接)
2. 服务器的21端口到任何大于1024的端口(服务器响应到客户端的控制端口的连接)
3. 从任何大于1024端口到服务器的大于1024端口(客户端初始化数据连接到服务器指定的任意端口)
4. 服务器的大于1024端口到远程的大于1024的端口(服务器发送ACK响应和数据到客户端的数据端口)
从上面可以看出，两种方式的命令链路连接方法是一样的，而数据链路的建立方法就完全不同。
FTP服务器的主动工作模式如下图：
FTP服务器的被动工作模式如下图：
以上关于主动和被动FTP的解释，可以简单概括为以下两点：
1、主动FTP：
命令连接：客户端 >1024端口 -> 服务器 21端口
数据连接：客户端 >1024端口 <- 服务器 20端口
2、被动FTP：
命令连接：客户端 >1024端口 -> 服务器 21端口
数据连接：客户端 >1024端口 -> 服务器 >1024端口
三、主动模式ftp与被动模式FTP优点和缺点：
主动FTP对FTP服务器的管理和安全很有利，但对客户端的管理不利。因为FTP服务器企图与客户端的高位随机端口建立连接，而这个端口很有可能被客户端的防火墙阻塞掉。被动FTP对FTP客户端的管理有利，但对服务器端的管理不利。因为客户端要与服务器端建立两个连接，其中一个连到一个高位随机端口，而这个端口很有可能被服务器端的防火墙阻塞掉。
ftp