MySQL插入一条数据竟然耗时100ms
数据引擎为innodb,数据量并没有多大,理论上插入一条数据也就几ms。磁盘IO、内存占用以及cpu使用都没有问题。所以想到是某个参数设置不当导致。查资料,发现可以设置一个参数
innodb_flush_log_at_trx_commit = 2
插入速度立马变快。 这个参数有什么意义?
该参数取值可以是0,1,2。
innodb_flush_log_at_trx_commit = 0,innodb 中的Log Thread 每隔1 秒钟会将log buffer中的数据写入到文件,同时还会通知文件系统进行文件同步的flush操作,保证数据确实已经写入到磁盘上面的物理文件。但是,每次事务的结束(commit 或者是rollback)并不会触发Log Thread 将log buffer 中的数据写入文件。所以,当设置为0 的时候,当MySQL Crash 和OS Crash 或者主机断电之后,最极端的情况是丢失1 秒时间的数据变更。
innodb_flush_log_at_trx_commit = 1,这也是innodb 的默认设置。我们每次事务的结束都会触发Log Thread 将log buffer 中的数据写入文件并通知文件系统同步文件。这个设置是最安全的设置,能够保证不论是MySQL Crash 还是OS Crash 或者是主机断电都不会丢失任何已经提交的数据。
innodb_flush_log_at_trx_commit = 2,当我们设置为2 的时候,Log Thread 会在我们每次事务结束的时候将数据写入事务日志,但是这里的写入仅仅是调用了文件系统的文件写入操作。而我们的文件系统都是有缓存机制的,所以Log Thread 的这个写入并不能保证内容真的已经写入到物理磁盘上面完成持久化的动作。文件系统什么时候会将缓存中的这个数据同步到物理磁盘文件Log Thread 就完全不知道了。所以,当设置为2 的时候,MySQL Crash 并不会造成数据的丢失,但是OS Crash 或者是主机断电后可能丢失的数据量就完全取决于文件系统了。
如何知道你的linux是什么时候安装的
在安装系统时,每个分区下都会有一个 lost+found,而且这个目录的创建时间是和该分区创建的时间一样的。所以如果想知道你的系统是什么时候安装的,只需要看这个目录的创建时间即可。
通常情况下,我们分区都会把 /boot 单独分一个区,所以你只要查看 /boot/lost+found 这个目录的创建时间即可。比较简单的方法是:
ls -ld /boot/lost+found
如果你的/boot/不是单独分区,那么就看一下 / 下的吧
ls -ld /lost+found
如果是centos7,这样做:
rpm -qi basesystem
shell习题 – 查找字母数小于6的单词
用shell打印下面这句话中字母数小于6的单词。
Bash also interprets a number of multi-character options.
参考答案:
#!/bin/bash
for s in Bash also interprets a number of multi-character options
do
n=`echo $s|wc -c`
if [ $n -lt 6 ]
then echo $s
fi
done
shell习题-删除文本中的字母
要求:
把一个文本文档的前5行中包含字母的行删除掉,同时把6到10行中的全部字母删除掉。
参考答案:
假设文本名字叫做1.txt,并且文本行数大于10,脚本如下
#!/bin/bash
##先获取该文本的行数
nu=`wc -l 1.txt |awk ‘{print $1}’`
##对前5行进程处理
for i in `seq 1 5`
do
##使用sed把每一行的内容赋值给变量
l=`sed -n “$i”p 1.txt`
##用grep 判定是否匹配字母,-v取反,-q不输出内容
if echo $l |grep -vq ‘[a-zA-Z]’
then
echo $l
fi
done
##对6-10行做删除字母处理
for i in `seq 6 10`
do
l=`sed -n “$i”p 1.txt`
echo $l|sed ‘s/[a-zA-Z]//g’
done
##剩余的直接输出
for i in `seq 11 $nu`
do
sed -n “$i”p 1.txt
done
##若想把更改内容写入到1.txt,还需要把以上内容重定向到一个文本中,然后删除1.txt,再把刚刚重定向的文件更名为1.txt
NFS客户端创建文件属主显示nobody
相信使用CentOS6搭建NFS的朋友大多都遇到过如此问题,NFS服务搭建好后,在客户端挂载成功了,但是创建文件时,属主和属组却显示为nobody。
这是NFS版本变化导致的,在centos 6版本中默认使用了nfs-v4版本,其提供了称为rpc.idmapd 的守护进程,并使用 /etc/idmapd.conf 的配置文件。当请求加载nfsv4 时,该守护进程将处理 UID 和 GID 映射。默认使用nis,没有nis它会自动映射成nobody用户。
解决此问题,并不难,下面提供两个办法:
- 在客户端挂载NFS时,加一个参数”-o nfsvers=3″
- 客户端和服务端分别打开/etc/idmapd.conf配置文件,把“#Domain = local.domain.edu” 改为 “Domain = xxx.com” (这里的xxx.com,你随意定义吧),然后再重启rpcidmapd服务,service rpcidmapd restart
shell习题-自动重启php-fpm服务
服务器上跑的是LNMP环境,近期总是有502现象。502为网站访问的状态码,200正常,502错误是nginx最为普通的错误状态码。由于502只是暂时的,并且只要一重启php-fpm服务则502消失,但不重启的话,则会一直持续很长时间。所以有必要写一个监控脚本,监控访问日志的状态码,一旦发生502,则自动重启一下php-fpm。
我们设定:
1. access_log /data/log/access.log
2. 脚本死循环,每10s检测一次(假设每10s钟的日志条数为300左右)
3. 重启php-fpm的方法是 /etc/init.d/php-fpm restart
参考答案:
#! /bin/bash
log=/data/log/access.log
N=10
while :; do
##因为10秒钟大概产生300条日志
tail -n 300 $log > /tmp/log
n_502=`grep -c ‘ 502″‘ /tmp/log`
if [ $n_502 -ge $N ]; then
##记录系统的状态
top -bn1 >/tmp/`date +%H%M%S`-top.log
vmstat 1 5 >/tmp/`date +%H%M%S`-vm.log
/etc/init.d/php-fpm restart 2>/dev/null
##重启php-fpm服务后,应先暂缓1分钟,而后继续每隔10s检测一次
sleep 60
fi
sleep 10
done
网络基础就这么多
很多同学都在群里问,网络该学习那些知识?
对于一个计算机专业的学生,我写了这篇帖子。
下面是我罗列的一些知识点:脑海中根深蒂固,纯手打
1. OSI七层模型与TCP/IP五层模型
2.对所谓的五层模型进行详细讲解
2.1 物理层:同轴电缆、双绞线和光纤,这些网络传输介质;集线器和中继器等工作在物理层的网络设备
2.2数据链路层:什么是以太网帧?为什么都MAC地址来标识数据帧?为什么都讲交换机工作在这一层?什么是冲突域?
2.3 网络层:什么是IP包?为什么用IP地址来标识?IP和MAC的区别?为什么讲路由器工作在这一层?什么是广播域?
2.4 传输层:什么是报文?什么是TCP和UDP?TCP和UDP对应的IP协议号是什么?
2.5 应用层:常见的应用层服务DHCP,DNS,FTP?这些服务时干啥用的?它们对应的TCP或UDP端口号多少?
2.6 IP:A B C D E类IP地址的区别?如何一眼区分不同类别的IP地址?什么是掩码?
这些知识点,在《计算机网络》中都可以找得到, 所有的计算机专业的学生都会有这么一本书,大家可以取淘宝二手搜一下,十块钱 十五块钱就能买一本
下面是电子版
http://download.csdn.net/download/wjbnys/5924361 《计算机网络》第五版 谢希仁
shell习题-备份数据库
需求:
设计一个shell脚本来备份数据库,首先在本地服务器上保存一份数据,然后再远程拷贝一份,本地保存一周的数据,远程保存一个月。
假定,我们知道mysql root账号的密码,要备份的库为discuz,本地备份目录为/bak/mysql, 远程服务器ip为192.168.123.30,远程提供了一个rsync服务,备份的地址是 192.168.123.30::backup . 写完脚本后,需要加入到cron中,每天凌晨3点执行。
参考答案:
#! /bin/bash
### backup mysql data
### Writen by Aming.
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/mysql/bin
d1=`data +%w`
d2=`date +%d`
pass=”your_mysql_password”
bakdir=/bak/mysql
r_bakdir=192.168.123.30::backup
exec 1>/var/log/mysqlbak.log 2>/var/log/mysqlbak.log
echo “mysql backup begin at `date +”%F %T”`.”
mysqldump -uroot -p$pass –default-character-set=gbk discuz >$bakdir/$d1.sql
rsync -az $bakdir/$d1.sql $r_bakdir/$d2.sql
echo “mysql backup end at `date +”%F %T”`.”
然后加入cron
0 3 * * * /bin/bash /usr/local/sbin/mysqlbak.sh
FTP服务的主动模式和被动模式区别
FTP协议有两种工作方式:PORT方式和PASV方式,中文意思为主动模式和被动模式
一、什么是主动FTP
主动模式的FTP工作原理:客户端从一个任意的非特权端口N连接到FTP服务器的命令端口,也就是21端口。然后客户端开始监听端口N+1,并发送FTP命令“port N+1”到FTP服务器。接着服务器会从它自己的数据端口(20)连接到客户端指定的数据端口(N+1)。
针对FTP服务器前面的防火墙来说,必须允许以下通讯才能支持主动方式FTP:
1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)
2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)
3. FTP服务器的20端口到大于1024的端口(服务器端初始化数据连接到客户端的数据端口)
4. 大于1024端口到FTP服务器的20端口(客户端发送ACK响应到服务器的数据端口)
二、什么是被动FTP
为了解决服务器发起到客户的连接的问题,人们开发了一种不同的FTP连接方式。这就是所谓的被动方式,或者叫做PASV,当客户端通知服务器它处于被动模式时才启用。
在被动方式FTP中,命令连接和数据连接都由客户端发起,这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。
当开启一个 FTP连接时,客户端打开两个任意的非特权本地端口(N>1024和N+1)。第一个端口连接服务器的21端口,但与主动方式的FTP不同,客户端不会提交PORT命令并允许服务器来回连它的数据端口,而是提交 PASV命令。这样做的结果是服务器会开启一个任意的非特权端口(P>1024),并发送PORT P命令给客户端。然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据。
对于服务器端的防火墙来说,必须允许下面的通讯才能支持被动方式的FTP:
1. 从任何大于1024的端口到服务器的21端口(客户端初始化的连接)
2. 服务器的21端口到任何大于1024的端口(服务器响应到客户端的控制端口的连接)
3. 从任何大于1024端口到服务器的大于1024端口(客户端初始化数据连接到服务器指定的任意端口)
4. 服务器的大于1024端口到远程的大于1024的端口(服务器发送ACK响应和数据到客户端的数据端口)
从上面可以看出,两种方式的命令链路连接方法是一样的,而数据链路的建立方法就完全不同。
FTP服务器的主动工作模式如下图:
FTP服务器的被动工作模式如下图:
以上关于主动和被动FTP的解释,可以简单概括为以下两点:
1、主动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 <- 服务器 20端口
2、被动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 -> 服务器 >1024端口
三、主动模式ftp与被动模式FTP优点和缺点:
主动FTP对FTP服务器的管理和安全很有利,但对客户端的管理不利。因为FTP服务器企图与客户端的高位随机端口建立连接,而这个端口很有可能被客户端的防火墙阻塞掉。被动FTP对FTP客户端的管理有利,但对服务器端的管理不利。因为客户端要与服务器端建立两个连接,其中一个连到一个高位随机端口,而这个端口很有可能被服务器端的防火墙阻塞掉。
shell习题-输入数字执行对应命令
2017年7月20日
shell习题
No Comments
aming
写一个脚本实现如下功能: 输入一个数字,然后运行对应的一个命令。显示命令如下:*cmd meau** 1—date 2–ls 3–who 4–pwd
当输入1时,会运行date, 输入2时运行ls, 依此类推。
参考答案:
shell习题