Skip to content

Linux命令行操作技巧

本文档一般不涉及root权限,Linux相关笔记还有:

Linux系统配置

SSH远程登录

Linux备份


查看内置命令的帮助

将以下内容加入~/.bashrc中即可,判断如果在内置命令就调用help -m,不是则绕开bash函数来运行man进程

man () {
    case "$(type -t -- "$1")" in
    builtin|keyword)
        help -m "$1" | sensible-pager
        ;;
    *)
        command man "$@"
        ;;
    esac
}

grep搜索帮助文档

用两个横线--作为grep的第一个参数表示不要把其后面的形如-z的参数当成grep的参数

例如我想知道tar命令中的-z是什么意思:

man tar|grep -- -z

帮助文本的grep,把stderr重定向到stdout

某些时候帮助文本是输出到标准错误输出的,需要用2>&1这样的重定向咯

ssh-keygen --help 2>&1|grep bit

各种解压命令

tar.gz: tar -zxvf xx.tar.gz

tar.bz2: tar -jxvf xx.tar.bz2

zip:unzip xx.zip

参数含义:

-x解压,-v详细显示解压出来的东西(如果是一个复杂的压缩包建议不要用以加快解压速度),-f后接压缩文件的文件名


当前目录文件全文搜索

这里要搜索当前目录下面所有的包含”MultiTeam”文件

grep MultiTeam -r .

统计当前文件夹代码行数

find 指定文件后缀名,记住要引号避免bash解析*

find -name "*.py" -o -name "*.md"|xargs cat|wc

查看给定文件列表的文件大小

用xargs -d指定分隔符为\n(默认会按照空格和\n分隔参数)

cat list.txt | xargs -d "\n" ls -alh

wget慢慢下载

wget -i list.txt  -nc --wait=60 --random-wait

其中nc表示已经下载到的文件就不要再请求了,wait=60表示两次请求间隔60s,random-wait表示随机等待2~120s


touch修改时间戳

将b.txt的时间戳改为和a.txt一样

touch -r a.txt b.txt

去掉Ubuntu默认情况下ls的颜色

unalias ls

或者直接使用:Credits @rachpt

\ls

同理也可以绕过grep的alias: \grep


换行方式修改

如果一个文件来自于Windows,可能需要先修改换行方式才能用,去掉文件中的\r

vim中输入 :set ff=unix


iodine–使用DNS传输数据

  • http://code.kryo.se/iodine/

注意: 本方案网速极低,使用时要有足够的耐心,不能保证复杂情况下是否可行(尤其是Windows)

前期准备:一个域名(假设为example.com)及一台服务器(假设为1.2.3.4),建议客户端在Linux上运行

1. 设置域名解析

dns.example.com添加一条A记录,解析至1.2.3.4

t.example.com添加一条NS记录,值为dns.example.com

2. 服务器端

./iodined -f -c -P secretpassword 192.168.99.1 t.example.com

-f表示持续占用前台,-c表示不限制请求源,-P指定密码,最后是内网IP和使用的域名

内网IP可以随意指定,只要当前服务器没有占用即可,例如可以改为172.16.0.1

3.检查服务端是否正常

http://code.kryo.se/iodine/check-it/

作者提供了在线检查工具,输入t.example.com即可检查

4.客户端

建议在ubuntu等完整的Linux操作系统上运行,下载源码后make即可

 ./iodine -f -P secretpassword t.example.com

效果图:


远程控制Windows

Windows下有自带的mstsc,Linux如树莓派用啥呢?就用rdesktop

手册查询用man rdesktop

快速使用:

sudo apt-get install -y rdesktop
rdesktop -f -k en-us -C -N -z -xl -P -u 用户名 -p 密码 服务器地址:端口

其中-f表示全屏, -k设置键盘布局, -C使用私有颜色表,-N同步NumLock,-z启用压缩,-xl 设置为LAN场景,-P使用bitmap缓存

注意上述在命令行中使用明文密码并不安全,可能被其他用户用ps等工具看到,建议仅仅在完全自己控制的Linux上系统上这样操作


统计以特定字符串开头的文件数目

awk是个很好用的工具呢,支持substr函数,用法为substr(源字符串,开始,长度),其中开始从1计数

ls -l 长列表显示的话,按空格分就是$9

ls -l|awk '{if(substr($9,1,字符串长度)=="你要的那个字符串") print $9}'|sort|uniq|wc -l

hexdump查看字符内部编码

echo的-n参数表示不要末尾加\n

echo -n hello | hexdump -C

子目录大小排序

sort的-h表示按人类理解的大小格式排序,-r表示逆序

du -sh * | sort -hr

安装ffmpeg

在ubuntu14下是没有ffmpeg的官方包支持的,需要添加mc3man的ppa

sudo add-apt-repository ppa:mc3man/trusty-media
#按回车继续
sudo apt-get update
sudo apt-get install -y ffmpeg

保证脚本安全执行set -ex

set命令挺有用的呢,-e表示如果后面的语句返回不为0立刻结束shell,-x表示显示出每条命令及参数

人家的Dockerfile中学习得来


change readonly bash variable

bash is a weird thing…

declaring a variable as reference by using declare -n, we can change it!

$ a=1
$ readonly a
$ a=2
bash: a: readonly variable
#Look here!
$ declare -n a
$ a=2
$ echo $a
2

永久等待 sleep infinity

有时写了一个sh文件后需要保持这个sh的运行,就用sleep永久等待好咯

sleep infinity

zmap扫描整个网段特定开放端口

zmap的运行需要root权限,用apt-get install zmap即可安装

更详细的帮助去看看zmap --help

#需要先编辑黑名单 vi /etc/zmap/blacklist.conf 取消掉注释
zmap 192.168.0.0/16 -B1000M -i eth0 -g -T 4  -p 23 -o 23.txt

其中-g表示扫描结束后显示总结,-T 4表示启动4个扫描线程,-p 23表示扫描23端口,-o保存文件的名称

如果拨号了vpn,需要用-G指定网关的MAC地址,可以通过arp 网关的IP得到


对ip列表批量测试redis未授权漏洞

for i in `cat iplist.txt`; do (if [ `echo PING|redis-cli -h $i` == "PONG" ] ;then echo $i;fi);done 2>/dev/null

利用了bash支持的for语句,注意for之后的分号和最后的done

还有用了if字符串相等,记得要用fi结束if

redis-cli连接上服务器后发送PING,如果存在未授权访问漏洞则会返回PONG,否则会要求Auth或者其他报错信息


使用ImageMagick对图像进行裁剪

安装命令:sudo apt-get install -y imagemagick

处理一张图片in.png,裁剪成300x280大小,从(30,0)作为裁剪的左上角点,得到out.png:

convert in.png -crop 300x280+30+0 out.png

其实这四个参数是我反复尝试二分法得到的,或许可以用专业软件快速得到吧

关键是可以批量处理呀,这里下载friends的头像图片进行处理:

for i in {1..79}; do curl -o $i.png http://kemono-friends.jp/wp-content/uploads/2016/11/no`printf "%03d" $i`.png --proxy socks5://127.0.0.1:1080; done
for i in {1..79}; do convert $i.png -crop 300x280+30+0 $i.png; done

其中使用了printf命令,可以使得1变成人家url需要的001


查找0字节的文件并删除

find . -size 0 -delete

查找大于100M的文件:find . -size +100M


批量修改文件后缀名

将当前目录下(包含子目录)所有的txt文件改为.newext后缀:

find . -name "*.txt" -exec rename 's/.txt$/.newext/' {} \;

如果curl下载的时候允许gzip但忘了–compressed得到的文件是gzip压缩的,修改当前文件夹所有.txt为.txt.gz,然后解压缩:其中rename -v表示显示修改的列表

rename -v 's/.txt$/.txt.gz/' *.txt
gunzip *.gz

用vim去除\r换行符

用vim打开文件后,输入以下内容,冒号也是需要按的

:set ff=unix
:wq

不用free查看内存占用

在docker容器内部一般是不能通过free -h来查看真实占用的内存的,这时候可以采用ps aux累加RSS字段来估计:

ps aux | awk '{sum+=$6} END {print sum / 1024}'

watch持续观察命令输出

例如我想持续查看output.txt文件大小:

watch -n 1 ls -l output.txt

其中-n 1表示每隔1s刷新一次

这个命令等价于自己写个bash脚本:

#! /bin/bash
while [ 1 ]
do
 # do your work here...
 sleep 1
 clear
done

树莓派2上编译Truecrypt 7.1a,使用make -j5 -l4加速编译

参照http://davidstutz.de/installing-truecrypt-raspbian/,一步步来就行啦

具体步骤如下,其中make使用参数-j5 -l4表示同时执行5个编译但限制系统负载<4(因为编译过程很慢,直接make只会使用1个CPU,这样设置后可以充分利用树莓派4核心CPU):

涉及的压缩包truecrypt-targz.zipwxWidgets-2.8.11.zippkcs.zip

apt-get install -y unzip build-essentials pkg-config gtk2.0-dev libfuse-dev
#用unzip解压压缩包,都解压到/root下,目录结构:
# /root
#  | - truecrypt-targz
#  | - wxWidgets-2.8.11
#  | - pkcs

cd wxWidgets-2.8.11
./configure
make -j5 -l4 #特别慢,耐心等待
make -j5 -l4 install

cd ../truecrypt-targz
export PKCS11_INC=/root/pkcs/
make -j5 -l4 NOGUI=1 WX_ROOT=/root/wxWidgets-2.8.11 wxbuild
make -j5 -l4 NOGUI=1 WXSTATIC=1

Main/truecrypt --version #输出TrueCrypt 7.1a
cp Main/truecrypt /usr/local/bin/

你也可以下载我已经编译好的版本truecrypt-armv7l


scp目录断点续传

正在拷贝目录的时候被中断了(例如mount.ntfs卡死),而scp不能跳过已经存在的文件、只会覆盖;如果用rsync完全断点续传似乎会校验文件,太慢

方法是:删掉中断时正在拷贝的不完整文件,使用下述命令来跳过已经存在的文件:

假设要把远程目录/path/这个文件夹整个拷贝到/mnt/下(也就是内容拷贝到/mnt/path/下)

rsync --progress -v -au username@host:"'/path'" /mnt/

注意源路径/path后面不能有/,否则rsync不会创建/mnt/path这个文件夹;/path被两层引号包围是为了支持含有空格的文件夹名称,一层是本地命令,远程目录也要一层

rsync的--progress -v参数表示显示当前进度和更多内容,-a表示archive递归并尽可能原样保留所有信息,-u表示跳过已经存在的文件

查看man文档 explainshell.com


使用wget代替scp传输文件夹 避免无谓的加密性能损失(适用于树莓派)

在内网传输非敏感数据时,没有必要使用scp(基于ssh)的安全传输,尤其是树莓派这种计算性能有限的情形。使用HTTP能有效加速传输过程,且部署简单,相比配置复杂的vsftpd可以说是很简单了

服务端(数据传出端)

使用nginx配置允许列目录即可,在/etc/nginx/sites-enabled/下添加一个文件:

server{
    listen 8080;
    root /path/to/your/dir;
    autoindex on;
    autoindex_exact_size off;
    autoindex_localtime on;
}

如果你不具有root权限,可以复制一份nginx.conf,修改其中出现的所有你没有权限修改的文件路径,例如access_log,然后使用nginx -c /home/yourname/nginx.conf(注意必须绝对路径)启动你的nginx,没有出现EMRG错误即为启动成功(可以使用netstat -pant观察是否成功监听端口)

客户端(数据传入端),使用wget:

alias myget='wget -r -np -nH -R index.html --restrict-file-names=nocontrol  -p -N -l0 -e robots=off --read-timeout=20 --tries=0'
cd /mnt #下载到哪
myget http://server_IP:8080/yourdir #相当于将yourdir复制到当前文件夹

参数说明:

-r 递归下载,-np不要进入父目录,-nH不要创建host文件夹,-R index.html不要保存文件列表的index.html,–restrict-file-names=nocontrol不要乱改中文文件名

-p 要下载图片,-N 使用浏览器304的方式避免重复下载,-l0递归层数不限制,-e robots=off不检查robots.txt

–read-timeout=20 如果20s之内没有数据传输则认为失败进行重试,–tries=0无限次重试

查看man文档


清除已经断开的sshd进程

如果你发现ps aux或netstat -pant输出了大量sshd的信息,说明之前ssh连接断开后sshd并没有退出而是一直占用内存

我们可以清除掉这些进程来释放内存

首先通过pstree -p来查看当前你的ssh会话的sshd进程PID,例如输出了这样一行:

├─sshd(32275)───bash(32413)───pstree(6543)

则说明当前sshd的pid为32275,然后执行下面这条命令来kill -9其他所有的sshd进程:

ps -ef | grep sshd | grep -v 32275 | grep -v grep | awk '{print "kill -9", $2}' |sh

Hint: 如果当前主机还运行着Docker容器,如果容器的守护进程是sshd,上一条命令可能使容器退出;所以你还需要docker top来确定容器的sshd在主机上的pid号


批量替换文本

例如批量递归替换当前文件夹及子文件夹所有php文件,将其中的”aha/666”改为”ovo/999”

命令如下:

find . -type f -name "*.php" -exec sed -i 's~aha/666~ovo/999~g' {} +

其中sed -i原位替换用的分隔符由于替换前后字符串中出现了/,所以不能用经典的/,而改用~


找到最近修改的文件

例如wget递归下载,中途被中断了,恢复的时候与其每个文件都请求一次不如直接跳过已经存在的文件

那就需要找到中断的时候正在写入哪个文件,删掉这个文件继续

这个命令可以以时间顺序显示当前文件夹及子文件夹文件,新文件显示在最前面

find . -type f -printf '%TY-%Tm-%Td %TT %p\n' | sort -r|less

使用cryptsetup挂载truecrypt分区

在ubuntu 16.04中编译truecrypt 7.1a运行时出现错误:error: Invalid characters encountered.

在这个链接上找到了答案(感谢在其他论坛找到答案后主动提供解决方案的Jakub Urbanowicz)

https://bugs.archlinux.org/task/47325 原贴地址(搜索cryptsetup):https://forums.gentoo.org/viewtopic-p-7809512.html

方法是:

sudo su #以下命令都要root权限,如果在Docker容器中尝试 启动容器时需要--privileged
# 先安装cryptsetup
apt install -y cryptsetup-bin

# 挂载,注意type前面是两个横线,文件路径可以是/dev/sdb1,名称随便填
cryptsetup open --type tcrypt truecrypt文件路径 名称

# 然后mount挂载
mount /dev/mapper/名称 挂载点

# 卸载的时候记得close,都还是要root权限
umount 挂载点
cryptsetup close 名称

从二进制文件中提取片段

用binwalk发现需要的片段的起始位点,以及计算出长度

binwalk直接-e有时候就能满足需求,但如果是exe文件 exe本身可能被拆成多个文件 如一堆证书,这时候可以

binwalk -D 'exe' 文件名

或者用dd,注意别用bs=1 太慢:

dd if=input.binary of=output.binary skip=$offset count=$bytes iflag=skip_bytes,count_bytes

From: https://stackoverflow.com/questions/1423346/how-do-i-extract-a-single-chunk-of-bytes-from-within-a-file

如果省略掉count就是一直到末尾


redis匹配前缀删除大量键值

FROM: https://stackoverflow.com/questions/4006324/how-to-atomically-delete-keys-matching-a-pattern-using-redis

删除当前数据库中prefix开头的所有key:

EVAL "local keys = redis.call('keys', ARGV[1]) \n for i=1,#keys,5000 do \n redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) \n end \n return keys" 0 prefix*

批量替换子目录特定后缀名文件内容

使用sed -ifind

例如本站编译脚本在mkdocs编译后对所有.html文件执行替换,改用国内CDN

sed -i 's#cdnjs.cloudflare.com#cdnjs.loli.net#g' $(find -type f -name "*.html")
sed -i 's#fonts.googleapis.com#fonts.loli.net#g' $(find -type f -name "*.html")

coredump in fuzzing

参考: http://man7.org/linux/man-pages/man5/core.5.html

为啥afl要求我们echo core >/proc/sys/kernel/core_pattern 呢? fuzzing时怎么避免产生coredump产生大量IO浪费时间?

core_pattern是啥

这个文件/proc/sys/kernel/core_pattern是命名coredump文件的模板,比如改为core之后产生的coredump文件就叫做core

另一个文件/proc/sys/kernel/core_uses_pid 如果是1的话,还会加上.pid

怎么才能不产生coredump

全局关闭:

echo >/proc/sys/kernel/core_pattern
echo 0 >/proc/sys/kernel/core_uses_pid

还可以在当前目录mkdir core,有了同名文件夹就不会再写core文件了

fuzzer可以用rlimit的功能限制子进程:

文档说了RLIMIT_CORE这个限制,只要它是0就不会产生了,比如AFL的代码

    /* Dumping cores is slow and can lead to anomalies if SIGKILL is delivered
       before the dump is complete. */

    r.rlim_max = r.rlim_cur = 0;

    setrlimit(RLIMIT_CORE, &r); /* Ignore errors */

再比如honggfuzz的代码(honggfuzz-1.7并没有考虑这个):

/* in cmdline.c */
 { { "rlimit_core", required_argument, NULL, 0x103 }, "Per process RLIMIT_CORE in MiB (default: 0 [no cores are produced])" },

/* in subproc.c */
#ifdef RLIMIT_CORE
    const struct rlimit rl = {
        .rlim_cur = run->global->exe.coreLimit * 1024ULL * 1024ULL,
        .rlim_max = run->global->exe.coreLimit * 1024ULL * 1024ULL,
    };
    if (setrlimit(RLIMIT_CORE, &rl) == -1) {
        PLOG_W("Couldn't enforce the RLIMIT_CORE resource limit, ignoring");
    }
#endif /* ifdef RLIMIT_CORE */

bash对文件乱序遍历

shuf filename|while read line; do python3 run.py "$line"; done

grep查找中文

ls /tmp/test | grep -P '[\p{Han}]' 

参考 https://www.regular-expressions.info/unicode.html#script


grep正则提取特定内容

场景:fuzzing lava 测试集,做了30次重复(每次重复文件夹名称末尾为_重复),已经将crash运行得到的stdout和stderr存储为文件,想统计每次重复触发了多少bugid

换句话说,已知当前文件夹下有一些可能被当成二进制的文本文件,包含Successfully triggered bug 576, crashing now!,我想将其中的576提取出来,然后对整个文件夹计数

注意grep的时候一定要–text,不然会漏掉一些文件

用到了grep的正则提取,前置判断用(?<=文本),后置判断用(?=文本),例如提取aaa123bbb中的123就可以:echo aaa123bbb|grep -P '(?<=aaa)\d+(?=bbb)' -o

其中-P表示正则语法为Perl,-o表示只显示匹配

参考: https://unix.stackexchange.com/questions/13466/can-grep-output-only-specified-groupings-that-match

for i in `seq 1 1 30`; do 
    if [ -d *_${i}/ ]; then 
        (cd *_${i}; 
         echo $i `grep 'Successfully triggered bug' -r . --text \
             | grep -P '(?<=bug )(\d+)(?=,)' -o \
             |sort| uniq|wc -l` 
        ); 
    else 
        echo ${i} 0; 
    fi; 
done

自动kill大内存的进程

列举所有进程,找出内存超过5%的,kill掉

注意到sort比较数字大小需要用-h或者-V,否则会出现3>20的比较结果(字符串比较)

由于[ "$num" -gt 5 ]只支持num为整数的情况,所以用bc作浮点数大小判断,参考: https://stackoverflow.com/questions/8654051/how-to-compare-two-floating-point-numbers-in-bash

grep -v设置白名单:docker, perl

while true; do 
    LINE=$(ps aux|grep -v docker|grep -v perl|sort -k4 -h|tail -n 1); 
    (( $( echo "`echo ${LINE}|awk '{print $4}'` > 5" |bc -l) )) && \
        (echo $LINE; 
        kill `echo ${LINE}|awk '{print $2}'`); 
    sleep 5; 
done

screen自动操作以及获取当前屏幕内容

screen -dmS name /bin/bash
screen -S name -p 0 -X stuff "ls"`echo -ne '\r'`
screen -S name -p 0 -X hardcopy /tmp/test.txt

中文字符会有问题,待解决


编译当前文件夹所有.c文件

${i%.*} 去掉文件名的最后一个后缀

for i in *.c; do gcc $i -o out/${i%.*}; done

gdb自动化

echo -e "set pagination off\nset confirm off" > ~/.gdbinit

然后使用gdb ./a.out -ex "r inputfile" -ex "bt" -ex "quit"


mktorrent制作种子torrent文件

参考: https://community.seedboxes.cc/articles/how-to-create-a-torrent-via-the-command-line

sudo apt install mktorrent
mktorrent -v -a "http://tracker.nexushd.org/announce.php" -p folder -o folder.torrent -l 24

其中-l 24的意思是每个分块为2**24=16MB,这是建议的最大的值


钉钉直播回放下载 m3u8转mp4

手机端用抓包软件 如HttpCanary,点开直播回放后会得到一个m3u8的地址,然后使用ffmpeg下载即可

参考:https://www.bilibili.com/video/av99036702/

https://gist.github.com/tzmartin/fb1f4a8e95ef5fb79596bd4719671b5d

ffmpeg -i http://dtliving-pre.alicdn.com/... -bsf:a aac_adtstoasc -vcodec copy -c copy name.mp4

黑色背景ls 目录深绿色看不清改个颜色

Ubuntu系统编辑~/.dircolors: (其他系统~/.dir_colors)

DIR 01;36 

或者执行:

eval `dircolors | sed -e 's/;34:/;36:/'`

部署seafile客户端

https://download.seafile.com/published/seafile-user-manual/syncing_client/install_linux_client.md

需要注意seafile-cli已经加入boinc官方源,但版本与ppa源不匹配

# apt install -y software-properties-common
add-apt-repository -y ppa:seafile/seafile-client
apt update
apt install seafile-cli -y
mkdir ~/seafile
seaf-cli init -d ~/seafile
seaf-cli start
# 重启后也需要自己手动启动

在网页端创建/打开资料库后从url复制得到id

客户端没有需要同步的文件时用download,有需要加入同步的数据用sync

seaf-cli download -l "the id of the library"
     -s "the url + port of server" 
     -d "the folder which the library will be synced with" 
     -u "username on server" 
     [-p "password"]

登录用户名密码错误的时候报错是400,需要留意


pcregrep正则提取

例如我们要提取some.htm中所有href属性中的html,使用普通的grep不能只提取单独的group。这里我们用pcregrep可以指定-o参数,还可以多次指定连续输出

# apt install -y pcregrep
pcregrep -o1 'href="([^\.]*\.htm)"' some.htm

管道关闭缓冲

参考:https://harttle.land/2020/06/06/tail-f-pipe.html

grep 添加 --line-buffered,sed 添加 -u,awk 调 fflush()

Shell 里可以通过 [ -t 1 ] 来判断 stdout(文件描述符 1) 是否是 TTY。 More

例子:

tail -f log.txt | grep --line-buffered Error | sed -u 's/harttle//' | awk '${print $1; fflush()}' | grep ENOENT

等待特定进程结束

例如并行启动编译进程,希望等待所有gcc结束:

while [ "`pgrep -c gcc`" -gt 0 ]; do 
    echo cnt: `pgrep -c gcc`
    sleep 10; 
done