在Linux系统中,Shell脚本是实现自动化任务的关键工具,对于提高工作效率具有重要意义。然而,编写无误且高效的Shell脚本对于新手来说是一个挑战,因为很容易忽视一些常见的错误和漏洞。幸运的是,ShellCheck作为一个静态分析工具,能够帮助我们发现并改进这些问题。
ShellCheck简介
ShellCheck是一个开源的静态分析工具,专门用于分析Shell脚本。它能够自动检测出脚本中的多种问题,包括但不限于语法错误、逻辑漏洞、代码风格问题,以及可能的安全风险。ShellCheck不仅能够识别问题,还能提供改进建议,帮助SRE快速定位并修复这些问题。
ShellCheck的安装指南
ShellCheck支持多种安装方式,包括使用包管理器、源代码编译,以及Docker容器。对于大多数Linux发行版,通过包管理器安装是最简便的方法。以Ubuntu为例,安装ShellCheck的命令如下:
代码语言:javascript复制sudo apt-get update
sudo apt-get install shellcheck
安装后,只需在命令行输入shellcheck
即可启动工具。为了提高使用便利性,可以将ShellCheck添加到环境变量中,或配置为代码编辑器的插件。
编辑器中集成 ShellCheck
ShellCheck 的集成对于提高开发效率和代码质量至关重要。不同编辑器中集成 ShellCheck 的指南:
Vim
在 Vim 中,有几种插件可以帮助集成 ShellCheck:
- ALE (Asynchronous Lint Engine):提供异步的语法和代码检查。
- Neomake:一个使用多种语言的异步构建系统和静态分析工具的聚合器。
- Syntastic:另一个为多种语言提供语法检查的插件。
Emacs
对于 Emacs 用户,以下是集成 ShellCheck 的选项:
- Flycheck:一个用于 Emacs 的现代语法检查器。
- Flymake:一个传统的 Emacs 插件,用于实时语法检查。
Sublime Text
在 Sublime Text 中,可以使用 SublimeLinter 插件来集成 ShellCheck,它是一个强大的代码检查框架。
Atom
Atom 编辑器可以通过 Linter 插件来集成 ShellCheck,该插件支持多种语言的语法检查。
VSCode
对于 Visual Studio Code 用户,可以安装 vscode-shellcheck 扩展来集成 ShellCheck,它将提供内联的语法和代码检查。
通过将 ShellCheck 集成到我们的编辑器,我们可以在编写 shell 脚本时即时获得反馈,这样可以更快地发现并修复潜在的问题,从而提高我们的开发效率和代码质量。
使用ShellCheck的实践
让我们通过一个具体的案例来展示ShellCheck的实际应用。假设我们有以下的Shell脚本示例:
代码语言:javascript复制#!/bin/bash
echo "Enter a number:"
read num
if [ $num -gt 10 ]; then
echo "Number is greater than 10"
else
echo "Number is not greater than 10"
fi
当我们使用ShellCheck检查这个脚本时,它会发现一个常见的问题:在测试表达式中,[
和 ]
之间不应该有空格,否则会导致逻辑错误。ShellCheck会输出如下的警告信息:
shellcheck test.sh
In test.sh line 4:
read num
^--^ SC2162 (info): read without -r will mangle backslashes.
In test.sh line 6:
if [ $num -gt 10 ]; then
^--^ SC2086 (info): Double quote to prevent globbing and word splitting.
Did you mean:
if [ "$num" -gt 10 ]; then
For more information:
https://www.shellcheck.net/wiki/SC2086 -- Double quote to prevent globbing ...
https://www.shellcheck.net/wiki/SC2162 -- read without -r will mangle backs...
通过这个简单的例子,我们可以看到ShellCheck如何帮助SRE快速定位问题并进行修复。
常见问题
ShellCheck 是一个用于 shell 脚本的静态分析工具,它能够检查和报告多种常见的问题,帮助SRE提高脚本的质量和安全性。以下是 ShellCheck 能够识别的一些问题的分类列表:
引用
ShellCheck 可以识别几种类型的错误引用:
代码语言:javascript复制echo $1 # Unquoted variables #变量未加引号find . -name *.ogg # Unquoted find/grep patterns #find/grep 的匹配模式未加引号rm "~/my file.txt" # Quoted tilde expansion #引号中的波浪符扩展v='--verbose="true"'; cmd $v # Literal quotes in variables # 变量中的字面引号for f in "*.ogg" # Incorrectly quoted 'for' loops # 错误的for循环touch $@ # Unquoted $@ # $@未加引号echo 'Don't forget to restart!' # Singlequote closed by apostrophe # 单引号被撇号意外关闭了echo 'Don't try this at home' # Attempting to escape ' in '' #试图在单引号括起来的部分中加上一个单引号echo 'Path is $PATH' # Variables in single quotes # 将变量用单引号括起来trap "echo Took ${SECONDS}s" 0 # Prematurely expanded trap #过早扩展陷阱
条件句
ShellCheck 可以识别多种类型的错误测试语句。
代码语言:javascript复制[[ n != 0 ]] # Constant test expressions # 常量测试表达式[[ -e *.mpg ]] # Existence checks of globs # 对文件是否存在进行检查时,使用通配符[[ $foo==0 ]] # Always true due to missing spaces #由于缺乏空格,结果总是为真[[ -n "$foo " ]] # Always true due to literals #由于字面值存在,结果总是为真[[ $foo =~ "fo " ]] # Quoted regex in =~ # 在 =~ 中使用正则表达式[ foo =~ re ] # Unsupported [ ] operators # 不支持的[]运算符[ $1 -eq "shellcheck" ] # Numerical comparison of strings # 比较数字和字符串[ $n && $m ] # && in [ .. ] # 在[]中使用&&运算符[ grep -q foo file ] # Command without $(..) #命令缺少了$(..)[[ "$$file" == *.jpg ]] # Comparisons that can't succeed #无法成功的比较(( 1 -lt 2 )) # Using test operators in ((..)) #在((..))中使用比较
经常被误用的命令
ShellCheck 可以识别命令使用不正确的情况:
代码语言:javascript复制grep '*foo*' file # Globs in regex contexts #在grep的正则表达式中前后使用通配符find . -exec foo {} && bar {} ; # Prematurely terminated find -exec # 使find -exec 过早结束sudo echo 'Var=42' > /etc/profile # Redirecting sudo # 重定向sudotime --format=%s sleep 10 # Passing time(1) flags to time builtin # 将time(1)的标志传递给内建的timewhile read h; do ssh "$h" uptime # Commands eating while loop input # 一个获取输入的while循环中,使用同样会获取输入的命令alias archive='mv $1 /backup' # Defining aliases with arguments # 定义使用参数的aliastr -cd '[a-zA-Z0-9]' # [] around ranges in tr # 在tr的参数范围外使用[]exec foo; echo "Done!" # Misused 'exec' # 错误地使用execfind -name *.bak -o -name *~ -delete # Implicit precedence in find # 在find中的隐式优先级# find . -exec foo > bar ; # Redirections in find #find中的重定向f() { whoami; }; sudo f # External use of internal functions #在外部使用内部函数
初学者常见的错误
ShellCheck 可以识别初学者的许多常见语法错误:
代码语言:javascript复制var = 42 # Spaces around = in assignments #等号两边的空格$foo=42 # $ in assignments # 对变量赋值时使用了$for $var in *; do ... # $ in for loop variables # 在循环变量处使用$var$n="Hello" # Wrong indirect assignment #错误的变量echo ${var$n} # Wrong indirect reference #错误的引用var=(1, 2, 3) # Comma separated arrays #逗号分割数组array=( [index] = value ) # Incorrect index initialization #错误的索引初始化echo $var[14] # Missing {} in array references #引用数组缺少{}echo "Argument 10 is $10" # Positional parameter misreference #错误的位置参数引用if $(myfunction); then ..; fi # Wrapping commands in $() #在命令外加上$()else if othercondition; then .. # Using 'else if' #使用else iff; f() { echo "hello world; } # Using function before definition 在函数定义之前使用函数[ false ] # 'false' being true # 此处false为trueif ( -f file ) # Using (..) instead of test #使用()取代测试条件
风格
ShellCheck可以提出改进风格的建议:
代码语言:javascript复制[[ -z $(find /tmp | grep mpg) ]] # Use grep -q instead #改成使用grep -qa >> log; b >> log; c >> log # Use a redirection block instead #改成使用重定向块echo "The time is `date`" # Use $() instead #改成使用$()cd dir; process *; cd ..; # Use subshells instead #改成使用subshellecho $[1 2] # Use standard $((..)) instead of old $[] #改成使用标准的$((..))echo $(($RANDOM % 6)) # Don't use $ on variables in $((..)) #在$((..))中不要使用$echo "$(date)" # Useless use of echo # 没必要的echocat file | grep foo # Useless use of cat #没必要的cat
数据和打字错误
ShellCheck 可以识别与数据和输入相关的问题:
代码语言:javascript复制args="$@" # Assigning arrays to strings # 将数组赋值给字符串files=(foo bar); echo "$files" # Referencing arrays as strings # 把数字当成字符串引用declare -A arr=(foo bar) # Associative arrays without index # 不带索引组合数组printf "%sn" "Arguments: $@." # Concatenating strings and arrays # 连接字符串和数组[[ $# > 2 ]] # Comparing numbers as strings # 把数字当成字符串比较var=World; echo "Hello " var # Unused lowercase variables # 未使用的小写变量echo "Hello $name" # Unassigned lowercase variables # 未赋值的小写变量cmd | read bar; echo $bar # Assignments in subshells # 在subshells中进行赋值cat foo | cp bar # Piping to commands that don't read # 通过管道传递数据给一个不会做读取的程序printf '%s: %sn' foo # Mismatches in printf argument count # pirintf参数数量不匹配
鲁棒性
ShellCheck 可以提出提高脚本稳健性的建议:
代码语言:javascript复制rm -rf "$STEAMROOT/"* # Catastrophic rm # 可能导致灾难性后果的rmtouch ./-l; ls * # Globs that could become options # 使用了可能变成选项的通配符find . -exec sh -c 'a && b {}' ; # Find -exec shell injection # Find -exec shell注入printf "Hello $name" # Variables in printf format # 在printf的格式化参数中使用变量for f in $(ls *.txt); do # Iterating over ls output # 在ls的输出上进行迭代export MYVAR=$(cmd) # Masked exit codes # 使退出码模糊case $version in 2.*) :;; 2.6.*) # Shadowed case branches # 隐蔽的case分支
可移植性
当使用 shebang 不支持的功能时,ShellCheck 会发出警告。例如,如果将 shebang 设置为#!/bin/sh
,ShellCheck 将警告类似于以下内容的可移植性问题checkbashisms
:
echo {1..$n} # Works in ksh, but not bash/dash/sh #在 ksh 中可用,在 bash/dash/sh 中不可用echo {1..10} # Works in ksh and bash, but not dash/sh #在 ksh 中可用,在 bash/dash/sh 中不可用echo -n 42 # Works in ksh, bash and dash, undefined in sh #在 ksh/bash/dash 中可用,在 sh 中不可用trap 'exit 42' sigint # Unportable signal spec # 不具有可移植性的信号细节cmd &> file # Unportable redirection operator # 不具有可移植性的重定向操作read foo < /dev/tcp/host/22 # Unportable intercepted files # 不具有可移植性的截获的文件foo-bar() { ..; } # Undefined/unsupported function name # 未定义/不支持的函数名[ $UID = 0 ] # Variable undefined in dash/sh # dash/sh 中未定义的变量local var=value # local is undefined in sh # sh 中未定义localtime sleep 1 | sleep 5 # Undefined uses of 'time' # 使用了time未定义的用法
各种各样的
ShellCheck 还可以识别一系列其他问题:
代码语言:javascript复制PS1='e[0;32m$e[0m ' # PS1 colors not in [..] # PS1 的颜色不在[..] 中PATH="$PATH:~/bin" # Literal tilde in $PATH # $PATH中的波浪号rm “file” # Unicode quotes #Unicode 引号echo "Hello world" # Carriage return / DOS line endings # 传输返回DOS行结束符/echo hello # Trailing spaces after # 后面的行尾空格var=42 echo $var # Expansion of inlined environment # 展开内联环境变量#!/bin/bash -x -e # Common shebang errors # shebang 命令错误echo $((n/180*100)) # Unnecessary loss of precision # 不必要的精度丢失ls *[:digit:].txt # Bad character class globs # 不好的通配符sed 's/foo/bar/' file > file # Redirecting to input # 重定向到输入while getopts "a" f; do case $f in "b") # Unhandled getopts flags # 未处理的getopts标志
ShellCheck的优势
ShellCheck因其强大的功能和用户友好的操作界面,已经成为广大SRE不可或缺的工具之一。它极大地简化了代码审查过程,提高了代码的可维护性和安全性。随着技术的进步,ShellCheck有望增加更多功能,支持更广泛的Shell特性和语法,为SRE提供更全面的代码检查服务。
ShellCheck官网文档:https://www.shellcheck.net/
ShellCheck在GitHub上的项目页面:https://github.com/koalaman/shellcheck
我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!