工控网络基础入门篇之SED 配合正则表达式使用

2021-11-09 14:39:51 浏览数 (1)

正则表达式是一件屠龙神器,但是要把它讲好非常困难,建议是阅读这篇正则表达式 30 分钟入门,这是目前见过最好的正则表达式入门的文章了。在本文中,只介绍一个 SED 配合正则表达式使用的例子,介绍一点基本的概念,因为如果你完全不了解正则表达式,这几个命令在你看起来可能会跟天书一样难懂。

如何从 greatfire.org 网站上抓取在被屏蔽率超过 70% 的网站域名,然后生成用于 FreeRouter V2 的配置文件,这个脚本的代码如下:

看不懂没关系,一行行解释:

1. set -x 表示打开调试,方便查看脚本运行信息

2. 刚开始是清理掉之前的输出文件

3. Threshold=70 是一个表示屏蔽率的变量,我们说了是 70%

4. curl -s –insecure...... 是用 curl 下载一个网页,-s 表示静默模式工作,–insecure 是因为这是个 https 网页,因为一些证书的问题我用这个选项绕过去

5. 最后面的 $i 表示上面从 1 到 9 的数字,因为要抓很多个页面

6. 另外提一下,openwrt 的 shell 是 ash,非常精简也很简陋,连 for 循环都只能这样一个个的写那个网页中,关于被屏蔽的网站部分的源码是这样的:

继续解释:

1. grep ’class=first’| grep ’class=”blocked”’ 是表示把网页众多行的源码中,包含这两个字符串的行提取出来,

2. grep -vE ”google” 是表示把包含 google 这个字符串的行剔除掉 (因为 Google 太多子域名了,我觉得没必要全部提取)

1. SED 是基于一行一行输入的流编辑工具,-e 是为了使用多个命令,其实这里没必要.

2. 后面的 s# 一大堆东西 # 又是一大堆 #g 是 VIM 用户很熟悉的查找替换命令,我们的目的是把域名和屏蔽率提取出来.

3. ̂表示一个字符串的开始,然后中间通过一次次的反斜线逐步往后定位.

4. 用括号括起来的部分,就是一个分组,这里的分组 1 就是域名,分组 2 就是被屏蔽率

1. 你可以认为 awk 是一个类似 excel 的工具,他可以把输入的数据按列进行处理

2. $2 就是分组 2,也就是被屏蔽率,我们和设定的 70 去比较,就是说如果屏蔽率大于 70% 就进行后面的操作

3. 如果被屏蔽率大于 70%,就在 $1,也就是域前后分别添加一些别的字符,最终组成我们要的配置文件

0 人点赞