以下是一个使用 Ruby 的 Nokogiri 库编写的爬虫程序，用于爬取全国企业信用信息抓取网站上的内容。这个程序使用了一个爬虫ip服务器，爬虫ip服务器的地址是 duoip:8000。
require 'nokogiri'
require 'open-uri'
# 定义一个爬虫ip服务器
proxy_host = 'duoip'
proxy_port = 8000
# 定义要爬取的 URL
url = 'gsxt.gov/cn/index.html'
# 使用 open-uri 库打开 URL 并获取网页内容，使用爬虫ip服务器
doc = Nokogiri::HTML(open(url, proxy: {http: "#{proxy_host}:#{proxy_port}"})
# 找到网页中所有的企业信息
companies = doc.css('div.item')
# 遍历每一个企业信息
companies.each do |company|
# 获取企业名称
name = company.css('.name').text
# 获取企业地址
address = company.css('.address').text
# 输出企业名称和地址
puts "#{name}，#{address}"
end以下是每行代码的解释：
- 第 1 行：导入了 Nokogiri 和 open-uri 库。Nokogiri 是一个非常强大的 Ruby 库，用于解析 HTML 和 XML 文件。open-uri 是一个用于打开 URL 的 Ruby 库。
- 第 3 行：定义了爬虫ip服务器的地址。这个地址是一个 HTTP 爬虫ip服务器，它用于隐藏你的真实 IP 地址，从而避免被网站屏蔽。
- 第 4 行：定义了要爬取的 URL。在这个例子中，我们想要爬取全国企业信用信息抓取网站的首页。
- 第 6 行：使用 Nokogiri 库打开 URL 并获取网页内容。同时，我们指定了使用爬虫ip服务器。
- 第 8 行：使用 CSS 选择器找到了网页中所有的企业信息。这些信息都是在一个名为
div.item的 HTML 元素中。 - 第 10 行：遍历每一个企业信息。
- 第 11 行：获取了企业的名称。
- 第 12 行：获取了企业的地址。
- 第 13 行：输出了企业的名称和地址。
注意：这个程序只是一个基本的示例，实际的爬虫程序可能需要更复杂的功能，比如处理网页中的 JavaScript 内容，或者处理分页的问题。在编写爬虫程序时，一定要遵守网站的使用条款，不要对网站造成过大的负担。
