另外，反爬机制还会检测 TLS 特征，如 TLS 版本、握手方式、常量等，以此来判断请求是否为程序发出的。如果 TLS 特征异常，就会被判定为爬虫。因此，我们可以通过修改请求头部中的 User-Agent 字段来伪装成浏览器，或者使用代理 IP 来隐藏请求的真实 IP，以绕过反爬机制。同时，我们还可以通过更改 TLS 特征，如修改 TLS 版本、握手方式等来欺骗反爬机制。
如果出现 TLS 特征被识别的情况，可以考虑以下一些方法来绕过反爬机制：使用代理 IP、修改请求头部信息、降低请求频率或使用其他语言库，如 aiohttp、 Scrapy、Selenium 等，来进行复杂的反爬处理。
下面以百度百科网站做测试，使用aiohttp、爬虫代理加强版IP和随机User-Agent实现信息采集：
代码语言：python代码运行次数：0复制import urllib.parse
import asyncio
import aiohttp
import lxml.html
import random
URL_TEMPLATE = 'https://baike.baidu.com/item/{}'
HEADERS_LIST = [
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
# 添加更多 User-Agent
]
# 代理服务器( www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "16yun"
proxyPass = "16ip"
PROXIES = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
async def query(content):
async with aiohttp.ClientSession(headers=get_random_headers()) as session:
url = URL_TEMPLATE.format(urllib.parse.quote(content))
async with session.get(url, proxy=PROXIES) as response:
html = lxml.html.fromstring(await response.read())
sen_list = html.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()')
sen_list_after_filter = [item.strip('n') for item in sen_list]
return 'n'.join(sen_list_after_filter).encode('utf-8')
async def main():
async for content in get_input():
result = await query(content)
print("查询结果：n%s" % result.decode('utf-8'))
async def get_input():
while True:
yield input('查询词语：')
def get_random_headers():
return {'User-Agent': random.choice(HEADERS_LIST)}
if __name__ == '__main__':
asyncio.run(main())这段代码实现了一个基于 asyncio 和 aiohttp 的异步百度百科查询工具，具有较高的并发性能和响应速度，同时通过爬虫代理加强版IP和随机User-Agent能够提高采集的效率。
