利用python3模拟访问网站

2020-01-13 01:23:35 浏览数 (1)

功能: 利用python代码来获取我们访问网页后网页返回给我们的信息,将返回的内容写入到文件中.我们这里就拿百度图库来做个例子 需求: 使用socket模块

代码如下:

代码语言:javascript复制
import socket

def main():
    # 创建套接字
    tcp_socket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    # 连接baidu
    tcp_socket.connect(("image.baidu.com",80))
    # 模拟请求行
    request_line ="GET / HTTP/1.1rn"

    request_headers = "Host: image.baidu.comrn"

    request_headers  = "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36rnrn"
    # 模拟请求头
    request = request_line   request_headers
    # 将模拟请求发送给baidu
    tcp_socket.send(request.encode())
    # 接收baidu的响应 
    data = tcp_socket.recv(10240)
    # 切片取出baidu响应的内容,如果不切片内容中将包含响应报文
    data = data.decode()[data.decode().find("rnrn") 4:]

    # 打开文件
    new = open("newfile.html","w")
    # 将切片后的字符串写入
    new.write(data)
    # 关闭文件
    new.close()




if __name__ == "__main__":
    main()

0 人点赞