Python: 分块读取文本文件

在处理大文件时，逐行或分块读取文件是很常见的需求。下面是几种常见的方法，用于在 Python 中分块读取文本文件：

1、问题背景

如何分块读取一个较大的文本文件，并提取出特定的信息？

• 问题描述: f=open('blank.txt','r') quotes=f.read() noquotes=quotes.replace('"','') f.close() ​ rf=open('blank.txt','w') rf.write(noquotes) rf.close() ​ f=open('blank.txt','r') finished = False postag=[] while not finished: line=f.readline() words=line.split() postag.append(words[4]) postag.append(words[6]) postag.append(words[8]) finished=True
  • 使用 open()函数打开文件，将文件内容读入变量 quotes，然后用 replace()函数去除所有双引号，再将处理后的内容写回文件。
  • 再次打开文件，并使用 readline() 函数逐行读取文件内容。
  • 对于每一行，将其按空格分割成一个列表 words，并提取出列表中的第 5、7 和 9 个元素，将其添加到 postag 列表中。
• 问题原因：
  • 问题在于 while not finished: 循环仅迭代了文件的第一行，因此无法处理整个文件。

2、解决方案

• 使用 xml.etree.ElementTree 模块解析 XML 文件： from xml.etree import ElementTree ​ line = '<word id="8" form="hibernis" lemma="hibernus1" postag="n-p---nb-" head="7" relation="ADV"/>' ​ element = ElementTree.fromstring(line) ​ form = element.attrib['form'] lemma = element.attrib['lemma'] postag = element.attrib['postag'] ​ print(form, lemma, postag)
  • 使用 ElementTree.fromstring() 方法将 XML 字符串解析成一个元素对象。
  • 使用 element.attrib 获取元素的属性，并提取出 form、lemma 和 postag 属性的值。
  • 打印出提取出的信息。
• 使用正则表达式提取信息： import re ​ data = open('x').read() RE = re.compile('.*form="(.*)" lemma="(.*)" postag="(.*?)"', re.M) matches = RE.findall(data) for m in matches: print(m)
  • 使用 re.compile() 方法编译正则表达式，并将其应用到文本数据中。
  • 使用 findall() 方法查找所有匹配正则表达式的子字符串，并将其存储在 matches 列表中。
  • 遍历 matches 列表，并打印出每个匹配子字符串。
• 使用 SAX 解析器解析 XML 文件： import xml.sax ​ class Handler(xml.sax.ContentHandler): def startElement(self, tag, attrs): if tag == 'word': print('form=', attrs['form']) print('lemma=', attrs['lemma']) print('postag=', attrs['postag']) ​ ch = Handler() f = open('myfile') xml.sax.parse(f, ch)
  • 定义一个 SAX 解析器类 Handler，并重写 startElement() 方法，用于处理 XML 文件中的元素。
  • 使用 xml.sax.parse() 方法解析 XML 文件，并指定解析器对象 ch。
  • 每次遇到一个 word 元素，就会调用 startElement() 方法，并打印出元素的 form、lemma 和 postag 属性的值。
• 使用 BeautifulSoup 解析 XML 文件： from bs4 import BeautifulSoup ​ soup = BeautifulSoup(open('myfile').read(), 'xml') ​ for word in soup.find_all('word'): print('form=', word['form']) print('lemma=', word['lemma']) print('postag=', word['postag'])
  • 使用 BeautifulSoup() 方法解析 XML 文件，并将其存储在 soup 对象中。
  • 使用 find_all() 方法查找所有 word 元素，并将其存储在 words 列表中。
  • 遍历 words 列表，并打印出每个元素的 form、lemma 和 postag 属性的值。

选择方法

• 如果需要逐行处理文件，选择方法1。
• 如果需要分块处理二进制文件或大文本文件，选择方法2。
• 如果需要按行块处理文件，选择方法3。
• 如果需要处理大规模的 CSV 文件，选择方法4。

每种方法都有其特定的应用场景，可以根据具体需求选择合适的方法。