Python基础11-迭代器,生成器

2022-09-26 11:44:08 浏览数 (1)

  • 迭代器介绍
  • 迭代器使用
  • for循环底层原理分析
  • 迭代器总结
  • 自定义迭代器
  • 练习:实现range功能
  • 表达式yield应用(了解)
  • yield关键字总结
  • 生成器表达式

-曾老湿, 江湖人称曾老大。


-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。


迭代器介绍


什么是迭代器?

迭代器:指的是迭代取值的工具 迭代:迭代是一个重复过程,每一次重复都是基于上一次的结果而来

代码语言:javascript复制
# 错误例子,单纯的重复不是迭代
i=0
while True:
    print(i)

# 迭代:重复 每次重复都是基于上一次的结果而进行
l=['a','b','c']
i=0
while i < len(l):
    print(l[i])
    i =1

为何要使用迭代器?

刚才我们实现的迭代器,只能适用于,字符串,列表,元组等数据类型,但是字典,就不合适了

迭代器提供了一种通用的且不依赖于索引的迭代取值方式


如何使用迭代器?

首先了解一个概念,并不是所有数据都阔以使用迭代器,只有可迭代对象才可以使用迭代器。

那么什么是可迭代对象呢?

可迭代的对象iterable:但凡内置有__iter__方法的对象都称之为可迭代的对象。

代码语言:javascript复制
# 以下数据类型包括文件,我们挨个测试一番
a=1
b=1.1
c='hello'
d=['a','b']
e=('a','b')
j={'x':1}
g={1,2,3}
f=open('a.txt','w')

## 结论:可迭代的对象:str,list,tuple,dict,set,文件对象

# 执行可迭代对象下的__iter__方法,返回的值就是一个迭代器对象iterator
dic={'x':1,'y':2,'z':3}
iter_dic=dic.__iter__()
print(iter_dic)


# 迭代取值
dic={'x':1,'y':2,'z':3}
iter_dic=dic.__iter__()

print(iter_dic.__next__())
print(iter_dic.__next__())
print(iter_dic.__next__())
// 我们只有三个key,如果取第四次,就会报错,但是这是好事,我们可以把它当成是一个结束信号
print(iter_dic.__next__())

# 文件同样可以迭代
f=open('a.txt','rt',encoding='utf-8')
iter_f=f.__iter__()
print(iter_f.__next__())
print(iter_f.__next__())
print(iter_f.__next__())
print(iter_f.__next__())

迭代器使用


迭代器对象

  1. 既内置有__next__方法的对象,执行迭代器__next__方法可以不依赖索引取值
  2. 又内置有__iter__方法的对象,执行迭代器__iter__方法得到的仍然是迭代器本身

注意: 1.迭代器对象一定是可迭代的对象,而可迭代的对象却不一定是迭代器对象 2.文件对象本身就是一个迭代器对象

代码语言:javascript复制
l=['a','b','c']
iter_l=l.__iter__() # 调用可迭代的对象__iter__得到的是迭代对象,
print(iter_l is iter_l.__iter__().__iter__().__iter__().__iter__().__iter__().__iter__())


# 迭代器取值
dic={'x':1,'y':2,'z':3}
iter_dic=iter(dic) # dic.__iter__()
print(next(iter_dic)) # iter_dic.__next__()
print(next(iter_dic))
print(next(iter_dic))
print(next(iter_dic))
print(next(iter_dic))

## 这么取会发现,全都是重复代码

# 使用循环取值
dic={'x':1,'y':2,'z':3}
iter_dic=iter(dic) # dic.__iter__()
while True:
    print(next(iter_dic)) # iter_dic.__next__()
    
# 如果一直取就会报错异常

代码语言:javascript复制
# 捕捉异常方案
dic={'x':1,'y':2,'z':3}
iter_dic=iter(dic) # dic.__iter__()
while True:
    try:
        print(next(iter_dic)) #iter_dic.__next__()
    except StopIteration:
        break

注意:同一个迭代器只能完整地取完一次值

代码语言:javascript复制
dic={'x':1,'y':2,'z':3}
iter_dic=iter(dic) # dic.__iter__()
while True:
    try:
        print(next(iter_dic)) #iter_dic.__next__()
    except StopIteration:
        break

print('==='*100)

while True:
    try:
        print(next(iter_dic)) #iter_dic.__next__()
    except StopIteration:
        break

如果想再次取值,那就重新赋值

代码语言:javascript复制
dic={'x':1,'y':2,'z':3}
iter_dic=iter(dic) # dic.__iter__()
while True:
    try:
        print(next(iter_dic)) #iter_dic.__next__()
    except StopIteration:
        break

print('==='*100)

iter_dic=iter(dic) #dic.__iter__()
while True:
    try:
        print(next(iter_dic)) #iter_dic.__next__()
    except StopIteration:
        break

for循环底层原理分析


for本质应该称之为迭代器循环

工作原理: 1. 先调用in后面那个对象的__iter__方法,将其变成一个迭代器对象 2. 调用next(迭代器),将得到的返回值赋值给变量名k 3. 循环往复直到next(迭代器)抛出异常,for会自动捕捉异常然后结束循环

注意: 从for角度,可以分辨出但凡可以被for循,环循环取值的对象都是可迭代的对象

代码语言:javascript复制
dic={'x':1,'y':2,'z':3}

for k in dic:
    print(k)

for k in dic:
    print(k)

迭代器总结

优点: 1.提供一种通用的且不依赖于索引的迭代取值方式 2.同一时刻在内存中只存在一个值,更节省内存

代码语言:javascript复制
## 在python3中,直接做成迭代器对象,返回的是内存地址
l=[1,2,2,3,3,3,3,3,3,3,3,3,3,3]
iter_l=iter(l)
print(iter_l)

names = ['qls', 'lls', 'cls']
res=map(lambda x:x "_SB",names)
print(res)

## 对于内存保护
obj=range(1,1000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000)
print(obj)

缺点: 1.取值不如按照索引的方式灵活,(不能取指定的某一个值,而且只能往后取) 2.无法预测迭代器的长度

自定义迭代器


生成器介绍

emm...看到标题,我们要讲一个自定义的迭代器,结果mmp,为啥就变成了生成器的介绍呢?

Because,生成器就是一种自定义的迭代器,本质就是迭代器

新概念:yield

代码语言:javascript复制
def func():
    print('first')
    yield 
    
func()

但凡函数内包含yield关键字,调用函数不会执行函数体代码

代码语言:javascript复制
def func():
    print('first')
    # yield


func()

但是,它会得到一个返回值,该返回值就是生成器对象

代码语言:javascript复制
def func():
    print('first')
    yield

g=func()
print(g)

所以,现在我们就会自己自定义迭代器了,只要在函数里面来一个yield,然后调用该函数得到这个函数的返回值即可。

yield后面可以跟返回值,类似于return

区别: 如果用return返回,一个函数只能返回一次,但是如果要用yield,只要next一次就能返回一个值

代码语言:javascript复制
def func():
    print('first')
    yield 1
    print('second')
    yield 2
    print('third')
    yield 3
    print('fourth')

g=func()
print(g)
print(g.__iter__().__iter__() is g)

调用迭代器

代码语言:javascript复制
def func():
    print('first')
    yield 1
    print('second')
    yield 2
    print('third')
    yield 3
    print('fourth')

g=func()
# print(g)
# print(g.__iter__().__iter__() is g)

res1=next(g) #会触发函数的执行,直到碰到一个yield停下来,并且将yield后的值当作本次next的结果返回
print(res1)

一直调用,一直爽

代码语言:javascript复制
def func():
    print('first')
    yield 1
    print('second')
    yield 2
    print('third')
    yield 3
    print('fourth')

g=func()
# print(g)
# print(g.__iter__().__iter__() is g)

res1=next(g) #会触发函数的执行,直到碰到一个yield停下来,并且将yield后的值当作本次next的结果返回
print(res1)
res2=next(g)
# print(res2)
res3=next(g)
# print(res3)
res4=next(g)

练习:实现range功能

代码语言:javascript复制
def my_range(start,stop,step=1):
    while start < stop: # 3 < 3
        yield start
        start =step #start=3

obj=my_range(1,5,2) # 1 3

print(next(obj))
print(next(obj))
# 取干净了就报错
print(next(obj))

表达式yield应用(了解)

yield的表达式形式的应用: x=yield

喂狗:

代码语言:javascript复制
def dog(name):
    print('狗哥 %s 准备开吃' %name)
    food_list=[]
    while True:
        food=yield food_list #  food=yield='肉包子'
        print('%s 吃了 %s' %(name,food))
        food_list.append(food)

g=dog('qls')

# 强调:针对表达式形式的yield的使用,第一步必须让函数先暂停到一个yield的位置,才能进行传值操作
next(g) # 张开狗嘴,让生成器先暂停到yield的位置,准备接收外部传进来的值
res1=next(g) #g.send(None)
print(res1)

res2=g.send('屎包子') # 1. 先为当前暂停位置的yield赋值 2. next(生成器)直到再次碰到一个yield停下来,然后其的值当做本次next的结果
# print(res2)

res3=g.send('肉包子')
# print(res3)

res4=g.send('泔水')
print(res4)

yield关键字总结

总结yield:

  • 0.只能在函数中使用。
  • 1.yield提供了一种自定义迭代器的解决方案。
  • 2.yield可以保存函数的暂停的状态。
  • 3.yield对比return。
    • 3.1相同点:都可以返回值,值的类型与个数都没有限制。
    • 3.2不同点:yield可以返回多次值,而return只能返回一次值函数就结束了。

生成器表达式

回顾列表表达式

代码语言:javascript复制
l=[i**2 for i in range(1,6) if i > 3]
print(l)

生成器表达式

代码语言:javascript复制
# 生成器表达式
g=(i**2 for i in range(1,6) if i > 3)
# print(g)
print(next(g))
print(next(g))
print(next(g))

代码语言:javascript复制
# 统计文件中的字符数量
with open(r'/Users/driverzeng/Desktop/PYTHON/01 装饰器.py','rt',encoding='utf-8') as f:
    data=f.read()
    print(len(data))

## 但是这样会出问题,如果文件过大,可能会导致内存溢出

# 使用for循环一行一行的读
with open(r'/Users/driverzeng/Desktop/PYTHON/01 装饰器.py','rt',encoding='utf-8') as f:
    res=0
    for line in f:
        res =len(line)
    print(res)

## 但是麻烦

# 使用生成器表达式
with open(r'/Users/driverzeng/Desktop/PYTHON/01 装饰器.py','rt',encoding='utf-8') as f:
    g=(len(line) for line in f)
    print(sum(g))

0 人点赞