Python进阶教程笔记(七)函数式编程

2020-10-30 11:43:38 浏览数 (1)

一、什么是函数式编程

  • 函数:function,逻辑功能的单位
  • 函数式:functional,一种编程范式
  • 特点:
  1. 把计算视为函数而不是指令
  2. 代码简洁,方便阅读,容易理解
  3. 纯函数式编程:不需要变量、测试简单

二、Python的函数式编程

  • 不是纯函数式编程:允许有变量
  • 支持高阶函数:函数可以作为变量
  • 支持闭包:可以返回函数
  • 支持匿名函数

三、把函数作为参数

在前面,我们了解了高阶函数的概念,并编写了一个简单的高阶函数:

代码语言:javascript复制
def add(x, y, f):
    return f(x)   f(y)

如果传入abs作为参数f的值:

代码语言:javascript复制
add(-5, 9, abs)

根据函数的定义,函数执行的代码实际上是:

代码语言:javascript复制
abs(-5)   abs(9)

由于参数 x, y 和 f 都可以任意传入,如果 f 传入其他函数,就可以得到不同的返回值。

四、map()函数

map()是 Python 内置的高阶函数,它接收一个函数 f 和一个 list,并通过把函数 f依次作用在list的每个元素上,map()函数会返回一个迭代器,可以依次迭代得到原来list的元素被函数f处理后的结果。

代码语言:javascript复制
>>> map(f, list)

例如,对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]。 如果希望把list的每个元素都作平方,就可以利用map()函数。

我们定义需要传入函数f(x)=x*x,就可以利用map()函数完成这个计算:

代码语言:javascript复制
def f(x):
    return x*x

for item in map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9]):
    print(item)

得到结果:

代码语言:javascript复制
[1, 4, 9, 10, 25, 36, 49, 64, 81]

由于list包含的元素可以是任何类型,因此,map() 不仅仅可以处理只包含数值的 list,事实上它可以处理包含任意类型的 list,只要传入的函数f可以处理这种数据类型。

五、reduce()函数

和map函数一样,reduce()函数也是Python内置的一个高阶函数。reduce()函数接收的参数和 map() 类似,一个函数 f,一个list,但行为和 map()不同,reduce()传入的函数 f 必须接收两个参数,reduce()对list的每个元素反复调用函数f,并返回最终结果值。

在python2中,reduce()函数和map()函数一样,可以直接使用,但是在python3中,reduce()函数被收录到functools包内,需要引入functools才可以使用。 例如,编写一个f函数,接收x和y,返回x和y的和:

代码语言:javascript复制
def f(x, y):
    return x   y

调用 reduce(f, [1, 3, 5, 7, 9]):

代码语言:javascript复制
from functools import reduce

def f(x, y):
    return x   y

print(reduce(f, [1,3,5,7,9])) # ==> 25

得到的结果是25,实际过程是这样的,reduce()函数会做如下计算:

代码语言:javascript复制
先计算头两个元素:f(1, 3),结果为4;
再把结果和第3个元素计算:f(4, 5),结果为9;
再把结果和第4个元素计算:f(9, 7),结果为16;
再把结果和第5个元素计算:f(16, 9),结果为25;
由于没有更多的元素了,计算结束,返回结果25。

上述计算实际上是对 list 的所有元素求和。虽然Python内置了求和函数sum(),但是,利用reduce()求和也很简单。 reduce()还可以接收第3个可选参数,作为计算的初始值。如果把初始值设为100,计算:

代码语言:javascript复制
print(reduce(f, [1, 3, 5, 7, 9], 100)) # ==> 125

结果将变为125,因为第一轮计算是:

计算初始值和第一个元素:f(100, 1),结果为101。

六、filter()函数

filter()函数是 Python 内置的另一个有用的高阶函数,filter()函数接收一个函数 f 和一个list,这个函数 f 的作用是对每个元素进行判断,返回 True或 False,filter()根据判断结果自动过滤掉不符合条件的元素,并返回一个迭代器,可以迭代出所有符合条件的元素。

例如,要从一个list [1, 4, 6, 7, 9, 12, 17]中删除偶数,保留奇数,首先,要编写一个判断奇数的函数:

代码语言:javascript复制
def is_odd(x):
    return x % 2 == 1

然后,利用filter()过滤掉偶数:

代码语言:javascript复制
for item in filter(is_odd, [1, 4, 6, 7, 9, 12, 17]):
    print(item)

结果:1,7,9,17。 利用filter()函数,可以完成很多很有用的功能,例如,删除 None 或者空字符串:

代码语言:javascript复制
def is_not_empty(s):
    return s and len(s.strip()) > 0

for item in filter(is_not_empty, ['test', None, '', 'str', '  ', 'END']):
    print(item)

结果:test, str, END 注意:注意: s.strip()会默认删除空白字符(包括'n', 'r', 't', ' '),如下:

代码语言:javascript复制
s = '     123'
s.strip() # ==> 123
s= 'tt123rn'
s.strip() # ==> 123

七、自定义排序函数

Python内置的 sorted()函数可对list进行排序:

代码语言:javascript复制
>>> sorted([36, 5, 12, 9, 21])
[5, 9, 12, 21, 36]

可以看到,sorted()函数,默认是由小到大排序列表的元素。

代码语言:javascript复制
>>> score = [('Alice', 72), ('Candy', 90), ('Bob', 62)]
>>> sorted(score)
[('Alice', 72), ('Bob', 62), ('Candy', 90)]

当list的每一个元素又是一个容器时,则会以第一个元素来排序,比如在score中,每个元素都是包含名字和成绩的一个tuple,sorted()函数则按名字首字母进行了排序并返回。

对于上述排序成绩的情况,默认是按照第一个名字进行排序的,有没有办法让sorted()函数按照成绩来进行排序呢?

如果需要按照成绩高低进行排序,需要指定排序的字段是成绩,sorted接受key参数,用来指定排序的字段,key的值是一个函数,接受待排序列表的元素作为参数,并返回对应需要排序的字段。因此,sorted()函数也是高阶函数。

代码语言:javascript复制
def k(item):
    return item[1] # ==> 按成绩排序,成绩是第二个字段

sorted(score, key=k)

得到结果:[('Bob', 62), ('Alice', 72), ('Candy', 90)] 。 如果需要倒序,指定reverse参数即可。

代码语言:javascript复制
sorted(score, key=k, reverse=True)

得到结果:[('Candy', 90), ('Alice', 72), ('Bob', 62)] 。

八、返回函数

在函数内部,是可以定义子函数的。

代码语言:javascript复制
def func():
    # 定义子函数
    def sub_func():
        print('call sub_func.')
    sub_func()

>>> func()
call sub_func.

作为高阶函数,可以接受函数作为参数,其实高阶函数,除了不仅仅可以返回int、str、list、dict等数据类型,还可以返回函数。因此,可以把函数的子函数返回。

代码语言:javascript复制
def f():
    print('call f()...')
    # 定义函数g:
    def g():
        print('call g()...')
    # 返回函数g:
    return g

仔细观察上面的函数定义,我们在函数 f 内部又定义了一个函数 g。由于函数 g 也是一个对象,函数名 g 就是指向函数 g 的变量,所以,最外层函数 f 可以返回变量 g,也就是函数 g 本身。 调用函数 f,我们会得到 f 返回的一个函数:

代码语言:javascript复制
>>> x = f()   # 调用f()
call f()...
>>> x   # 变量x是f()返回的函数:
<function f.<locals>.g at 0x7f4a4936dbf8>
>>> x()   # x指向函数,因此可以调用
call g()...   # 调用x()就是执行g()函数定义的代码

有必要注意的是,返回函数和返回函数值的语句是非常类似的,返回函数时,不能带小括号,而返回函数值时,则需要带上小括号以调用函数。

代码语言:javascript复制
# 返回函数
def myabs():
    return abs

# 返回函数值
def myabs(x):
    return abs(x)

返回函数有很多应用,比如可以将一些计算延迟执行,举个例子,定义一个普通的求和函数。

代码语言:javascript复制
def calc_sum(list_):
    return sum(list_)

调用calc_sum()函数时,将立刻计算并得到结果:

代码语言:javascript复制
>>> calc_sum([1, 2, 3, 4])
10

但是,如果返回一个函数,就可以“延迟计算”:

代码语言:javascript复制
def calc_sum(list_):
    def lazy_sum():
        return sum(list_)
    return lazy_sum

调用calc_sum()并没有计算出结果,而是返回函数:

代码语言:javascript复制
>>> f = calc_sum([1, 2, 3, 4])
>>> f
<function calc_sum.<locals>.lazy_sum at 0x7f4a4936db70>

对返回的函数进行调用时,才计算出结果:

代码语言:javascript复制
>>> f()
10

由于可以返回函数,我们在后续代码里就可以决定到底要不要调用该函数。

九、闭包

在函数内部定义的函数和外部定义的函数是一样的,只是他们无法被外部访问:

代码语言:javascript复制
def g():
    print('g()...')

def f():
    print('f()...')
    return g

将g的定义移入函数 f 内部,防止其他代码调用 g:

代码语言:javascript复制
def f():
    print('f()...')
    def g():
        print('g()...')
    return g

但是,考察上一小节定义的 calc_sum 函数:

代码语言:javascript复制
def calc_sum(list_):
    def lazy_sum():
        return sum(list_)
    return lazy_sum

注意: 发现没法把 lazy_sum 移到 calc_sum 的外部,因为它引用了 calc_sum 的参数 list_。

像这种内层函数引用了外层函数的变量(参数也算变量),然后返回内层函数的情况,称为闭包(Closure)。

闭包的特点是返回的函数还引用了外层函数的局部变量,所以,要正确使用闭包,就要确保引用的局部变量在函数返回后不能变。举例如下:

代码语言:javascript复制
# 希望一次返回3个函数,分别计算1x1,2x2,3x3:
def count():
    fs = []
    for i in range(1, 4):
        def f():
             return i*i
        fs.append(f)
    return fs

f1, f2, f3 = count()

你可能认为调用f1(),f2()和f3()结果应该是1,4,9,但实际结果全部都是 9(请自己动手验证)。

原因就是当count()函数返回了3个函数时,这3个函数所引用的变量 i 的值已经变成了3。由于f1、f2、f3并没有被调用,所以,此时他们并未计算 i*i,当 f1 被调用时:

代码语言:javascript复制
>>> f1()
9     # 因为f1现在才计算i*i,但现在i的值已经变为3

因此,返回函数不要引用任何循环变量,或者后续会发生变化的变量。

十、匿名函数

高阶函数可以接收函数做参数,有些时候,我们不需要显式地定义函数,直接传入匿名函数更方便。

在Python中,对匿名函数提供了有限支持。还是以map()函数为例,计算 f(x)=x * x时,f(x)就是作为参数传入map的。 在前面,我们是显式的定义了一个f(x)的函数,除此以外,其实可以直接传入匿名函数。

匿名函数使用lambda定义:lambda x: x * x,就可以完成原来显式定义的f(x)函数的功能,冒号前面的x表示匿名函数的参数,后面的是一个表达式,匿名函数有个限制,就是只能有一个表达式,不写return,返回值就是该表达式的结果。

代码语言:javascript复制
result = [item for item in map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9])]
print(result) # ==> [1, 4, 9, 16, 25, 36, 49, 64, 81]

同理,对于reduce()函数,也同样可以通过定义匿名函数来实现相同的逻辑。

代码语言:javascript复制
from functools import reduce

reduce(lambda x, y: x   y, [1,3,5,7,9])

十一、编写无参数的decorator

Python的 decorator 本质上就是一个高阶函数,它接收一个函数作为参数,然后,返回一个新函数。 使用 decorator 用Python提供的 @ 语法,这样可以避免手动编写 f = decorate(f) 这样的代码。 考察一个@log的定义:

代码语言:javascript复制
def log(f):
    def fn(x):
        print('call '   f.__name__   '()...')
        return f(x)
    return fn

对于阶乘函数,@log工作得很好:

代码语言:javascript复制
@log
def factorial(n):
    return reduce(lambda x,y: x*y, range(1, n 1))

print(factorial(10))

结果:

代码语言:javascript复制
call factorial()...
3628800

但是,对于参数不是一个的函数,调用将报错:

代码语言:javascript复制
@log
def add(x, y):
    return x   y
print(add(1, 2))
代码语言:javascript复制
>>> print(add(1, 2))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: fn() takes 1 positional argument but 2 were given

因为 add() 函数需要传入两个参数,但是 @log 写死了只含一个参数的返回函数。

要让 @log 自适应任何参数定义的函数,可以利用Python的 args 和 *kwargs,保证任意个数的参数总是能正常调用:

代码语言:javascript复制
def log(f):
    def fn(*args, **kwargs):
        print('call '   f.__name__   '()...')
        return f(*args, **kwargs)
    return fn

十二、编写有参数的decorator

考察上一节的 @log 装饰器:

代码语言:javascript复制
def log(f):
    def fn(x):
        print('call '   f.__name__   '()...')
        return f(x)
    return fn

发现对于被装饰的函数,log打印的语句是不能变的(除了函数名)。

如果有的函数非常重要,希望打印出'[INFO] call xxx()...'。 有的函数不太重要,希望打印出'[DEBUG] call xxx()...'。 这时,log函数本身就需要传入'INFO'或'DEBUG'这样的参数,类似这样:

代码语言:javascript复制
@log('DEBUG')
def my_func():
    pass

把上面的定义翻译成高阶函数的调用,就是:

代码语言:javascript复制
my_func = log('DEBUG')(my_func)

上面的语句看上去还是比较绕,再展开一下:

代码语言:javascript复制
log_decorator = log('DEBUG')
my_func = log_decorator(my_func)

上面的语句又相当于:

代码语言:javascript复制
log_decorator = log('DEBUG')
@log_decorator
def my_func():
    pass

所以,带参数的log函数首先返回一个decorator函数,再让这个decorator函数接收my_func并返回新函数,相当于是在原有的二层嵌套里面,增加了一层嵌套:

代码语言:javascript复制
def log(prefix):
    def log_decorator(f):
        def wrapper(*args, **kw):
            print('[{}] {}()...'.format(prefix, f.__name__))
            return f(*args, **kw)
        return wrapper
    return log_decorator

@log('DEBUG')
def test():
    pass
test()

执行结果:

代码语言:javascript复制
[DEBUG] test()...

对于这种三层嵌套的decorator定义,你可以先把它拆开:

代码语言:javascript复制
# 标准decorator:
def log_decorator(f):
    def wrapper(*args, **kw):
        print('[{}] {}()...'.format(prefix, f.__name__))
        return f(*args, **kw)
    return wrapper
return log_decorator

# 返回decorator:
def log(prefix):
    return log_decorator(f)

十三、偏函数

当一个函数有很多参数时,调用者就需要提供多个参数。如果减少参数个数,就可以简化调用者的负担。

比如,int()函数可以把字符串转换为整数,当仅传入字符串时,int()函数默认按十进制转换:

代码语言:javascript复制
>>> int('12345')
12345

但int()函数还提供额外的base参数,默认值为10。如果传入base参数,就可以做 N 进制的转换:

代码语言:javascript复制
>>> int('12345', base=8)
5349
>>> int('12345', 16)
74565

假设要转换大量的二进制字符串,每次都传入int(x, base=2)非常麻烦,于是,我们想到,可以定义一个int2()的函数,默认把base=2传进去:

代码语言:javascript复制
def int2(x, base=2):
    return int(x, base)

这样,我们转换二进制就非常方便了:

代码语言:javascript复制
>>> int2('1000000')
64
>>> int2('1010101')
85

偏函数指的就是“创建一个调用另外一个部分参数或变量已经预置的函数”的函数的用法,如上所示,int()函数的base参数,没有指定的时候,默认是以十进制工作的,当指定base=2的时候,int2实际上就变成了部分参数(base)已经预置了的偏函数。 functools.partial就是帮助我们创建一个偏函数的,不需要我们自己定义int2(),可以直接使用下面的代码创建一个新的函数int2:

代码语言:javascript复制
>>> import functools
>>> int2 = functools.partial(int, base=2)
>>> int2('1000000')
64
>>> int2('1010101')
85

所以,functools.partial可以把一个参数多的函数变成一个参数少的新函数,少的参数需要在创建时指定默认值,这样,新函数调用的难度就降低了。

0 人点赞