13lambda_yield_yieldfrom_coroutine

?

?

目錄

匿名函數... 1

生成器generator：... 2

生成器函數：... 2

生成器應用：... 5

coroutine協程：... 6

?

?

?

匿名函數

?

匿名，即沒有名字，沒有名字的函數；

python借助lambda表達式構建匿名函數；

?

格式：

lambda 參數列表: 表達式

參數列表不需要小括號；

冒號是用來分割參數列表和表達式的；

不需要使用return，表達式的值就是匿名函數的返回值；

lambda表達式只能寫在一行上，被稱為單行函數；

用途，高階函數傳參時，使用lambda表達式，往往能簡化代碼；

?

例：

In [2]: lambda x: x**2

Out[2]: <function __main__.<lambda>>

In [3]: (lambda x: x**2)(4)?? #調用

Out[3]: 16

In [4]: foo=lambda x,y:(x+y)**2?? #不推薦這么用

In [5]: foo(2,1)

Out[5]: 9

In [6]: def foo(x,y):?? #如果復雜時，建議使用普通函數

?? ...:???? return (x+y)**2

?? ...: foo(2,1)

?? ...:

Out[6]: 9

In [7]: lst=['a',2,1]

In [8]: lst.sort(key=str)?? #高階函數，str為函數

In [9]: lst

Out[9]: [1, 2, 'a']

In [10]: lambda :0?? #無參函數，返回常數0

Out[10]: <function __main__.<lambda>>

In [11]: (lambda x,y=3:x+y)(5)

Out[11]: 8

In [12]: (lambda x,y=3: x+y)(5,6)

Out[12]: 11

In [13]: (lambda x,*,y=30: x+y)(5)

Out[13]: 35

In [14]: (lambda x,*,y=30: x+y)(5,y=10)

Out[14]: 15

In [15]: (lambda *args:(x for x in args))(*range(5))?? #生成器，惰性求值

Out[15]: <generator object <lambda>.<locals>.<genexpr> at 0x7f892ccaca40>

In [16]: (lambda *args: [x for x in args])(*range(5))?? #列表解析，立即求值

Out[16]: [0, 1, 2, 3, 4]

In [18]: (lambda *args: {x+2 for x in args})(*range(5))

Out[18]: {2, 3, 4, 5, 6}

In [20]: [x for x in (lambda *args: map(lambda x: x+1,args))(*range(5))]?? #高階函數

Out[20]: [1, 2, 3, 4, 5]

In [22]: [x for x in (lambda *args: map(lambda x: (x+1,args),args))(*range(5))]

Out[22]:

[(1, (0, 1, 2, 3, 4)),

?(2, (0, 1, 2, 3, 4)),

?(3, (0, 1, 2, 3, 4)),

?(4, (0, 1, 2, 3, 4)),

?(5, (0, 1, 2, 3, 4))]

?

?

?

生成器generator：

生成器指的是生成器對象，可以由生成器表達式得到，也可以使用yield關鍵字得到一個生成器函數，調用這個函數得到一個生成器對象；

庫函數中有大量使用；

生成器表達式和生成器函數能夠生成生成器對象；

?

?

?

生成器函數：

函數中包含yield語句的函數，返回生成器對象；

生成器對象，是一個可迭代對象，是一個迭代器；

生成器對象，是延遲計算，惰性求值的；

普通的函數在調用后，會立即執行完畢，但生成器函數可使用next()多次執行；

生成器函數等價于生成器表達式，只不過生成器函數更加復雜；

生成器函數，核心：讓出；

?

在生成器函數中，使用多個yield語句，執行一次后會暫停執行，把yield表達式的值返回；

再次執行會執行到下個yield語句；

return語句依然可以終止函數運行，但return語句的返回值不能被獲取到，生成器函數中一般不加return語句；

return會導致無法繼續獲取下一個值，拋StopIteration異常；

如果函數沒有顯式的return語句，如果生成器函數執行到結尾一樣會拋StopIteration異常；

?

包含yield語句的生成器函數，生成生成器對象時，生成器函數的函數體不會立即執行；

next(generator)會從函數的當前位置向后執行到之后碰到的第一個yield語句，會彈出值，并暫停函數執行，next()可理解為撥一下轉一次；

再次調用next()，和上一條一樣的處理過程，當沒有元素時可給缺省值next(g,'End')，防止拋異常；

沒有多余的yield語句能被執行，繼續調用next()，會拋StopIteration異常；

?

例：

In [23]: def inc():

??? ...:???? for i in range(5):

??? ...:???????? yield i?? #出現yield就是生成器函數

??? ...:????????

In [24]: type(inc)

Out[24]: function

In [25]: type(inc())

Out[25]: generator

In [26]: x=inc()

In [27]: type(x)

Out[27]: generator

In [28]: next(x)

Out[28]: 0

In [29]: for n in x:

??? ...:???? print(n)

??? ...:????

1

2

3

4

In [30]: for n in x:

??? ...:???? print(n)?? #x在上個for中已迭代完

??? ...:????

??? ...:????

In [39]: y=(i for i in range(2))

In [40]: type(y)

Out[40]: generator

In [41]: next(y)

Out[41]: 0

In [42]: next(y)

Out[42]: 1

In [43]: next(y)

---------------------------------------------------------------------------

StopIteration???????????????????????????? Traceback (most recent call last)

<ipython-input-43-81b9d2f0f16a> in <module>()

----> 1 next(y)

StopIteration:

?

例：

In [44]: def gen():

??? ...:???? print('line1')

??? ...:???? yield 1

??? ...:???? print('line2')

??? ...:???? yield 2

??? ...:???? print('line3')

??? ...:???? return 3

??? ...:

In [45]: next(gen())

line1

Out[45]: 1

In [46]: next(gen())

line1

Out[46]: 1

In [47]: g=gen()

In [48]: next(g)

line1

Out[48]: 1

In [49]: next(g)

line2

Out[49]: 2

In [50]: next(g)

line3

---------------------------------------------------------------------------

StopIteration???????????????????????????? Traceback (most recent call last)

<ipython-input-50-e734f8aca5ac> in <module>()

----> 1 next(g)

StopIteration: 3

In [51]: g=gen()

In [52]: next(g)

line1

Out[52]: 1

In [53]: next(g)

line2

Out[53]: 2

In [54]: next(g,'End')?? #沒有元素，給缺省值

line3

Out[54]: 'End'

In [55]: next(g,'End')

Out[55]: 'End'

?

無限循環：

例：

def counter():
??? i = 0
??? while True:
??????? i += 1
??????? yield i

def inc(c):
??????? return next(c)

c = counter()
print(inc(c))
print(inc(c))
print(inc(c))

##############

def counter2():
 ??? i = 0
 ??? while True:
 ??????? i += 1
 ??????? yield i

def inc2():
 ??? c = counter()
 ??? return next(c)

print(inc2())?? #1
print(inc2())?? #1
print(inc2())?? #1，每次都創建生成器對象

?

?

生成器應用：

計數器：

def inc():
 ??? def counter():
 ??????? i = 0
 ??????? while True:
 ??????????? i += 1
 ??????????? yield i
 ??? c = counter()
 ??? return lambda : next(c)?? #相當于如下三行，閉包，用到了外層函數的自由變量c,lambda表達式是匿名函數，return返回的是一個匿名函數
 ??? #def _inc():
 ??????? #return next(c)
 ??? #return _inc
foo = inc()
print(foo())
print(foo())

?

處理遞歸問題：

def fib():
 ??? x = 0
 ??? y = 1
 ??? while True:
 ??????? yield y
 ??????? x,y = y,x+y

 foo=fib()
for i in range(5):
 ??? print(next(foo))

for _ in range(100):
 ??? print(next(foo))
#print(next(foo))

?

?

?

coroutine協程：

生成器的高級用法；

比進程、線程輕量級；

是在用戶空間調度函數的一種實現；

?

python3 asyncio就是協程實現，已加入到標準庫；

python3.5使用async、await關鍵字直接原生支持協程；

?

協程調度器實現思路，有2個生成器A、B，next(A)后，A執行到了yield語句暫停，然后去執行next(B)，B執行到yield語句也暫停，然后再次調用next(A)，再調用next(B)，周而復始，就實現了調度效果；可引入調度的策略來實現切換的方式；

協程是一種非搶占式調度；

?

yield from語句：

python3.3出現的新語法；

yield from iterrable是for item in iterable: yield item形式的語法糖，從可迭代對象中一個個拿元素；

?

例：

In [56]: def inc():

??? ...:???? for x in range(1000):

??? ...:???????? yield x

??? ...:????????

In [57]: def inc():

??? ...:??? ?yield from range(1000)

??? ...:????

In [58]: foo=inc()

In [59]: next(foo)

Out[59]: 0

In [60]: next(foo)

Out[60]: 1

?

例：

In [68]: def counter(n):

??? ...:???? yield from range(n)

??? ...:????

In [69]: def inc(n):

??? ...:???? yield from counter(n)

??? ...:????

In [70]: foo=inc(10)

In [71]: next(foo)

Out[71]: 0

In [72]: next(foo)

Out[72]: 1

?

習題：

1、把一個字典扁平化flat；

源字典：{'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}}

?

2、實現base64編碼，要求自己實現算法；

3個8bit字節3*8-->轉化為4個6bit字節4*6，之后在6bit的前面補兩0，形成8bit一個字節的形式，如果剩下的字符不是3個字節，則用0填充，輸出字符使用=，因此編碼后輸出的文本末尾可能會出現1個或2個=；

編碼大小為2**6=64;

每一段當作一個8bit看它的值，這個值就是base64編碼表的索引值，找到對應字符，再取3個字節，同樣處理，直到最后；

例：

abc對應的ascii為：0x61,0x62,0x63，十進制為97,98,99

01100001 01100010 01100011

011000 010110 001001 100011

00011000 00010110 00001001 00100011

24 22 9 35

末尾處理：

正好3個字節，處理方法同上；

剩1個字節或2個字節，用0補滿3個字節；

補0的字節用=表示；

大小端模式：

大端模式（Big-endian），是指數據的高字節，保存在內存的低地址中，而數據的低字節，保存在內存的高地址中，這樣的存儲模式有點兒類似于把數據當作字符串順序處理：地址由小向大增加，而數據從高位往低位放；

小端模式（Little-endian），是指數據的高字節保存在內存的高地址中，而數據的低字節保存在內存的低地址中，這種存儲模式將地址的高低和數據位權有效地結合起來，高地址部分權值高，低地址部分權值低，和我們的邏輯方法一致；

在C語言中，默認是小端（但在一些對于單片機的實現中卻是基于大端，比如Keil 51C），Java是平臺無關的，默認是大端；在網絡上傳輸數據普遍采用的都是大端；

In [48]: b=int.from_bytes('abc'.encode(),'big')

In [49]: b

Out[49]: 6382179

In [50]: hex(b)

Out[50]: '0x616263'

In [52]: b=int.from_bytes('abc'.encode(),'little')

In [53]: hex(b)

Out[53]: '0x636261'

In [54]: type(b)

Out[54]: int

In [55]: import base64

In [56]: base64.b64encode('abc'.encode())

Out[56]: b'YWJj'

i18n（其來源是英文單詞internationalization的首末字符i和n，18為中間的字符數）是“國際化”的簡稱。在資訊領域，國際化(i18n)指讓產品（出版物，軟件，硬件等）無需做大的改變就能夠適應不同的語言和地區的需要。對程序來說，在不修改內部代碼的情況下，能根據不同語言及地區顯示相應的界面。在全球化的時代，國際化尤為重要，因為產品的潛在用戶可能來自世界的各個角落。通常與i18n相關的還有L10n（“本地化”的簡稱）。

?

3、求2個字符串的最長公共子串；

?

1、

src = {'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}}

target = {}

?

def flatmap(src,prefix=''):

??? for k,v in src.items():

??????? if isinstance(v,(dict)):

??????????? flatmap(v,prefix=prefix+k+'.')

??????? else:

??????????? target[prefix+k] = v

?

flatmap(src)

print(target)

#####################

src = {'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}}

?

def flatmap(src,dst=None,prefix=''):

??? if dst == None:??

???? ???dst = {}

??? for k,v in src.items():

??????? if isinstance(v,(dict)):

??????????? flatmap(v,dst,prefix=prefix+k+'.')?? #recursion調用

??????? else:

??????????? dst[prefix+k] = v

??? return dst

?

flatmap(src)

注：

用戶輸入的判斷，這些代碼通常比業務邏輯代碼長好幾倍，健壯的代碼無論怎么運行都不會意外崩潰；

一般不說明的情況下，都不會改源數據（源列表、源字典等）；

能否不暴露給外界內部的dst；

能否函數就提供一個參數源字典，返回一個新的扁平化字典；

遞歸時要把目標字典的引用傳遞多層，如何處理；

########################

src = {'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}}

?

def flatmap(src):

??? def _flatmap(src,dst,prefix=''):

??????? for k,v in src.items():

??????????? if isinstance(v,(dict)):

??????????????? _flatmap(v,dst,prefix=prefix+k+'.')

??????????? else:

??????????????? dst[prefix+k] = v

??? dst = {}

??? _flatmap(src,dst)

??? return dst

?

flatmap(src)

注：

不關心_flatmap函數內部如何實現，如內部用的數據結構、臨時對象、算法等，只關心調用后返回的結果；

#######################

src = {'a':{'b':1,'c':2},'d':{'e':3,'f':{'g':4}}}

?

def flatmap(src):

??? def _flatmap(src,dst,prefix=''):

??????? for k,v in src.items():

??????????? key = prefix + k

??????????? if isinstance(v,(dict)):

??????????????? _flatmap(v,dst,key+'.')

??????????? else:

??????????????? dst[key] = v

??? dst = {}

??? _flatmap(src,dst)

??? return dst

?

flatmap(src)

?

2、

import string

import base64

?

alphabet = b'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/'

#teststr = 'abcd'

# teststr = 'abc'

teststr = 'ManMa'

?

def base(src):

??? ret = bytearray()

??? length = len(src)

??? r = 0

??? for offset in range(0,length,3):

??????? if offset + 3 <= length:

??????????? triple = src[offset:offset+3]

??????? else:

??????????? triple = src[offset:]

??????????? r = 3 - len(triple)

??????????? triple = triple + '\x00' * r

??????? #print(triple,r)

??????? b = int.from_bytes(triple.encode(),'big')

??????? #print(hex(b))

??????? for i in range(18,-1,-6):

??????????? if i == 18:

??????????????? index = b >> i

??????????? else:

??????????????? index = b >> i & 0x3F

??????????? ret.append(alphabet[index])

??????? for i in range(1,r+1):

? ??????????ret[-i] = 0x3D

??? return bytes(ret)

?

print(base(teststr))

print('*' * 50)

print(base64.b64encode(teststr.encode()))

注：

alphabet = string.ascii_uppercase + string.ascii_lowercase + string.digits + '+/'

?

3、

def findit(str1,str2):

??? length = len(str1)

??? for sublen in range(length,0,-1):

??????? for start in range(0,length-sublen+1):

??????????? substr = str1[start:start+sublen]

??????????? if str2.find(substr) != -1:

??????????????? print('substrlen={}'.format(substr))

???????? ???????return substr

?

s1 = 'abcd'

s2 = 'abcefgd'

s3 = '123a'

print(findit(s1,s2))?? #傳參時要注意，str1為短字串，str2為長字串

print(findit(s1,s3))

?

?

?