awk腳本如何移植到Python

本篇內容主要講解“awk腳本如何移植到Python”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“awk腳本如何移植到Python”吧!

標準 awk 到 Python 功能

以下 Python 功能是有用的，需要記住：

with open(some_file_name) as fpin:    for line in fpin:        pass # do something with line

此代碼將逐行循環遍歷文件并處理這些行。

如果要訪問行號（相當于 awk 的 NR），則可以使用以下代碼：

with open(some_file_name) as fpin:    for nr, line in enumerate(fpin):        pass # do something with line

在 Python 中實現多文件的 awk 式行為

如果你需要能夠遍歷任意數量的文件同時保持行數的持續計數（類似 awk 的 FNR），則此循環可以做到這一點：

def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from fpin    yield from enumerate(_all_lines())

此語法使用 Python 的生成器和 yield from 來構建迭代器，該迭代器將遍歷所有行并保持一個持久計數。

如果你需要同時使用 FNR 和 NR，這是一個更復雜的循環：

def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from enumerate(fpin)    for nr, (fnr, line) in _all_lines:        yield nr, fnr, line

更復雜的 FNR、NR 和行數的 awk 行為

如果 FNR、NR 和行數這三個你全都需要，仍然會有一些問題。如果確實如此，則使用三元組（其中兩個項目是數字）會導致混淆。命名參數可使該代碼更易于閱讀，因此最好使用 dataclass：

import dataclass @dataclass.dataclass(frozen=True)class AwkLikeLine:    content: str    fnr: int    nr: int def awk_like_lines(list_of_file_names):    def _all_lines():        for filename in list_of_file_names:            with open(filename) as fpin:                yield from enumerate(fpin)    for nr, (fnr, line) in _all_lines:        yield AwkLikeLine(nr=nr, fnr=fnr, line=line)

你可能想知道，為什么不一直用這種方法呢？使用其它方式的的原因是總用這種方法太復雜了。如果你的目標是把一個通用庫更容易地從 awk 移植到  Python，請考慮這樣做。但是編寫一個可以使你確切地了解特定情況所需的循環的方法通常更容易實現，也更容易理解（因而易于維護）。

理解 awk 字段

一旦有了與一行相對應的字符串，如果要轉換 awk 程序，則通常需要將其分解為字段。Python 有幾種方法可以做到這一點。這將把行按任意數量的連續空格拆分，返回一個字符串列表：

line.split()

如果需要另一個字段分隔符，比如以 : 分隔行，則需要 rstrip 方法來刪除最后一個換行符：

line.rstrip("\n").split(":")

完成以下操作后，列表 parts 將存有分解的字符串：

parts = line.rstrip("\n").split(":")

這種拆分非常適合用來處理參數，但是我們處于偏差一個的錯誤場景中。現在 parts[0] 將對應于 awk 的 $1，parts[1] 將對應于 awk 的 $2，依此類推。之所以偏差一個，是因為 awk 計數“字段”從 1 開始，而 Python 從 0 開始計數。在 awk 中，$0 是整個行 —— 等同于 line.rstrip("\n")，而 awk 的 NF（字段數）更容易以 len(parts) 的形式得到。

移植 awk 字段到 Python

例如，讓我們將這個單行代碼“如何使用 awk 從文件中刪除重復行”轉換為 Python。

awk 中的原始代碼是：

awk '!visited[$0]++' your_file > deduplicated_file

“真實的” Python 轉換將是：

import collectionsimport sys visited = collections.defaultdict(int)for line in open("your_file"):    did_visit = visited[line]    visited[line] += 1    if not did_visit:        sys.stdout.write(line)

但是，Python 比 awk 具有更多的數據結構。與其計數訪問次數（除了知道是否看到一行，我們不使用它），為什么不記錄訪問的行呢？

import sys visited = set()for line in open("your_file"):    if line in visited:        continue    visited.add(line)    sys.stdout.write(line)

編寫 Python 化的 awk 代碼

Python 社區提倡編寫 Python 化的代碼，這意味著它要遵循公認的代碼風格。更加 Python 化的方法將區分唯一性和輸入/輸出的關注點。此更改將使對代碼進行單元測試更加容易：

def unique_generator(things):    visited = set()    for thing in things:        if thing in visited:            continue        visited.add(things)        yield thing import sys   for line in unique_generator(open("your_file")):    sys.stdout.write(line)

將所有邏輯置于輸入/輸出代碼之外，可以更好地分離問題，并提高代碼的可用性和可測試性。

到此，相信大家對“awk腳本如何移植到Python”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！