NLP?TextRNN怎么實現情感分類

這篇文章主要介紹“NLP TextRNN怎么實現情感分類”，在日常操作中，相信很多人在NLP TextRNN怎么實現情感分類問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”NLP TextRNN怎么實現情感分類”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

概要

在自然語言處理（NLP）領域，情感分析及分類是一項十分熱門的任務。它的目標是從文本中提取出情感信息和意義，通常分為兩類：正向情感和負向情感，并且可以細化為多個情感級別。

數據集

我們將使用公開的中文情感分類數據集THUCNews。該數據集包括74000個樣本，被標記成10個類別：'體育', '娛樂', '家居', '房產', '教育', '時尚', '時政', '游戲', '科技'和 '財經'。我們選擇其中5類并按照“csv”格式存儲下來：'體育', '時政', '科技', '娛樂'和‘財經’。每個樣本由一條短文本和一個標簽組成。

以下是讀取數據集和預覽樣本：

import pandas as pd
# 加載數據集
df = pd.read_csv('data.csv')
# 打印前五個樣本
print(df.head())

輸出：

數據預處理

首先，將文本轉換為可供模型使用的數字特征向量是自然語言處理任務中的關鍵步驟。我們可以通過利用一種稱為“分詞”的技術，將文本劃分為一個個單詞或詞匯。

對于中文文本，我們將使用jieba分詞庫。以下是代碼實現：

import jieba
# 進行中文分詞，并將結果以字符串列表形式返回
def chinese_word_cut(mytext):
    return ' '.join(jieba.cut(mytext))
df['text'] = df.text.apply(chinese_word_cut)

接下來，我們需要將文本數據轉換為數值特征向量。我們可以使用torchtext庫來處理此操作。以下是代碼實現：

import torchtext
from torchtext import data
# 構建Field和Dataset
text_field = data.Field(tokenize='spacy', batch_first=True, fix_length=100)
label_field = data.LabelField(dtype=torch.long)
fields = [('text', text_field), ('label', label_field)]
dataset = data.TabularDataset(path='data.csv',
                              format='csv',
                              fields=fields,
                              skip_header=True)
# 劃分測試集與訓練集，比例為0.8/0.2
train_data, test_data = dataset.split(split_ratio=0.8, random_state=random.getstate())
# 構建詞典
text_field.build_vocab(train_data, vectors='glove.6B.100d')
label_field.build_vocab(train_data)

在這里，我們定義兩個Field：第一個用于表示問題文本，第二個用于表示標簽。然后，我們將它們放到一個名為“fields”的列表里。數據的格式是CSV，并由TabularDataset加載。

接著，我們對原始數據進行劃分，將80％的數據作為訓練集，20％作為測試集。為了能再次處理相同的數據，我們還設置了一個種子(random state)。

最后，我們創建了單詞表，并利用預訓練的詞向量(fill-vectors)進行初始化。例如，在此處，我們選擇了GloVe詞向量(glove.6B.100d)。GloVe是一種基于全局詞頻的詞向量。

模型構建

TextRNN 是一個典型的循環神經網絡模型，專門用于處理序列數據。當我們連續閱讀一篇文章時，記憶通常從前到后流動，并且在閱讀新的單詞時，信息會累積起來，這正是RNN的目標。

我們將使用PyTorch來實現一個簡單的TextRNN模型。以下是代碼實現：

import torch.nn as nn
class TextRNN(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, output_dim, n_layers,
                 bidirectional, dropout):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim) 
        self.hidden_dim = hidden_dim
        self.n_layers = n_layers
        self.bidirectional = bidirectional
        self.rnn = nn.RNN(embed_dim,
                          hidden_dim,
                          num_layers=n_layers,
                          bidirectional=bidirectional,
                          batch_first=True,
                          dropout=dropout)
        self.fc = nn.Linear(hidden_dim * 2 if bidirectional else hidden_dim, output_dim)
        self.dropout = nn.Dropout(dropout)
    def forward(self, text):        
        embedded = self.embedding(text)
        output, hidden = self.rnn(embedded)
        hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1))
        return self.fc(hidden)

在RNN層之后有兩個線性層：一個用于投影輸出空間，一個用于產生最終結果。為了避免過擬合，我們還添加了一些丟棄層。

此處的輸入特征為嵌入(embedding)矩陣，該矩陣是固定大小的，其中每行對應于詞匯表中的單個單詞。所以第一個參數為vocab_size, 第二個參數用于指定分詞后每個單詞的維度。

RNN的隱藏狀態(h)對于這類任務非常關鍵，因為它是從之前的時間步的信息生成的，并存儲了讀取所有歷史記錄的能力。在我們的示例中，我們選用GPU加速訓練。

模型訓練

現在我們準備好訓練模型了。我們將使用PyTorch Lightning框架來加速開發和調試的過程。

以下是代碼實現：

import torch
from torch.utils.data import DataLoader
import pytorch_lightning as pl
class Model(pl.LightningModule):
    def __init__(self, vocab_size, embed_dim, hidden_dim, output_dim, n_layers,
                 bidirectional, dropout=0.5):
        super(Model, self).__init__()
        self.rnn = TextRNN(vocab_size, embed_dim, hidden_dim, 
                           output_dim, n_layers, bidirectional, dropout)
        self.loss_fn = nn.CrossEntropyLoss()
    def forward(self, text):
        return self.rnn(text)
    def training_step(self, batch, batch_idx):
        x, y = batch.text, batch.label
        pred_y = self(x).squeeze(1)
        loss = self.loss_fn(pred_y, y)
        acc = accuracy(pred_y, y)
        self.log('train_loss', loss, prog_bar=True)
        self.log('train_acc', acc, prog_bar=True)
        return {'loss': loss}
    def validation_step(self, batch, batch_idx):
        x, y = batch.text, batch.label
        pred_y = self(x).squeeze(1)
        loss = self.loss_fn(pred_y, y)
        acc = accuracy(pred_y, y)
        self.log('val_loss', loss, prog_bar=True)
        self.log('val_acc', acc, prog_bar=True)
    def configure_optimizers(self):
        optimizer = torch.optim.Adam(self.parameters(), lr=0.001)
        return optimizer
def accuracy(preds, y):
    _, preds = torch.max(preds, dim=1)
    correct = (preds == y).float()
    acc = correct.sum() / len(correct)
    return acc

這里我們使用LightningModule來創建一個PyTorch Lightning模型。在訓練步驟中，我們計算了損失和準確率，并將值記錄為train_loss、train_acc、val_loss和 val_acc。然后我們返回損失并將PyTorch Lightning接收到的優化器作為return語句輸出。

模型評估

現在我們已經完成了訓練，下一步是評估我們的模型。我們將使用測試集進行評估。以下是代碼實現：

test_loader = DataLoader(test_data, batch_size=BATCH_SIZE)
ckpt = pl.callbacks.ModelCheckpoint(monitor='val_loss')
trainer = pl.Trainer(gpus=1, callbacks=[ckpt])
model = Model(len(text_field.vocab), 100, 128, len(label_field.vocab), 1, True)
trainer.fit(model, DataLoader(train_data, batch_size=BATCH_SIZE))
trainer.test(test_dataloaders=test_loader)

在這里，我們將batch size設置為128，并訓練20個epoch。最后，使用測試數據評估模型的性能。

到此，關于“NLP TextRNN怎么實現情感分類”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！