Sqoop 是一個用于在關系型數據庫和 Hadoop 之間傳輸數據的工具。它支持多種數據庫，如 MySQL、Oracle、PostgreSQL 等。在使用 Sqoop 進行數據清洗時，你可以通過編寫自定義的 MapReduce 作業來實現。以下是一個簡單的步驟說明：

1. 準備數據源和目標：

   • 確保你的關系型數據庫已經設置好，并且包含了你想要清洗的數據。
   • 安裝并配置 Hadoop，確保它已經運行并可以訪問你的關系型數據庫。

2. 編寫自定義 MapReduce 作業：

   • 使用 Java 或其他支持的編程語言編寫一個 MapReduce 作業。
   • 在 Map 階段，從關系型數據庫中讀取數據，并對數據進行初步的清洗，例如去除空值、重復值等。
   • 在 Reduce 階段，對 Map 階段產生的數據進行進一步的處理，例如格式化日期、字符串截取等。
   • 將處理后的數據寫入 Hadoop 的輸出目錄。

3. 使用 Sqoop 運行自定義 MapReduce 作業：

   • 首先，使用 Sqoop 導出關系型數據庫中的數據到 Hadoop 的輸入目錄。例如：

     sqoop export \
     --connect jdbc:mysql://localhost:3306/mydb \
     --table mytable \
     --username myuser \
     --password mypassword \
     --input-dir /user/hadoop/input \
     --output-dir /user/hadoop/output
     

   • 然后，使用 Sqoop 執行你的自定義 MapReduce 作業。例如：

     sqoop jar /path/to/your/mapreduce-job.jar \
     org.mycompany.MyMapReduceJob \
     --input-dir /user/hadoop/input \
     --output-dir /user/hadoop/output
     

   • 最后，使用 Sqoop 從 Hadoop 的輸出目錄導入處理后的數據回關系型數據庫。例如：

     sqoop import \
     --connect jdbc:mysql://localhost:3306/mydb \
     --table mytable \
     --username myuser \
     --password mypassword \
     --input-dir /user/hadoop/output \
     --output-dir /user/hadoop/output_clean
     

通過以上步驟，你可以使用 Sqoop 和自定義 MapReduce 作業對關系型數據庫中的數據進行清洗。請注意，這里的示例僅用于說明目的，你可能需要根據實際需求對你的 MapReduce 作業進行修改。