datastage獲取csv文件，并插入數據庫

datastage操作流程

文檔創建人： 月夜楓

日期：20180112

版本：V1.0

1、處理文件

本次項目的源文件來源于10.126.124.39服務器，39服務器并未開啟ftp功能，但是開啟了目錄共享功能.

1.1、使用bat批處理腳本先將源數據拷貝到本地服務器10.126.124.14中

1.2、同時將多個文件進行合并，方便后續datastage調用，提高效率，否則需要多次運行datastage中job

2、創建job，準備全局job參數

創建job，對job進行參數配置，主要包含：鏈接服務器參數，鏈接數據庫參數，在數據轉換過程中需要的系統參數

3、創建ftp源組件

3.1、在job界面，palette欄，獲取一個process相關組件Ftp,設置 properties參數

注：connect參數是源文件所在服務器的ftp的登陸賬號密碼，需要網絡管理員設置。

3.2、Format參數設置

3.3、column參數設置，選擇自己創建的table difination,自動引入，在4.1有具體創建步驟

3.4、配置好參數，檢查配置問題。

在3.1圖中，有一個view data，若配置成功，則可以通過在此可以讀取到數據。

注：若出現中文亂碼，在下面進行更改字符集

點擊下面按鍵更改

選擇NLS，更改字符集

4、創建Nettza數據庫目標組件

4.1、需要創建一個nettza數據庫對應的table difinition組件，保存在對應的目錄底下，后續使用。

創建步驟：在主頁面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à錄入賬號密碼地址等相關信息 -à選擇需要的表，或已經創建的表

4.2、創建數據庫目標組件

在job界面，palette欄，獲取一個database選擇nettza connector，配置相關參數

配置column參數和3.3方式一樣，再此不重復講解。

5、創建transformer轉換規則

創建transformer,在job界面，palette欄，獲取兩個link箭頭按照數據扭轉方向進行連接三個組件。

設置transformer的參數

1、需要點擊下圖按鈕1進行組件column的1對1關聯

2、若需要對目標表的數據進行處理選擇下圖2的地方進行選擇，可以更改數據類型，對目標數據進行轉換等操作

6、測試

保存文件，編譯，運行，錄入參數進行運行，根據日志進行測試，排查bug

7、制作windows定時任務

1、進入定時任務管理器

開始，控制面板，系統和安全，管理工具，任務計劃，打開之后

界面如下

右鍵“任務計劃程序”，創建任務，錄入任務名稱和描述

最后需要錄入管理員賬戶密碼

2、更改定時任務

雙擊點開任務的屬性，注意更改屬性為不管是否登陸與否都要運行，并使用最高權限運行。