使用OpenCsv導入大數據量報錯怎么辦

小編給大家分享一下使用OpenCsv導入大數據量報錯怎么辦，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

導入100W的Csv數據，使用OpenCsv解析工具解析Csv，發現報錯

報錯內容

com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
 at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]

解析代碼

CSVParser csvParser = new CSVParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) {
    String[] lines;
    while ((lines = readerCsv.readNext()) != null) {
        doRead(lines);
    }
} catch (CsvValidationException e) {
    throw new IOException(e);
}

報錯位置發生在英文逗號處，一開始懷疑是英文逗號解析問題
Csv 文本報錯位置

"2018-04-28 00:40:43","xxx,XXXXX"

去掉當前位置英文逗號導入仍舊失敗
后來查看源碼發現默認的 CSVParser 會對反斜杠""進行處理

這導致了解析Csv邏輯與源文件不同
后來使用了 RFC4180Parser 問題解決

RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) {
    String[] lines;
    while ((lines = readerCsv.readNext()) != null) {
        doRead(lines);
    }
} catch (CsvValidationException e) {
    throw new IOException(e);
}

以上是“使用OpenCsv導入大數據量報錯怎么辦”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！