WebMagic 是一款優秀的 Java 爬蟲框架，但在爬取過程中可能會遇到一些異常情況，需要合理處理和設置重試機制，以保證爬蟲的穩定性和效率。

異常處理： WebMagic 默認會將爬取過程中遇到的異常記錄在日志中，可以通過自定義 ExceptionHandler 來處理這些異常，例如可以將異常信息保存到數據庫或發送郵件進行通知。

Spider.create(new MyPageProcessor())
    .addUrl("http://www.example.com")
    .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(1000000)))
    .setDownloader(new HttpClientDownloader())
    .setThread(5)
    .setExitWhenComplete(true)
    .setExceptionHandler(new MyExceptionHandler())
    .run();

其中，MyExceptionHandler 是自定義的異常處理類，需要繼承自 AbstractExceptionHandler 類，重寫 handle 方法來處理異常：

public class MyExceptionHandler implements ExceptionHandler {

    @Override
    public void handle(Request request, Exception e) {
        // 異常處理邏輯
        System.out.println("An exception occurred: " + e.getMessage());
    }
}

重試機制： WebMagic 提供了一個 RetryDownloader 類來實現下載失敗時的重試機制，可以設置最大重試次數和重試間隔時間，以應對網絡不穩定等情況。

Spider.create(new MyPageProcessor())
    .addUrl("http://www.example.com")
    .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(1000000)))
    .setDownloader(new RetryDownloader(new HttpClientDownloader(), 3, 1000))
    .setThread(5)
    .setExitWhenComplete(true)
    .run();

上面的代碼中，RetryDownloader 將 HttpClientDownloader 作為參數傳入，設置最大重試次數為 3 次，重試間隔時間為 1000 毫秒。

通過合理處理異常和設置重試機制，可以提高爬蟲的穩定性和效率，避免因異常情況導致爬取失敗。