如何抓取分析Thread Dump

一、抓取

1. ps –ef  | grep java

2. jstack -l <pid> > 111.txt

二、分析

jstack Dump 日志文件中的線程狀態

dump 文件里，值得關注的線程狀態有：

1. 死鎖，Deadlock（重點關注） 

2. 執行中，Runnable   

3. 等待資源，Waiting on condition（重點關注） 

4. 等待獲取監視器，Waiting on monitor entry（重點關注）

5. 暫停，Suspended

6. 對象等待中，Object.wait() 或 TIMED_WAITING

7. 阻塞，Blocked（重點關注）  

8. 停止，Parked

下面我們先從第一個例子開始分析，然后再列出不同線程狀態的含義以及注意事項，最后再補充兩個實例。

綜合示范一：Waiting to lock 和 Blocked

實例如下：

"RMI TCP Connection(267865)-172.16.5.25" daemon prio=10 tid=0x00007fd508371000 nid=0x55ae waiting for monitor entry [0x00007fd4f8684000]

   java.lang.Thread.State: BLOCKED (on object monitor)

at org.apache.log4j.Category.callAppenders(Category.java:201)

- waiting to lock <0x00000000acf4d0c0> (a org.apache.log4j.Logger)

at org.apache.log4j.Category.forcedLog(Category.java:388)

at org.apache.log4j.Category.log(Category.java:853)

at org.apache.commons.logging.impl.Log4JLogger.warn(Log4JLogger.java:234)

at com.tuan.core.common.lang.cache.remote.SpyMemcachedClient.get(SpyMemcachedClient.java:110)

……

1）線程狀態是 Blocked，阻塞狀態。說明線程等待資源超時！

2）“ waiting to lock <0x00000000acf4d0c0>”指，線程在等待給這個 0x00000000acf4d0c0 地址上鎖（英文可描述為：trying to obtain  0x00000000acf4d0c0 lock）。

3）在 dump 日志里查找字符串 0x00000000acf4d0c0，發現有大量線程都在等待給這個地址上鎖。如果能在日志里找到誰獲得了這個鎖（如locked < 0x00000000acf4d0c0 >），就可以順藤摸瓜了。

4）“waiting for monitor entry”說明此線程通過 synchronized(obj) {……} 申請進入了臨界區，從而進入了下圖1中的“Entry Set”隊列，但該 obj 對應的 monitor 被其他線程擁有，所以本線程在 Entry Set 隊列中等待。

5）第一行里，"RMI TCP Connection(267865)-172.16.5.25"是 Thread Name 。tid指Java Thread id。nid指native線程的id。prio是線程優先級。[0x00007fd4f8684000]是線程棧起始地址。

Dump文件中的線程狀態含義及注意事項

含義如下所示：

• Deadlock：死鎖線程，一般指多個線程調用間，進入相互資源占用，導致一直等待無法釋放的情況。

• Runnable：一般指該線程正在執行狀態中，該線程占用了資源，正在處理某個請求，有可能正在傳遞SQL到數據庫執行，有可能在對某個文件操作，有可能進行數據類型等轉換。

• Waiting on condition：等待資源，或等待某個條件的發生。具體原因需結合 stacktrace來分析。

• 
  

  • 一種情況是網絡非常忙，幾乎消耗了所有的帶寬，仍然有大量數據等待網絡讀寫；

  • 另一種情況也可能是網絡空閑，但由于路由等問題，導致包無法正常的到達。

  • 如果堆棧信息明確是應用代碼，則證明該線程正在等待資源。一般是大量讀取某資源，且該資源采用了資源鎖的情況下，線程進入等待狀態，等待資源的讀取。

  • 又或者，正在等待其他線程的執行等。

  • 如果發現有大量的線程都在處在 Wait on condition，從線程 stack看，正等待網絡讀寫，這可能是一個網絡瓶頸的征兆。因為網絡阻塞導致線程無法執行。

  • 
    

  • 另外一種出現 Wait on condition的常見情況是該線程在 sleep，等待 sleep的時間到了時候，將被喚醒。

• Blocked：線程阻塞，是指當前線程執行過程中，所需要的資源長時間等待卻一直未能獲取到，被容器的線程管理器標識為阻塞狀態，可以理解為等待資源超時的線程。

• Waiting for monitor entry 和 in Object.wait()：Monitor是 Java中用以實現線程之間的互斥與協作的主要手段，它可以看成是對象或者 Class的鎖。每一個對象都有，也僅有一個 monitor。從下圖1中可以看出，每個 Monitor在某個時刻，只能被一個線程擁有，該線程就是 “Active Thread”，而其它線程都是 “Waiting Thread”，分別在兩個隊列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的線程狀態是 “Waiting for monitor entry”，而在 “Wait Set”中等待的線程狀態是 “in Object.wait()”。

圖1 A Java Monitor

綜合示范二：Waiting on condition 和 TIMED_WAITING

實例如下：

"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]

   java.lang.Thread.State: TIMED_WAITING (parking)

at sun.misc.Unsafe.park(Native Method)

- parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)

at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)

at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)

at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)

at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)

at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)

at java.lang.Thread.run(Thread.java:662)

1）“TIMED_WAITING (parking)”中的 timed_waiting 指等待狀態，但這里指定了時間，到達指定的時間后自動退出等待狀態；parking指線程處于掛起中。

2）“waiting on condition”需要與堆棧中的“parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)”結合來看。首先，本線程肯定是在等待某個條件的發生，來把自己喚醒。其次，SynchronousQueue 并不是一個隊列，只是線程之間移交信息的機制，當我們把一個元素放入到 SynchronousQueue 中時必須有另一個線程正在等待接受移交的任務，因此這就是本線程在等待的條件。

3）別的就看不出來了。

綜合示范三：in Obejct.wait() 和 TIMED_WAITING

實例如下：

"RMI RenewClean-[172.16.5.19:28475]" daemon prio=10 tid=0x0000000041428800 nid=0xb09 in Object.wait() [0x00007f34f4bd0000]

   java.lang.Thread.State: TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

- waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)

- locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)

at java.lang.Thread.run(Thread.java:662)

1）“TIMED_WAITING (on object monitor)”，對于本例而言，是因為本線程調用了 java.lang.Object.wait(long timeout) 而進入等待狀態。

2）“Wait Set”中等待的線程狀態就是“ in Object.wait() ”。當線程獲得了 Monitor，進入了臨界區之后，如果發現線程繼續運行的條件沒有滿足，它則調用對象（一般就是被 synchronized 的對象）的 wait() 方法，放棄了 Monitor，進入 “Wait Set”隊列。只有當別的線程在該對象上調用了 notify() 或者 notifyAll() ，“ Wait Set”隊列中線程才得到機會去競爭，但是只有一個線程獲得對象的 Monitor，恢復到運行態。 

3）RMI RenewClean 是 DGCClient 的一部分。DGC 指的是 Distributed GC，即分布式垃圾回收。

4）請注意，是先 locked <0x00000000aa672478>，后 waiting on <0x00000000aa672478>，之所以先鎖再等同一個對象，請看下面它的代碼實現：

static private class  Lock { };

private Lock lock = new Lock();

public Reference<? extends T> remove(long timeout)

{

    synchronized (lock) {

        Reference<? extends T> r = reallyPoll();

        if (r != null) return r;

        for (;;) {

            lock.wait(timeout);

            r = reallyPoll();

            ……

       }

}

即，線程的執行中，先用 synchronized 獲得了這個對象的 Monitor（對應于  locked <0x00000000aa672478> ）；當執行到 lock.wait(timeout);，線程就放棄了 Monitor 的所有權，進入“Wait Set”隊列（對應于  waiting on <0x00000000aa672478> ）。

5）從堆棧信息看，是正在清理 remote references to remote objects ，引用的租約到了，分布式垃圾回收在逐一清理呢。