解決Kubernetes Pod DNS超時問題

最近剛給公司測試環境上了K8s，大部分容器采用得是以alpine為基礎的鏡像，基礎服務如MySQL、Redis等以域名的方式連接，但是出現一個很奇怪的現象，部分Pod內應用報DNS超時，大概報錯日志是這樣的（JAVA）：io.netty.resolver.dns.DnsNameResolverTimeoutException: [/10.96.0.10:53] query timed out after 5000 milliseconds (no stack trace available)
?
網上搜了一下，似乎K8s環境中使用alpine作鏡像就會出現這個問題，參考了這篇文章：https://forum.choerodon.io/t/topic/1111, 嘗試解決方法如下
1、使用移除解析AAAA記錄的alpine修改版鏡像，并安裝了glibc以支持java，鏡像地址:https://hub.docker.com/r/geekidea/alpine-a/， 無效
2、文章中提到非alpine鏡像，可以通過修改/etc/resolv.conf增加options single-request-reopen解決問題，alpine鏡像不行，原因是非alpine鏡像采用的glibc，而alpine默認使用的是musl libc，想著我們用的alpine已經安裝glibc，可不可以用這個方法試一下，于是嘗試修改，在YAML中加入下面這段：

        lifecycle:
          postStart:
            exec:
              command:
              - /bin/sh
              - -c 
              - "/bin/echo 'options single-request-reopen' >> /etc/resolv.conf"

注意：這里不能直接使用sed替換，會報錯。
還是無效

重新理清思路，會不會是自動生成的/etc/resolv.conf有問題，造成DNS不正常，查看Pod的/etc/resolv.conf，原始文件內容如下：

nameserver 10.96.0.10
search test1.svc.cluster.local  svc.cluster.local cluster.local
options ndots:5

嘗試ping test1.svc.cluster.local
ping svc.cluster.local
ping cluster.local
發現后兩個根本無法ping通，難道這兩個搜索域引起DNS超時，于是決定試試不使用默認生成的/etc/resolv.conf，自己寫，查看K8s官方文檔，原來官方就提供類似配置，在YAML的spec段加入如下配置：

      dnsPolicy: "None"
      dnsConfig:
        nameservers:
        - 10.96.0.10
        searches:
        - test1.svc.cluster.local
        options:
        - name: single-request-reopen

注意nameservers為kube-dns的ClusterIP，searches（搜索域）根據你的實際環境配置
生成的/etc/resolv.conf如下：

nameserver 10.96.0.10
search test1.svc.cluster.local
options single-request-reopen

嘗試多次刪除Pod，創建Pod，問題不再復現，原來罪魁禍首就出在resolv.conf的搜索域配置中，具體原理等以后有空再去研究一下，最近沒時間：）