Suricata簡介

目錄

Suricata簡介
IDS/IPS簡介
Suricata主要特點
Suricata基本架構
Suricata抓包性能
Suricata規則
Suricata自定義檢測
Suricata http log自定義輸出
Suricata單進程同時監聽兩個網口
問題
總結
參考

Suricata簡介

Suricata是一個高性能的IDS、IPS和網絡安全監控的引擎。它是開源的，由一個社區經營的非營利基金會開放信息安全基金會（OISF）開發。

安裝環境建議使用centos7/redhat7版本以上的操作系統，Suricata版本建議使用4.x以上，這樣方便多線程，Hypersca，pfring等功能的使用。6版本的操作系統編譯環境需要花時間取升級修復，不建議使用。

IDS/IPS簡介

檢測系統（Intrusion detection system，簡稱“IDS”）是一種對網絡傳輸進行即時監視，根據預設的策略，在發現可疑傳輸時發出警報。
預防系統(Intrusion prevention system，簡稱“IPS”)是一部能夠監視網絡或網絡設備的網絡資料傳輸行為的計算機網絡安全設備，一般位于防火墻和網絡的設備之間，能夠即時的中斷、調整或隔離一些不正常或是具有傷害性的網絡資料傳輸行為。相對于IDS主能提供了中斷防御功能。

Suricata主要特點

• 支持從nfqueue中讀取流量
• 支持分析離線pcap文件和pcap文件方式存儲流量數據
• 支持ipv6
• 支持pcap，af_packet，pfring，硬件卡抓包
• 多線程
• 支持內嵌lua腳本，以實現自定義檢測和輸出腳本
• 支持ip信用等級
• 支持文件還原
• 兼容snort規則
• 支持常見數據包解碼：IPv4, IPv6, TCP, UDP, SCTP, ICMPv4, ICMPv6, GRE, Ethernet, PPP, PPPoE, Raw, SLL, VLAN, QINQ, MPLS, ERSPAN, VXLAN
• 支持常見應用層協議解碼：HTTP, SSL, TLS, SMB, DCERPC, SMTP, FTP, SSH, DNS, Modbus, ENIP/CIP, DNP3, NFS, NTP, DHCP, TFTP, KRB5, IKEv2, SIP, SNMP, RDP

Suricata基本架構

運行模式

有三種運行模式，分別為single，workers，autofp。官方推薦性能最佳的運行模式為workers模式。
single模式：只有一個包處理線程，一般在開發模式下使用。

workers模式：多個包處理線程，每個線程包含完整的處理邏輯。

autofp模式：有多個包捕獲線程，多個包處理線程。一般適用于nfqueue場景，從多個queue中消費流量來處理。

四種線程模塊

包獲取：包捕獲
解碼：對數據包和應用層協議解碼
檢測：通過規則或者自定義腳本對數據包進行檢測
輸出：輸出檢測結果和常規協議相關日志等

Suricata性能調優

抓包性能對比

• 硬件捕獲 > pfring zc > pfring > af-packet > pcap

調優

1，關閉網卡多隊列功能
原因：一般使用流量鏡像方式把流量鏡像到服務器網卡，如果多隊列的話，同一個tcp連接的數據有可能會被分散到不同的隊列，由于時間的延遲可能導致有亂序可能。例如先收到了syn/ack，再收到syn，suricata會認為此流量無效而丟棄。如果做檢測，則需要加緩沖和排序，代價較大。

插卡em4網卡的rss
# ethtool -l em4
Channel parameters for em4:
Pre-set maximums:
RX:             0
TX:             0
Other:          1
Combined:       8
Current hardware settings:
RX:             0
TX:             0
Other:          1
Combined:       8

設置rss為1
# ethtool -L  em4 combined 1

2，根據官方建議關閉網卡tso，gso，lro，gro等特性
原因：
tso/gso：網卡將普通的數據包重新組裝卸載到一個大的“超級數據包”中，這樣就減少了在堆棧中傳遞的數據包的數量，提升性能。這將導致捕獲應用程序捕獲到比它們的接口的MTU大得多的數據包，并可能干擾最大數據包捕獲長度(snaplen)，導致捕獲程序丟棄這些超級數據包。
lro/gro：導致將各種較小的包合并成大的“超級包”，從而破壞suricata對tcp連接的跟蹤。

插卡em4網卡的特性
# ethtool -k em4

關閉lro，gro
# ethtool -K em4 tso off gso off lro off gro off

3，使用pfring zc模式捕獲包
原因：pfring+zero copy提升性能，但是zero copy需要網卡驅動支持，目前我們使用pfring模式抓包，只需要kernel支持即可。
4，調整配置文件中內存相關配置，調大flow.memcap,stream.memcap,stream.reassembly.memcap
5，使用workers運行模式
6，調整配置文件中max-pending-packets為8192
7，suricata編譯需要支持luajit（用于替換原始lua），Hyperscan高性能正則庫，PF_RING高性能包捕獲庫

Suricata規則

1，兼容snort規則，具體可參考官方文檔。
2，通過規則和內置的關鍵字實現對數據包的過濾和處理等。
3，Suricata4.x版本之后有自帶的規則管理工具

Suricata自定義檢測

支持通過lua腳本對數據包進行自定義檢測，例如協議識別和異常流量識別等

Suricata http log自定義輸出

支持通過lua腳本腳本獲取http協議request和response的相關信息，從而可以輸出http協議中的所以數據，例如header，request body，response body等。

Suricata單進程同時監聽兩個網口

通過修改suricata.yml配置文件可以實現，以pfring捕獲方式為例，如下配置文件為同時捕獲兩個網口流量的配置：

pfring:
  - interface: em2
    threads: auto
    cluster-id: 81
    cluster-type: cluster_flow
  - interface: em4
    threads: auto
    cluster-id: 82
    cluster-type: cluster_flow

問題

1，發現流量里面有部分vlan數據的情況下，suricata不能正常輸出http和dns等應用協議的日志
解決：
關閉如下配置

vlan:
    use-for-tracking: false

2，https流量解密
不支持對https加密流量的解密，只能解碼ssl/tls協議，目前看主流的tls協議（TLSv1 TLSv1.1 TLSv1.2 TLSv1.3）都能解析。解析后的日志樣例如下：

{"timestamp":"2019-12-12T16:04:39.031174+0800","flow_id":1696894142547600,"in_iface":"eth2","event_type":"tls","vlan":20,"src_ip":"1.1.1.1","src_port":63198,"dest_ip":"52.114.128.43","dest_port":443,"proto":"TCP","tls":{"subject":"CN=*.events.data.microsoft.com","issuerdn":"C=US, ST=Washington, L=Redmond, O=Microsoft Corporation, OU=Microsoft IT, CN=Microsoft IT TLS CA 4","serial":"16:00:0A:BD:A3:28:8A:26:AC:EB:F1:78:5E:00:00:00:0A:BD:A3","fingerprint":"33:b3:b7:e9:da:25:f5:a0:04:e9:63:87:b6:fb:54:77:db:ed:27:eb","sni":"self.events.data.microsoft.com","version":"TLS 1.2","notbefore":"2019-10-10T21:55:38","notafter":"2021-10-10T21:55:38","ja3":{"hash":"2a26b1a62e40d25d4de3babc9d532f30","string":"771,52244-52243-52245-49200-49196-49192-49188-49172-49162-163-159-107-106-57-56-65413-196-195-136-135-129-49202-49198-49194-49190-49167-49157-157-61-53-192-132-49199-49195-49191-49187-49171-49161-162-158-103-64-51-50-190-189-69-68-49201-49197-49193-49189-49166-49156-156-60-47-186-65-49170-49160-22-19-49165-49155-10-255,0-11-10-13-13172-16-21,14-13-25-28-11-12-27-24-9-10-26-22-23-8-6-7-20-21-4-5-18-19-1-2-3-15-16-17,0-1-2"}}}

總結

目前，我們使用Suricata分析從交換機鏡像過來的流量，Suricata的輸出為兩個：Suricata檢測出來的alert異常事件和解碼的所有應用協議的日志。以方便后續的存儲和分析，以及告警處理。

參考

https://yq.aliyun.com/articles/576349
https://suricata-ids.org/features/all-features/
https://suricata.readthedocs.io/en/suricata-4.1.3/rules/index.html