Thursday, July 28, 2011

Got A Pile of Logs from an Incident: What to Do?

As I am going through my backlog of topics I wanted to blog about (but didn’t have time for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 last 4-6 months), this is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 one I really wanted to explore. Here is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 scenario:

image

  1. Something blows up, hits cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fan, starts to smell bad, … eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r in your IT environment or at one of your clients’
  2. Logs (mostly) and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r evidence is taken from all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 components of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 affected system and packaged for offline analysis
  3. You get a nice 10MB-10GB pile of juicy log data – and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y wants “answers
  4. What do you do FIRST? With what tools?

Let’s explore this situation. I know most of you would say “just pile’em into splunk”  and, of course, I will do that. However, that is not a full story. As I point out in this 2007 blog post (“Do You Enjoy Searching?”), to succeed with search you need to know what to search for. At this point of our incident investigation, we actually don’t! Meanwhile, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 volume of log data beyond a few megabytes makes “trial and error” approach of searching for common clues fairly ineffective.

If you received any hints with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 log pile (“I think cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 user ‘jsmith’ did it” or “it seems  like 10.1.3.2 IP was involved”), cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n you can search for this (and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n branch out to co-occurring and related issues and drill-down as needed), but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n your investigation will suffer from “tunnel vision” of only seeing this initially reported issue and that is, obviously, a bad idea.

Let’s take a step back and think: what do we want here? what is our problem?  We want a way to explore ALL cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 logs in  a pile, across log types, across devices, across all time AND cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n also following a timeline of events. In ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r words, we ain’t in “searchland” here, buddy…

If you have an enterprise SIEM sitting around (and one with well-engineered support for diverse historical log imports – which is NOT a certainty, BTW), you should definitely load cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 logs cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re as well. I like this approach since you can cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n run cross-device summary reports over cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 entire set, slice cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 set in various ways (type of log source, log source instance, type of log entry – categorized, time period filter, time trend, etc) and data visualization tools (treemaps, trend lines, link maps, and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r advanced visuals on parsed, normalized and categorized) help get a big picture view of our pile.

Looking at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 open source log tools, does anything look promising for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 task? OSSIM can do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 trick (even though cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir historical log import is not my favorite), but nothing else does. In some cases, I used sawmill (free trial) for my “big picture first look”, but it is not cross-device and only shows reports for each log type individually. If I were feeling really adventurous (and was on hourly billing), I could actually send all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 logs via a syslog streamer into OSSEC (in order to see cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 log entries cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 tool will flag as interesting/alertable), but this is not really something I’d enjoy doing. I am almost tempted to say that you can use something like afterglow, but it relies on parsed data that you’d sill need to cook somehow (such as again using a SIEM). Log2timeline is useful, but only for one dimension – and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 one that splunk actually addresses pretty well already.

To generalize, you need (a) a search tool and (b) an exploration tool. The search tool should help you quickly answer SPECIFIC questions. The exploration tool should use data to generate “hints” on WHAT questions you should start asking…

Dr Anton Chuvakin