Monday, January 15, 2007

Operational Traffic Intelligence System Woes

Recently I posted thoughts on Cisco's Self-Defending Network. Today I spent several hours on a Cisco Monitoring, Analysis and Response System (MARS) trying to make sense of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data for a client. I am disappointed to report that I did not find cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 experience very productive. This post tries to explain cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 major deficiencies I see in products like MARS.

Note: I call this post Operational Traffic Intelligence System Woes because I want it to apply to detecting and resisting intrusions. As I mentioned earlier, hardly anyone builds real intrusion detection systems. So-called "IDS" are really attack indication systems. I also dislike cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 term intrusion prevention system ("IPS"), since anything that seeks to resist intrusion could be considered an "IPS." Most available "IPS" are firewalls in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sense that anything that denies activity is a policy enforcement system. I use cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 term traffic intelligence system (TIS) to describe any network-centric product which inspects traffic for detection or resistance purposes. That includes products with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 popular labels "firewall," "IPS," and "IDS."

Three main criticisms can be made against TIS. I could point to many references but since this is a blog post I'll save that heavy lifting for something I write for publication.

  1. Failure to Understand cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Environment: This problem is old as dirt and will never be solved. The root of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 issue is that in any network of even minimal size, it is too difficult for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 TIS to properly model cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 states of all parties. The TIS can never be sure how a target will decipher and process traffic sent by an intruder, and vice versa. This situation leaves enough room for attacks to drive a Mac truck, e.g., cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can fragment at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 IP / TCP / SMB / DCE-RPC levels and confuse just about every TIS available, while cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 target happily processes what it receives. Products that gacá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r as much context about targets improve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 situation, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are no perfect solutions.

  2. Analyst Information Overload: This problem is only getting worse. As attackers devise various ways to exploit targets, TIS vendors try to identify and/or deny malicious activity. For example, Snort's signature base is rapidly approaching 10,000 rules. (It's important to realize Snort is not just a signature-based IDS/IPS. I'll explain why in a future Snort Report.) The information overload problem means it's becoming increasingly difficult (if not already impossible) for security analysts to understand all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 attack types cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y might encounter while inspecting TIS alerts. SIM/SEM/SIEM vendors try mitigate this problem by correlating events, but at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 end of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 day I want to know why a product is asking me to investigate an alert. That requires drilling down to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 individual alert level and understanding what is happening.

  3. Lack of Supporting Details: The vast majority of TIS continue to be alert-centric. This is absolutely crippling for a security analyst. I am convinced that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 vast majority of TIS developers never use cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir products on operational networks supporting real clients with contemporary security problems. If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y did, developers would quickly realize cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir products do not provide cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 level of detail needed to figure out what is happening.


In brief, we have TIS that don't/can't fully understand cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir environment, reporting more alerts than an analyst can understand, while providing not enough details to satisfy operational investigations. I did not even include usability as a critical aspect of this issue.

How does this apply to MARS? It appears that MARS (like ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r SIM/SEM/SIEM) believes that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "more is better" approach is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 way to address cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lack of context. The idea is that collecting as many input sources as possible will result in a system that understand cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 environment. This works to a certain limited point, but what is really needed is comprehensive knowledge of a target's existence, operating system, applications, and configuration. That level of information is not available, so I was left with inspecting 209 "red" severity MARS alerts for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 last 7 days (3099 yellow, 1672 green). Those numbers also indicate information overload to me. All I really want to know is which of those alerts represent intrusions? MARS (and honestly, most products) can't answer that question.

The way I am usually forced to determine if I should worry about TIS alerts is manual inspection. The open source project Sguil provides session and full content data -- independent of any alert -- that lets me know a lot about activity directly or indirectly related to an event of interest. With MARS and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 like, I can basically query for ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r alerts. Theoretically NetFlow can be collected, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 default configuration is to collect NetFlow for statistical purposes while discarding cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 individual records.

If I want to see full content, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 closest I can get is this sort of ASCII rendition of a packet excerpt. That is ridiculous; it was state-of-cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365-art in 1996 to take a binary protocol (say SMB -- not shown here but common) and display cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 packet excerpt in ASCII. That level of detail gives cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analyst almost nothing useful as far as incident validation or escalation.

(Is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re an alternative? Sure, with Sguil we extract cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 entire session from Libpcap and provide it in Ecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365real/Wireshark, or display all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 content in ASCII if requested by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analyst.)

The bottom line is that I am at a loss regarding what I am going to tell my client. They spent a lot of money deploying a Cisco SDN but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir investigative capabilities as provided by MARS are insufficient for incident analysis and escalation. I'm considering recommending augmentation with a separate product that collections full content and session data, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n using cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 MARS as tip-off for investigation using those alternative data sources.

Are you stuck with similar products? How do you handle cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 situation? Several of you posted ideas earlier, and I appreciate hearing more.


Copyright 2007 Richard Bejtlich

14 comments:

Anonymous said...

To reduce cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 number of signatures maybe Snort should use what I call “compound” signatures that combine multiple detection signatures of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same attack. The only drawback of compound signatures is that if one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 detection signatures is of low confidence, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 compound signature cannot be used for blocking.

Unknown said...

I would love a mixed implementation with my alerts-based IDS/IPS device, such as full content capturing.

I'm curious...where do you think this will go in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future? Devices like MARS that do alerts but also capture full content for better analysis? I've never done it or seen it done, so it just kinda overwhelms me to think about capturing full content for even small periods of time. It just sounds like a ton of operational storage capacity.

Do you think devices/technologies like this will ever find a real place in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 repetoire of someone skilled enough to ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rwise analyze packets on a level enough to augment cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se devices? Or will a lot of experts just forego cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cost and stick to Snort, Ecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365real, storage capacity, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir own engines?

I am hoping that maybe this year will be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 year cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 managers, techies, and non-techies alike start to realize that security is not easy or narrow. You can't study cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 topic for a year and be able to explain it all and understand everything electronic (too often cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 unspoken expectation from non-tech mgmt has been that, in my experience). It is old hat to say cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is no one magical device or lump sum of money to do it, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ramifications of saying that are still sinking in so slowly...

Dustin said...

Since this org bought into a Cisco SDN, I'll assume cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have a Cisco IPS/IDS feeding alerts to Mars. While I'm no Cisco-security-naut, I do manage a couple of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir sensors running 5.x which have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 capability to log full content data. This is how I have mine configured. The full content analysis process is nowhere near refined as it is with Sguil, but it is possible to see cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 full conversation. I threw togecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r some screen shots of this process here:
http://netjitsu.blogspot.com/2007/01/investigating-alerts-with-cisco-ids-v5x.html

I'm interested in whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r or not Mars can collect full Netflow session records . If/when you find out, please let us know.

Anonymous said...

Richard,

The rules in MARS need to be fine-tuned to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 environment and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re needs to be enough netflow events collected to establish a baseline (at least a few weeks). I also recommend that you do some filtering before cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 packets even get to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 MARS appliance. The strength of MARS lies in it's ability to correlate data to help you trace an attack to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 point of origin. You need to configure it to use netflow, Windows event logs, etc if you want it to be anything more than a big centralized logging server. Generally speaking, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 more devices you have feeding data to it cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 clearer cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 picture becomes.

Anonymous said...

About a year and a half ago I tried to get some scripts working that would parse our firewall configs, PADS logs and update our Snort config file so that only cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 relevant signatures were applied to each server. However, it was stopped short by Snort not being able use groups of single addresses instead of just network blocks. Not sure if that's changed as I haven't used Snort in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 last year. Anyone know if that's changed recently?

We use to keep full netflow data going back a month or so as well but we didn't use it all that often. That being said it was great to have it when we needed it, which I guess is exactly cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 reason to have it!

Would have loved full data capture but it would have been prohibitively expensive.

It seems that a lot of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se SIM and IDS/IPS systems are really now being sold to small and medium enterprises without any regard to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 amount of additional staff time and expertise that will be required to maintain cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m. Consequently I find that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ones I've used aren't oriented towards making investigation of an incident easier but are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re simply to send out more alerts under cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 premise that more alerts is surely better because we're detecting and stopping more attacks..

Anonymous said...

On a somewhat related note, I know of at least one managed security outfit -- I won't mention any names, but it begins with an 'L' and is somewhat unpronounceable -- that do all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir analysis based souly on what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 IDS sends cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 syslog message. So, for snort and similar setups, that means cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y do all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir work based on src/dst IP and ports, signature name and classification. No pcaps, no ASCII payload, nothing.

When I discovered this I nearly puked.

Anonymous said...

Morning Rich, your blog is on my daily reading list, thanks for sharing with us.

I had cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 enjoyment of implementing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 MARS product at my last employer. It holds a lot of promise when configured appropriately, but as you say it fails to deliver enough raw data to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analyst to expediently classify an event before investing paid time on investigation.

A much larger issue with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 tool than with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 richness of information (and something itching in my memory tells me you can get more detailed packet dumps from it) is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 significant time required to configure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 product for one's organization. Far too often, with any rule-based event engine, you have just enough time to bang a framework togecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r before your management runs out of patience. Whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 tools are adequate or not by design, a partial implementation will defeat all.

For that reason, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 larger issue may be selecting solutions that provide practical coverage within cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 company culture. Along that line of thought, Sguil and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r minimal processing solutions seem to be a required baseline before striking off to Cisco SDN-land.

Homogenization of network architecture may change this in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future, but for now, I'd love to see a complete implementation in a very large enterprise.

- Bill

Anonymous said...

You should trademark Traffic Intelligence System (TIS) for some vendor usurps it dilutes its meaning.

igfire said...
This comment has been removed by a blog administrator.
Unknown said...

Alert-based analysis with little contextual data to accompany it feels like little better than signature-based detections and preventions or perhaps just paying some kid to watch a screen for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 alerts and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n he forwards cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y come up. Simple "security" like that just seems inadaquate for today's security needs.

Maybe it is just part of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 energetically growing trend to feel secure as opposed to actually being secure? Maybe it's just part of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 growing pains of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 industry where we have lots and lots of new CISSP/security people who are still learning cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 basics and will take anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r 5-10 years to become viable experts that can do more than just fill a cubicle and do low-hanging tasks?

At any rate, as long as attacks have a human factor to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m (as opposed to automated scans and script kiddies), no technology is going to fully replace cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 human factor on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 security side.

Anonymous said...

All in order to fall into line with Blog rules I can only say that you should check out Nitrosecurity's Nitroview/Vision. The reason I say this is that I work for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 company.

Richard Bejtlich said...

Anonymous,

Can I get a Nitro demo?

Anonymous said...

Hello group, Does anyone know if you can export / share-out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data colleted by Sguil? My goal is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 take feeds from 20 or so, sensors have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m feed in to Squil, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n have Squil act as a SIEM and send its feed to ArchSite. Has anyone done this, or do you think it is possible.

Richard Bejtlich said...

Anonymous,

I recommend sending this comment via email to sguil-users@lists.sourceforge.net. No one will see or respond to your comment on a blog post from January.