Tuesday, January 16, 2007

10 Pounds of Packets in a 5 Pound Bag


Richard Bejtlich has been talking a lot about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 difference between Network Security Monitoring (NSM) and "alert-centric" technologies like Snort. His basic premise is that "real" NSM requires more than just IDP alerts and packet logs, it requires event notifications, full packet logs of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 entire network and flow data as well. He also quotes me as saying "Richard, I wrote Snort so you don't have to look at packets". This isn't quite right. I think what I actually said was "Did you think about how much data you're going to record if you do that on a high speed network? We wrote IDS so that we wouldn't have to record everything."

I get it, I understand what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NSM guys are saying and I really don't disagree with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m at all. The problem I have is that if you try to deploy this concept in a large network environment with lots and lots of sensors, you've got some big problems to overcome. Let's look at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 problems.

1) Flow aggregation - As I see from Richard's latest post on Cico's MARS product, he wants cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 raw flow data, not just statistical NetFlow rollups. RNA does that already, as can Snort with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 right options turned on. This works fine as long as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 network environment is relatively small and you don't try to roll up all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data for post processing and analysis. If you do aggregate it to a central collector, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n you've got cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 multiplication problem on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 aggregation link(s), namely cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 more traffic cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sensors see and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 more sensors you have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 more cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y pump up to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 collector and have to push into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 database that you're using to be able to manage all this information. If you're in an environment where you're aggregating more than a few million flows per hour, that's a ton of data to manage if you figure ~40-bytes per flow record (in binary format). That's 200MB of data just for flow data for an hour, almost 5GB per day. 150GB per month. Those also have to get blasted into a database so cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can be worked with, so you're going to be translating all that data into SQL insert statements and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n pumping it into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 local database on your aggregation machine or across cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 network to a database server (or cluster). That's a lot of processing, a lot of network bandwidth and a lot of disk, not to mention a lot of RAM to maintain cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 indices in memory for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 database. It's not that this isn't doable, but now we're talking about offloading cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 work across multiple machines at a minimum and that's going to increase your costs dramatically. Overall this isn't a huge problem (cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NetFlow analysis/NBA guys do it for a living) but it is a big one in any large enterprise, it takes a lot of work to scale technology to work with it effectively.

2) Traffic aggregation - If you thought cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 flow aggregation problem was fun cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n start logging all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 traffic on your network. Let's take a fairly well utilized modern enterprise network backbone running at a sustained 500Mbps, that's 62.5MBps of data to record on a single sensor. 225GB/hour of packet traffic, 5.4TB per day from a single sensor. All that data is going to need to be rolled up too, unless you're going to spool it into a local database and do distributed queries across cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 network for packet traces. At that kind of data density your NSM sensor is going to need a NAS device someplace nearby so that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data can be stored, it's going to be really hard to do that on a 1U appliance just due to physical drive space limitations. Once you have all that data, you're going to need to be able to work with it, so it's got to be in a database or it has to be indexed on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 filesystem in some logical fashion so that smaller chunks of data can be rapidly located, decoded and presented to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 user on demand. There are companies that build products to do this, I can't really speak to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir effectiveness. I can hook a high-speed collection process like daemonlogger up to a big disk and grab all this data, but once again how much value are you really getting for recording all that data vs cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 logistical overhead of trying to maintain all that information in a usable fashion for extended periods of time? What's cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 time horizon if this data? Do I need to keep a week/month/year of this data live in a database for referential purposes? If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's going to be any expectation of success cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 amount of data that's kept "live" is going to have to have some pragmatic constraints.

3) Alert aggregation - This is what IDP vendors spend cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir time working on getting to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir users. We have pretty well established metrics as to what is acceptable in this realm in terms of sustainable event rates, data overload thresholds for analysts, data density and so on. This is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 de facto standard in IDP because this is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 thing that people are paying for, we've got to generate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 events and everyone wants to see cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m since that's what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technology is supposed to be doing. This is a lot of data to deal with too, and this is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 raw information that analysts have to work with. We do a lot at Sourcefire to pare down cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 number of events analysts have to deal with via our Impact Assessment technology that's enabled by RNA, so it is possible to do effectively in large environments even with less than optimal tuning of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sensor infrastructure.

When I started Sourcefire one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 things that I decided to do to get people to want to pay for something that was free (i.e. Snort) was to try solving cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir data management problems. If you look at most of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 IDS vendors before Sourcefire was founded, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y would sell you IDS sensors and management front-ends but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y wouldn't solve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 biggest problem that most people would have once cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y deployed cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technology, namely managing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 information produced by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sensors. As we all know, IDS can generate immense amounts of data with just alerts and if you want to be able to work with that data it needs to go into a database that has been optimized for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data set. Prior to Sourcefire, you could buy $250k worth of sensors from vendor X and when you deployed cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sensor grid you'd call vendor X and ask cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m how you're going to manage all those alerts. Their answer was typically "go call Oracle, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y make a really nice database and we'll sell you professional services if you need help setting it up." This greatly increased cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cost and complexity of deployment of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 IDS solutions. When Sourcefire started I decided that this was an area where we could add real value, so we built what is now called Defense Center allowing customers to have a plug-n-play appliance that solved cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir data management problems and provided a path to deploy large infrastructures of our gear quickly. As you can see from our S-1 filing, this was probably a Good Idea.

A "real" NSM infrastructure is going to primarily be built around cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea of collecting, moving and storing data and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n making it highly available in a variety of presentation formats for users. If you try to do this on a network that's generating lots of traffic across lots of sensors/segments, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 likelihood of building a scalable solution that anyone is willing to pay for is vanishingly low. You're going to need hundreds of terabytes of disk, a dedicated out of band management network for moving data, huge database servers AND cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 management and sensing infrastructure to actually grab cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data.

Now we want to scale it. I know from experience that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are large distributed international enterprises out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re that have remote offices sitting on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r side of 128kbps (and below) links. They get really irritated when you saturate that link to pump out a continuous stream of security data. These organizations also have core networks with 10Gbps links that can sustain 2+Gbps of internal traffic for hours. That's a couple terabytes per hour of traffic you want to log, give or take, just in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 core. Then you have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 rest of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 enterprise with 100+ sensors deployed that are seeing varying amounts of traffic but say none of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m go below 10Mbps typically, so that's anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r TB of data every hour you've got to collect and forward to a central aggregation point. Then we throw in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 flow data (lots of small records to insert) and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 event data (more small records to insert) and you've got a data aggregation nightmare. Concentrating this data to a central collector or a load balanced set of collectors will saturate a gigabit line so you're going to eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r have to figure out how to leave it local on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sensors and perform distributed queries against it or you're going to have to deploy a bunch of additional network gear to absorb cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 load.

The cost of deploying a solution like this will make today's IDP deployments look like rounding error and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 amount of time required to sell this into an enterprise will make today's sales cycles look like selling fast food.

Then we've got training. I know what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 binary language of moisture vaperators, Rich knows cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 binary language of moisture vaperators, lots of Sguil users know it too. The majority of people who deploy cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se technologies do not. Giving cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m a complete session log of an FTP transfer is within cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir conceptual grasp, giving cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m a fully decoded DCERPC session is probably not. Who is going to make use of this data effectively? My personal feeling is that more of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analysis needs to be automated, but that's anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r topic.

One of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 comments made to one of Rich's posts said
It seems that a lot of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se SIM and IDS/IPS systems are really now being sold to small and medium enterprises without any regard to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 amount of additional staff time and expertise that will be required to maintain cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m. Consequently I find that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ones I've used aren't oriented towards making investigation of an incident easier but are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re simply to send out more alerts under cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 premise that more alerts is surely better because we're detecting and stopping more attacks.
That's incorrect. They're being sold to extremely large enterprises (Fortune 100) and when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're sold in those environments cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's an expectation that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y will scale. There is more data that we can get to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 users of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se systems for sure, but everything is an unrealistic expectation given cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 realities of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 large enterprises that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se technologies are sold into.

Recording everything doesn't scale today but maybe someday it will. Like after cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Singularity.

Technorati Tags: , ,

4 Comments:

At 11:08 AM, Blogger bamm said...

I thought Rich did a good job responding to your post, but I'll throw my two cents in here. Current technology can make implementing NSM in a "large" environment tough, but just because you cannot collect 100% of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 raw pcap on a network or even 100% of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 session data does not mean you shouldn't collect any. I don't think it's feasible to say that Snort won't drop some packets or that RNA won't misidentify some flows, does that mean you shouldn't use eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r? I actual enjoy helping people implement NSM and Sguil in those large environments I only wish I had more time and experience doing it.

Do you really believe all those SIM/SEM companies out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re really focusing on Fortune 100 companies? That implies cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se vendors cam only target 100 different companies (give or take a few as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ranks change slightly year to year). I realize cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 price tag on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se products is outrageous, but I doubt cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have a business plan that focuses on that small of a niche.

On a side note, anyone (and I am not implying you) who compares NSM to SIM/SEM/MARS/Snort/etc doesn't fully grasp cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 concept of NSM. NSM is a _process_ that should help you implement a _technology_ solution. SIM/SEM/MARS/Snort/RNA/Sguil/etc are all technologies. Too many people are out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re skip cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 process part and simply implement technology without any type of charter. Unfortunately, most vendors out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are pretty good at fanning those misguided flames.

Bammkkkk

 
At 11:17 AM, Blogger Andrew Hay said...

Hey Marty,

I tend to agree with your observations on this topic but I can also see where Richard is getting his thoughts from. Richard comes from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 old school of "packet analysis is king". In my experience cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se people are difficult to sell cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 benefits of an NBA solution as it cannot perform cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 deep packet inspection that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have come to rely on.

That being said, I don't think that any vendor has released a complete solution yet. A solution that gives cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 organization cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 high level view of traffic and security state of an NBA/SIM/SEIM solution AND cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 low level packet analysis and forensic capabilities that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 packet heads want.

The company that perfects this will surely be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 one that comes out on top in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SEM/SEIM/NBA/NBAD market in my opinion.

 
At 11:44 PM, Blogger Martin Roesch said...

Bamm:

I didn't say that it wasn't fine to do in a targeted manner, I was saying that doing it wholesale is impractical. The implication I got from Rich's post was that it was necessary to collect full traffic if alert data was going to be useful. If we're not recording everything how are we to set things up to prerecord only cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sessions that you care about and discard cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rs? That implies a whole different level of intelligence.

It's very possible to make Snort record all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se types of data and make it highly configurable, we may even choose to do so at some time in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future. It still doesn't make pervasive traffic logging practical in larger environments.

I know that all of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SIM/SEM companies aren't targeting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Fortune 100, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 biggest ones are. If you want to build a large security technology company you're going to have to do business with very large companies and large governmental entities. Pedanticism isn't going to make this discussion more productive, feel free to substitute "Fortune 100" with "medium to large enterprises and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government".

I understand what NSM is. If everyone out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re was prepared to implement NSM cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n we'd be selling NSM. They aren't and since I like to get paid for a living we build what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're asking for and try to advance cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 state of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 art when we can with stuff like RNA. As soon as I start seeing RFPs for NSM issued and paying customers asking for more NSM features you can bet I'll be implementing more technolgies to support it.

 
At 11:51 PM, Blogger Martin Roesch said...

Andrew:

I agree with Rich that NSM has a lot of value, I just wanted to point out that if I tried to do that at our larger users (in terms of deployment size) it'd be a disaster since cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's no way it can scale when performed wholesale.

There are things that can be done to improve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 state of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data we get today and I'm thinking about what that would look like. Stay tuned...

 

Post a Comment

<< Home