Tuesday, July 17, 2007

NORAD-Inspired Security Metrics

When I was a second degree cadet at USAFA (so long ago that, of my entire class, only myself and three friends had 486 PCs with Ecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rnet NICs) I visited NORAD. I remember thinking cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 War Games set was cooler, but I didn't give much thought to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 security aspects of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir mission.

Today I remembered NORAD and considered cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir mission with respect to my post last year titled Control-Compliant vs Field-Assessed Security. In case you can't tell from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 pithy title, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 central idea was that it's more effective to measure security by assessing outcomes instead of inputs. For example, who cares if 100% of your systems have Windows XP SP2 if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are all 0wned by a custom exploit written just for your company? Your security has failed. Inputs are important, but my experience with various organizations is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y tend to be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 primary means of "measuring" security, regardless of how well cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y actually preserve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 CIA triad.

Let's put this in terms of NORAD, whose front page states:

The North American Aerospace Defense Command (NORAD) is a bi-national United States and Canadian organization charged with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 missions of aerospace warning and aerospace control for North America. Aerospace warning includes cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 monitoring of man-made objects in space, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 detection, validation, and warning of attack against North America whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r by aircraft, missiles, or space vehicles, through mutual support arrangements with ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r commands. Aerospace control includes ensuring air sovereignty and air defense of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airspace of Canada and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 United States...

To accomplish cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 aerospace warning mission, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 commander of NORAD provides an integrated tactical warning and attack assessment to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 governments of Canada and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 United States. To accomplish cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 aerospace control mission, NORAD uses a network of satellites, ground-based radar, airborne radar and fighters to detect, intercept and, if necessary, engage any air-breathing threat to North America.


What are some control-compliant or input metrics for NORAD?

  • Number of planes at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ready for intercepting rogue aircraft

  • Average pilot rating (i.e., some sort of assessment of pilot skill)

  • Radar uptime

  • Radar coverage (e.g., percentage of North American territory monitored)


These are all interesting metrics. You might see some comparisons to metrics you might track, like percentage of hosts with anti-virus.

Now consider: do any of those metrics tell you if NORAD is accomplishing its mission? In ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r words, what is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 outcome of all those inputs? What is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 score of this game?

Here are some field-assessed or outcome-based metrics.

  • Number of rogue aircraft penetrating North American territory (indicates a failure to deter activity)

  • Number of aircraft not detected by NORAD but discovered via ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r means to have penetrated North American territory (perhaps via intel sources; indicates a failure to detect activity)

  • Number of aircraft not repelled by interceptors (hopefully this would never happen!)

  • Time from first indication of rogue aircraft to launching interceptors (indicates effectives of pilot-to-plane-to-air process)


These metrics address cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 critical concern: accomplishing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mission.

Keep cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se in mind when you are devising metrics for your digital security program.

10 comments:

Anonymous said...
This comment has been removed by a blog administrator.
Anonymous said...

This reminds me of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 old saying "don't tell me how hard you worked, tell me what you got done."

syferium said...
This comment has been removed by a blog administrator.
PaulM said...

Comparing your statement about XP-SP2 being owned by a custom exploit to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NORAD analogy, what if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 enemy has a stealth plane that we cannot detect via radar, satellite, wind-speed variance, or any ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r deployed means? And what if your intel doesn't tell us that such a vehicle exists? Then we have potentially millions of airspace breaches every year and our outcome metrics are not helping.

I'm not disagreeing with you that outcome metrics are ideally better data than compliance metrics. However, outcome metrics are difficult to identify and collect data on, and it can be difficult to discern how accurate your metrics actually are.

At least with compliance metrics, we can determine how good we are at doing what it is we say that we do. It has little relevance to operational security, but it's easy and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 auditors seem to like it.

Unknown said...

The problem with outcome metrics is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are very difficult to measure. And might be impossible to measure if a breach has not yet occurred. Most people can't afford to do a "lets observe cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 next failure and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n rethink our strategy." based approach.

I might be that I've misunderstood your proposal but from my experience it's already hard enough to be compliant within time and budget constraints.

Richard Bejtlich said...

PaulM,

I posted an entire reply here.

Thanks for your comment!

Anonymous said...

Not to complicate things (but I'm going to anyway :) - I would submit that outcome-based metrics work best when expressed as a ratio racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r than as a stand-alone number. Example: Instead of measuring cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 success of an anti-spam filter by number of spams that get through (cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lower cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 better), measure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 number of spams that get through as a percentage of total spams received (number caught by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 filter + number that get through.) This will prevent cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 metric from being skewed by a sharp rise or drop in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 total number of spams received. Thoughts?

Anonymous said...

I agree with sovrevage, that it's often too expensive to measure outcome-based metrics. If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 outcome is devastating to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 entity measuring it (e.g., an airspace breach by hostile aircraft for NORAD, or a sensitive backup tape lost by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 enterprise), cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re appears to be little gain by using an outcome-based metric. Six Sigma would say that you measure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "little Xs" that drive cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "Big Y." You need to identify what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Xs are first of course (and that's cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 hard part), but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n you measure what you can control, knowing that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se factors are what influence your outcomes.

Richard Bejtlich said...

G, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 problem is no one is measuring cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Y because all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 attention is on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 little Xs. I am advocating measuring cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Y. If we can truly identify Xs that influence Y, I'm all for that. Unfortunately I believe many of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Xs currently being measured have little effect on Y, with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 additional problem that no one knows what Y is anyway. Therefore you can measure all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Xs you want and no one holds you accountable because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 effect on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 outcome is unknown.

Anonymous said...
This comment has been removed by a blog administrator.