Showing posts with label metrics. Show all posts
Showing posts with label metrics. Show all posts

Tuesday, July 17, 2007

NORAD-Inspired Security Metrics

When I was a second degree cadet at USAFA (so long ago that, of my entire class, only myself and three friends had 486 PCs with Ecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rnet NICs) I visited NORAD. I remember thinking cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 War Games set was cooler, but I didn't give much thought to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 security aspects of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir mission.

Today I remembered NORAD and considered cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir mission with respect to my post last year titled Control-Compliant vs Field-Assessed Security. In case you can't tell from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 pithy title, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 central idea was that it's more effective to measure security by assessing outcomes instead of inputs. For example, who cares if 100% of your systems have Windows XP SP2 if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are all 0wned by a custom exploit written just for your company? Your security has failed. Inputs are important, but my experience with various organizations is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y tend to be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 primary means of "measuring" security, regardless of how well cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y actually preserve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 CIA triad.

Let's put this in terms of NORAD, whose front page states:

The North American Aerospace Defense Command (NORAD) is a bi-national United States and Canadian organization charged with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 missions of aerospace warning and aerospace control for North America. Aerospace warning includes cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 monitoring of man-made objects in space, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 detection, validation, and warning of attack against North America whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r by aircraft, missiles, or space vehicles, through mutual support arrangements with ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r commands. Aerospace control includes ensuring air sovereignty and air defense of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airspace of Canada and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 United States...

To accomplish cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 aerospace warning mission, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 commander of NORAD provides an integrated tactical warning and attack assessment to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 governments of Canada and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 United States. To accomplish cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 aerospace control mission, NORAD uses a network of satellites, ground-based radar, airborne radar and fighters to detect, intercept and, if necessary, engage any air-breathing threat to North America.


What are some control-compliant or input metrics for NORAD?

  • Number of planes at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ready for intercepting rogue aircraft

  • Average pilot rating (i.e., some sort of assessment of pilot skill)

  • Radar uptime

  • Radar coverage (e.g., percentage of North American territory monitored)


These are all interesting metrics. You might see some comparisons to metrics you might track, like percentage of hosts with anti-virus.

Now consider: do any of those metrics tell you if NORAD is accomplishing its mission? In ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r words, what is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 outcome of all those inputs? What is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 score of this game?

Here are some field-assessed or outcome-based metrics.

  • Number of rogue aircraft penetrating North American territory (indicates a failure to deter activity)

  • Number of aircraft not detected by NORAD but discovered via ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r means to have penetrated North American territory (perhaps via intel sources; indicates a failure to detect activity)

  • Number of aircraft not repelled by interceptors (hopefully this would never happen!)

  • Time from first indication of rogue aircraft to launching interceptors (indicates effectives of pilot-to-plane-to-air process)


These metrics address cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 critical concern: accomplishing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mission.

Keep cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se in mind when you are devising metrics for your digital security program.

Wednesday, April 26, 2006

Risk and Metrics

I ran across some thought-provoking articles in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 April 2006 CIO Magazine. The editor's introduction summarizes a major problem with calculating IT spending:

As sophisticated as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technology and its countless uses have become, all too often cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 benchmark used to determine cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 proper level of an enterprise’s IT spending is alarmingly simplistic: cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 percentage of overall revenue for which IT accounts...

Benchmarking IT spending as a percentage of revenue is a truly useless metric. Unfortunately, according to Koch [mentioned next], it remains cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 most popular way to evaluate IT spending, and also unfortunately (as most of you already know), it doesn’t say anything about how effective or productive your spending is. Even more unfortunately, benchmarking by percentage of revenue casts IT in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 role of a cost to be controlled, defining success simply as lowering cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 percentage over time.


This is a really amazing insight. How many of you see progress in security management through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 eyes of reducing spending to zero? The "Koch" mention refers to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 article The Metrics Trap...And How to Avoid It by Christopher Koch. As you might guess cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is really no simplistic way to solve this problem. Koch's article includes gems like cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 following, though:

Joe Drouin... found that [his] company was spending less on IT as a percent of overall revenue than cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 industry average, which was about 1.5 to 2 percent.

Not one to look a gift horse in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mouth, Drouin played cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 metric for everything it was worth, highlighting it in every PowerPoint presentation he could during his first year as CIO...

At one point, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 CEO, who believed that inexpensive IT was good IT, joked that he expected to see Drouin and his staff outfitted with T-shirts that had cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 percentage stamped across cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir chests in big, block numbers...

In this zero sum game, success is defined simply as lowering cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 percentage over time. "It's not clear how low it should go," says Drouin. "Joking with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 CEO, I said, 'In your mind it should be zero.' We had a good laugh, but at what point do we decide it's at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 right level and you don't drive it down furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r?"


That CEO's attitude disgusts me. Would you expect him to do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 human resources department? They don't bring in any customer revenue. How about finance and accounting? Now that creative bookkeeping can put cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 CEO is jail, that isn't a place that brings in customer revenue eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r. Yet, neicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r "cost center" is expected to reduce its percentage of overal revenue to zero.

At least as far as security goes, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 inability to see cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 value of security spending relates to management's inability to perceive cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risk of being exposed and vulnerable. I came across this insight in a recent issue of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Economist, featuring cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 article The New Paternalism (subscription probably required):

This acute sensitivity to losses is not cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 only bias behaviouralists have discovered. People also have great difficulty understanding risks. The weight a person gives to a scenario—flood, fire, winning cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lottery—should depend on its likelihood. In fact, it depends on how easily it can be envisaged. People will pay more for air-travel insurance against "terrorist acts" than against death from "all possible causes."

Canny governments can work with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 grain of this psychology. The grisly campaigns against smoking aim to put cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 dangers firmly in people's minds; to turn a statistical risk into a visceral image. They have been effective, perhaps too effective. There is some evidence that people now overestimate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risks of smoking.
(emphasis added)

In ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r words, management cannot imagine cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 destruction caused by security incidents. It is impossible for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m to envisage an incident causing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir company losing market share, intellectual property, or its ability to provide services. As a result, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y base cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir decisions on laws, regulations, and what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir peers are doing.

This explains cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 resources poured into worm defense a few years ago. When management's own computers are affected, when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y see worm reporting on CNN, when a worm is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 discussion over lunch -- cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y start to take cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 problem seriously. When a stealthy intruder has lodged himself inside a company, management has no clue how to handle cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 situation. In fact, most management has no clue how to handle existing rogue employees now. They turn to platitudes like "we trust our employees" because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can't fathom why someone would turn against cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir beloved company. After all, management has been treated really well!

I don't think spending-related metrics are of much use. Performance-related metrics are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 only ones which I think have some value. Drilling network security operations teams (preventers, intrusion detectors, incident responders, etc.) to see if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y stop, identify, and remove controlled threat simulators (vulnerability assessors, pen testers and red teams) is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best way to see if your money is being well spent.