Sunday, September 02, 2007

Final Question on FAIR

I'd hoped to not have to say anything else on FAIR, but I've decided to ask one final question. If I can't get a straight answer to this question I'm giving up on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 discussion. So, here it is.

In Thoughts on FAIR I walked through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 section Analyzing a Simple Scenario. Steps 3, 4, 5, 8, and 9 [Estimate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 probable Threat Event Frequency (TEF), Estimate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Threat Capability (TCap), Estimate Control strength (CS), Estimate worst-case loss, and Estimate probable loss, respectively] each require cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 user to "Estimate."

Do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se Estimates matter to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 output of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model?

If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 answer is yes, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n those answers are important and should be grounded in reality -- not opinions. If FAIR proponents agree with this, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n we have been debating for days for no real reason. That would make me happy.

If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 answer is no, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n what is so magical about FAIR that garbage in does not produce garbage out?

14 comments:

Clint Laskowski said...

Garbage in = Garbage out.

Exactly.

A brilliant summary to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 whole discussion.

Gotya said...

Dear Richard,
I don't think anyone can argue against 'GIGO'. However

1. this does not say anything eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r for or against cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 system processing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 'G' - in this case FAIR - If Garbage were input into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 most complex system, it cannot but spit out garbage. Your question actually validates Alex's claim - http://riskmanagementinsight.com/riskanalysis/?p=267 - that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 comments are not about 'FAIR' in reality.

2. you equate 'estimates' with 'opinion'. Which is where I think you gloss over cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that subject matter expertise matters. E.g. in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 field of IT Security/ Risk Management etc. you are having tremendous expertise and obviously your opinion is very well different and heavier (as it should be) than cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 opinion of a "Gautam Sarnaik". Purely because of your wide and in-depth experience as against mine. I believe 'estimates' allow this subject matter expertise to be factored into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model. So whats wrong with that?

Best Regards
Gautam Sarnaik

Tomas said...

Richard,

Yes if you provide garbage to FAIR, you get garbage as result, but why would you provide garbage?

FAIR is about capture knowledge/belief and make cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best inference from that. It is not about objectively measure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risk.

If you input values to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best of your knowledge, you will get cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best inferred result from that input.Of course, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 result will not be completely accurate, but it will be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best we can get.

And similarly how Gautam Sarnaik puts it above: your "opinion" based on you expertise is likely more correct than his or mine, so your input to FAIR will likely be more correct than ours and thus cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 result will also likely be more correct.

/Tomas

Anonymous said...

Proponents of FAIR should read Andrew Jaquith's "Security Metrics". A 'Subject Matter Expert' in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 field of measuring Security categorically states that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 tradition of attempting to measure topics such as "ALE" only detract from measuring 'good' metrics. 'Good' metrics focus on 'process measurement' and 'key performance indicators', which can be analyzed and proven; unlike ALE which are extremely sensitive to small changes in 'assumptions'.

Unknown said...

Tomas,

I think you're missing Richard's point here (or maybe I am), but what I think he is getting at here is that garbage (intentional or unintentional) is inherent in this type of process. The FAIR model *may* be great as a model, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 challenge of input is a large one and one that FAIR may minimize, but cannot eliminate or detect. In ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r words, professionals have a variety of experiences, expertise and assumptions. It is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se factors and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rs that *determine* cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 input. However, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se factors suffer from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "you don't know what you don't know" syndrome and as a result cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 input provided to FAIR is, unfortunately, subjective. Does FAIR provide a model to prevent and detect this? No, it does not. Does FAIR provide a model that builds in some resistance to this subjectivity? Yes, I believe it does. For some this resistance is not enough because that is still too much subjectivity to draw meaningful inferences from.

Anonymous said...

@anonymous:

Let me encourage you to re-read pages 14-27. You can also check cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 first page of your copy of Andrew's book, where you'll find my personal endorsement of his work. I find nothing in it (and I think Andrew would back me up on this) to suggest that good metrics are antagonistic to FAIR.

I think if you re-read that passage, you might find that you are misinterpreting Andrew's distaste for ALE (which I share) with his hesitancy to discuss metrics for use in modeling.

Note that if you examine "What Makes a Good Metric" and "What Makes a Bad Metric", you'll find that proper use of a Bayesian network meets all of those elements of "good" and none of "bad".

I endorsed Andrew's book for various reasons, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 least altruistic of which is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 better cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 metrics analysts use in determining FAIR factors, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 less noise cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y will have to account for.

Anonymous said...

Richard -

Whatever inputs are decided on, presumably cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y reflect cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 individual's opinions accurately. In that case, if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 inputs are garbage, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 opinions are garbage as well. Since cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 qualitative approach relies on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same opinions, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 qualitative approach is also garbage.

What providing estimates does, at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 very least, is provide a level of scale and magnitude to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 discussion, so that your inputs (opinions) can be reviewed, evaluated, discussed, and MADE BETTER. Eventually, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can even lead to objective numbers that have been proven and collected over time (great upside).

What's more, if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 modeling is done correctly, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are even testable over time. And here comes cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 icing: you can more accurately reflect changes in your opinions over time.

A macá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365matical model can be no worse than a subjective, qualitative risk assessment. The process you must go through itself is enlightening, and if you decide in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 end that your qualitative judgement should take precedence, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n at least you'll know why.

If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is even one thing that you (or anyone else) think security professionals have wrong (i.e. conventional wisdom that is bad), you should be looking for ways to prove it. Quatitative models provide that opportunity.

Pete Lindstrom

Anonymous said...

Pete,

Using "Opinion" here is a loaded word. In part of my upcoming response, I (may) write:

note that "opinion" is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 wrong word to use. Necá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r FAIR nor any ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r Bayesian network tries to say that "Red is 74% better than Green" or "I like cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 St. Louis Cardinals so cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y will win this baseball game."

Racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r, a Bayesian approach might provide a structured framework for including prior information like "cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Cardinals have a .500 record, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y do well against left handed pitching, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir hitters have a past history of excellence against cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r starting pitcher, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are much better at home than on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 road, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir offense has had an OPS of .875 of late, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have had cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best ERA of any NL team since June 15, etc., etc., and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n attaches a probability statement to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 chances of winning cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 game.

Where cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "subjectivity", "opinion" or "garbage" lie is in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that we are using cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se discreet statements of our experience as prior information for use in a probability statement "will cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Cardinals win".

Unknown said...

@ anonymous:

Some Mea Culpa: Andrew does say (p23)
"Metrics can confer credibility when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can be measured in a consistent way. Different people should be able to apply cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 method to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same data set and come up with equivalent answers. 'Metrics' that depend on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 subjective judgments of those ever-so-reliable creatures -humans- are not metrics at all, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are ratings."

Now I'm not entirely in disagreement with Andrew here. The premise (consistent and repeatable) is correct. However, what we're offering is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is more than one way to achieve that goal. Andrew's solution is "don't use humans" - a Bayesian approach arrives at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same goal using cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "subjective" prior information to arrive at a consistent, repeatable statement about probability (or frequencies).

Note that for an approach to be Bayesian by definition it *must* be consistent and repeatable. Richard and I should be able to go into different rooms with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same set of valid priors and come out with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same (or extremely similar) probability statements).

One ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r thing should be noted about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 use of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 word "Estimate" -

In many statistical methods cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 word estimate commonly refers to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 end result of an analysis. For instance, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 estimate of a pixel's
amplitude in CAT scan image is not cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 true – but unknown – amplitude. The amplitude estimate is a computed approximation of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 pixel's amplitude. It is an estimate because it is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 result of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 calculation.

Estimates in FAIR are assigned before cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risk is computed. In
Bayesian probability cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se distributions are called prior
probabilities.

I will revisit cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 FAIR Introduction to make sure usage of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 word estimate is limited to prior information.

Unknown said...

@rudy:

"However, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se factors suffer from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "you don't know what you don't know" syndrome and as a result cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 input provided to FAIR is, unfortunately, subjective. Does FAIR provide a model to prevent and detect this? No, it does not."

Again, in a Bayesian model, it's not cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 prevention but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 accounting for noise that matters. Uncertainty must be assigned. Now in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "Introduction" we do keep things simple. In commercial application we account for that in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 simulations cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365mselves. If you were so inclined to build an open source simulator based on FAIR, I would strongly suggest that your tool would account for uncertainty in a proper manner, as well...

Anonymous said...

If you don't know what you don't know I wonder how you assign uncertainty? Perhaps say that you're 50% uncertain about you're uncertainty on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 threat capability? I wonder what "account for uncertainty in a propper manner" means...

"Richard and I should be able to go into different rooms with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same set of valid priors and come out with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same (or extremely similar) probability statements)." - To me this reads like "If you use cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same formula with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same inputs, you get cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same results". You won't have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same priors because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's no real world data for you to get any decent priors from. Your priors are based on some very limited experience by a single person and not drawn from any significant and statistically sound pool of data. Yes, Richard might have a experience worth more than my grannie or someone who knows little about information security, but Richard and some ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r security expert? We'll have a FAIR experience evaluation method to decide who's experience to trust? I can assure you that I can ask Richard and some ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r experts and come up with radically different inputs.

What's frustrating is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are so many good things to measure, that are usually not measured, and people would spend a bunch of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir time with this stuff.

But now I see, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 introduction is simple and flawed and you have to buy cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 commercial application to get cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 real deal. Now it all clicks togecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r! :) (Pardon cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 irony)

Richard Bejtlich said...

Ref: Bayes and Risk

WHBaker said...

First off - I want to admit that I have not read all threads for this discussion. I was forwarded it by a colleague and am enjoying it so far. However, what I am noticing is that everyone seems to "losing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 forest for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 trees."

Why are we modeling/measuring/estimating/etc? It's to make a decision (or recommend one) pertaining to information security in a business context. I hear a lot of comments to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 effect of "if it can't be perfectly accurate, it isn't useful"...and that, folks, is a flawed view of business decision-making. The art of making a decision with little data is difficult, but it is a well-researched field and humans have been doing it for a long time with great success.

I'm not choosing sides in this discussion...I'm just reminding us why we should be worried about all this in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 first place: it's all about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 DECISION and what we NEED to make a good one.

Anonymous said...
This comment has been removed by a blog administrator.