Friday, November 17, 2006

Furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r Thoughts on SANS Top 20

It seems my earlier post Comments on SANS Top 20 struck a few nerves, e.g. this one and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rs.

One comment I'm hearing is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latest Top 20 isn't "just opinion." Let's blast that idea out of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 water. Sorry if my "cranky hat" is on and I sound like Marcus Ranum today, but Marcus would probably agree with me.

First, I had no idea cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latest "Top 20" was going to be called cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "SANS Top-20 Internet Security Attack Targets" until I saw it posted on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Web. If that isn't a sign that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 entire process was arbitrary, I don't know what is. How can anyone decide what to include in a document if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 focus of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 document isn't determined until cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 end?

Second, I love this comment:

Worse still, Richard misses cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 forest completely when he says that “… it’s called an ‘attack targets’ document, since cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re’s nothing inherently ‘vulnerable’ about …”. It doesn’t really matter if it’s a weakness, action item, vulnerability or attack. If it’s something you should know about, it belongs in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re. Like phishing, like webappsec, and so on. Don’t play semantics when people are at risk. That’s cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 job of cigarette and oil companies.

This shows me cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latest Top 20 is just a "bad stuff" document. I can generate my own bad stuff list.

Top 5 Bad Things You Should Worry About

  • Global warming

  • Lung cancer

  • Terrorists

  • Not wearing seat belts

  • Fair skin on sunny days


I'm not trying to make a point using a silly case. There's a real thought here. How many of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se are threats? How many are vulnerabilities? (Is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 difference explicit?) How many can you influence? How many are outside your control? How did cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y end up on this list? Does cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ranking make any difference? Can we compare this list in 2006 with a future list in 2007?

Consider cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 last point for a minute. If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS Top 20 were metric-based, and consisted of a consistent class of items (say vulnerabilities), it might be possible to compare cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lists from year to year. You might be able to delve deeper and learn that a class of vulnerabilities has slipped or disappeared from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 list because developers are producing better code, or admins are configuring products better, or perhaps threats are exploiting ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r vectors.

With cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se insights, we could shift effort and resources away from ineffective methods and focus our attention on tools or techniques that work. Instead, we're given a list of 20 categories of "something you should know about." How is that actionable? Is anyone going to make any decisions based on what's in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Top 20? I doubt it.

Third, I'm sure many of you will contact me to say "don't complain, do something better." Well, people already are. If you want to read something valuable, pay attention to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Symantec Internet Threat Report. I am hardly a Symantec stooge; I like cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir approach.

I will point out that OWASP is trying to work in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 right direction, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir single category ("Web Applications") is one of 20 items on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS list.

I realize everyone is trying to do something for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 good of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 community. Everyone is a volunteer. My issue is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 proper focus and rigor would result in a document with far more value.

10 comments:

Anonymous said...

Don't back down Richard. This:

"it’s called an ‘attack targets’ document, since cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re’s nothing inherently ‘vulnerable’ about."

is absolutely correct. Risk is all about context, and it can be just as much of a mistake to consider potential weaknesses without putting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m in context as it would be to be "wrong" about that context (one of his reasons to not delineate between "weakness, action item, vulnerability or attack.).

To me, this makes no sense. To ignore taxonomy, context, and relationships between factors in a taxonomy is "Bad security" just as doing so in anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r field is "Bad science".

Anonymous said...

The link you are looking for is http://www.ranum.com not www.mjr.com.

Unknown said...

I could make a list such as this and it would be about as important:

1. Windows
2. Unix
3. WWW
4. Users
5. Ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r OS

I mean, this is just furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ring what has happened. Instead of a top 20 list, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have a top 75 list just categorized into 20 sections.

In a way, a document like this could be argued to need more opinion. Sadly, when you have so many people pushing for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir "biggest holes on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Internet" to be on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 list, someone somewhere eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r has to create an objective measure (not likely) or just put cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir foot down, declare cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 identity and purpose of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 document, and make cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 decisions.

As it is, too many people are wanting too many things, and as such we now have a document that purports to be a top 20, yet encompass everything cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can think of.

But yes, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 list has its puposes, and thankfully can be very powerful with "FBI" and "SANS" in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 title, plus how it has been recognized through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 years. I just wish it were more surgical in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 20 items.

Anonymous said...

Nerd Fight!

Anonymous said...

If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS Top 20 were metric-based, and consisted of a consistent class of items (say vulnerabilities), it might be possible to compare cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lists from year to year.

Come on, Richard, you that's not what it's about! It's about putting money in someone's pocket, that's all. "Consistent class of items"...that just makes sense! You've really gotta stop doing that!

Anonymous said...

I've thought about this question a lot, within cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 context of looking at older protocols that included threats later found to be controversial. When should we worry about a threat?

I've since modelled it as needing to be validated, and a threat is validated when it is a clear and present danger. It's clear if we can measure it; present if we can show it exists; and a danger if it hurts us. With that framework, it's a lot easier to separate out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 wheat from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 chaff.

Richard Bejtlich said...

Protocols cannot have threats. Protocols can only have vulnerabilities. Threats exploit vulnerabilities. Threats can present a clear and present danger.

Anonymous said...

Just wondering if we are missing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 point here. I don't think cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS TOP 20 is for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Administrators. They are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ones in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ditches every day pulling cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 muck out and getting it cleaned up.

The SANS TOP 20 is for high level overviews, for _non_ technical people to see, such as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 people who run cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 companies. It's also probably for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 auditors and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 like for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m to know where to look for issues, and not specific ones, but general issues.

At that level (an overview) _any_ list becomes somewhat arbitrary, and easily picked apart, especially given that it can not give to many specifics.

I don't disagree with your observations, and yes I do agree that Symantec's report is probably better, but I've found a few issues with it as well. Their "metrics" that show that Microsoft fixes bugs within 8 days is just plain BS, and any decent Administrator will know that.

So, Richard, how do you produce a list for _non_ technical administrators of companies, auditors and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 like that isn't detailed, and gives an overview of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 industry?

Thanks!

Richard Bejtlich said...

So now I've seen comments (here and elsewhere) that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS Top 20 is for security people, that it's not for security people, that it's for administratiors, that it's not for administrators, that it's for policymakers, etc...

I don't buy for a minute that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 SANS Top 20 is for "nontechnical people." Nontechnical people are not going to read a document that long. They do not understand CVEs. They do not understand most of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 terminology in that document.

Here's a link to two books I reviewed that try to speak to nontechnical users.

Anonymous said...
This comment has been removed by a blog administrator.