Thursday, April 12, 2007

FISMA 2006 Scores

There are FISMA scores for 2006, along with 2005, 2004, and 2003 -- some of which I discussed previously. What I wrote earlier still stands:

Notice that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se grades do not reflect cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 effectiveness of any of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se security measurements. An agency could be completely 0wn3d (compromised in manager-speak) and it could still receive high scores. I imagine it is difficult to grade effectiveness until a common set of security metrics is developed, including ways to count and assess incidents.

I still believe FISMA is a joke and a jobs program for so-called security companies without cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technical skills to operationally defend systems.

The only benefit I've seen from FISMA is that low-scoring agencies are being embarrassed into doing more certification and accreditation. C&A is a waste of time and money. However, if security staff can redirect some of that time and money into technical security work that really makes a difference, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n FISMA is indirectly helping agencies with poor scores. Agencies with high scores are no more secure than agencies with low scores. High-scoring agencies just write good reports, because FISMA is a giant paperwork exercise that makes no difference on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 security playing field.

If you believe ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rwise you're welcome to your opinion. You're also welcome to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lack of a future job when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 FISMA consulting boondoggle ends and report jockeys are left without any marketable technical skills. If you want to know more about this, reading my old FISMA posts is sufficient. I don't need to restate my arguments when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're archived.

If I sound bitter, it's because I've seen my taxpaying dollars wasted for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 past five years while various unauthorized parties have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir way with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se agencies. FISMA is not working.

8 comments:

DanPhilpott said...

First question, does cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 report card mean that security has become worse over cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 years or does it mean that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir is better awareness of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 failure of past security efforts?

Second question, what do you suggest as a replacement to FISMA? Remember, it has to scale across cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 breadth and diversity of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 U.S. Government.

Dan

Roman said...

I've found cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 continuing C & A to be a nightmare as well; it gets particularly interesting seeing internal audits where cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 'executive report' says 'Needs improvement - weak perimeter security' followed by 'excellent documentation'. If it were completely up to me, and I had to choose only one, I'd go for 'excellent perimeter security' and 'weak documentation'. But cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n again, if we pile up enough paperwork, we'll be able to secure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 server room, right?

Richard Bejtlich said...

Dan, it means neicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r. My post on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 2004 FISMA results explain how cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 grades are calculated.

Asking me to solve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government's security problems in a blog comment is a nice trick because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's no way for me to win. That tactic is similar to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 dozens of people who ask me consulting questions via email and expect free yet detailed and customized responses. For a hint of what I would do, please read Security Operations Fundamentals.

I'm not going answer your last email because I prefer not to carry some kind of back-channel conversation while addressing this topic publicly. If you can demonstrate how FISMA works, please do. Like I said in FISMA Redux:

The bottom line is that FISMA doesn't mention C&A at all, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 author [of a FISMA book] thinks that's ok because C&A fulfill's FISMA's goals. The reality is far different. According to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 act itself, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 first "purpose" is to:

provide a comprehensive framework for ensuring cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 effectiveness of information security controls over information resources that support Federal operations and assets. (emphasis added)


Clearly FISMA is failing. How can anyone think it's succeeding, unless you're a FISMA contractor making money off it?

Anonymous said...

Richard,

It looks like FISMA criteria does not consider cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 benefits MSSPs provide governement customers. Shouldn't cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se audits take into consideration cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 value-added services that governement agencies outsource because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y don't have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 in-house expertise to implement.

Thanks

Anonymous said...

Mr Anonymous:

The approach for grading cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 agencies doesn't take into account any kind of outsourcing, nor should it.

Basically, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government needs something done (in this instance, it's security), and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 answer, just like for anything else, is always build, buy, or outsource. The question should be this: is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 need being satisfied effectively?

The problem is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 grading system is based on audit findings and some level of "compliance" (read my blog to see how I feel about compliance).

So just like any school experiences you've had, how do you determine which grading criteria to use cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re, just how subjective is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 grading system, and do you even need to give grades in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 first place?

Then you have people who know how to game cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 grading system. We have too many of those people around, and just like in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 school analogy, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're hated.

Anonymous said...

Richard,
I'm one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 horde making money off FISMA, testing Systems for C&A... although I'd racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r be working with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technical side like we used to do before 800-53.

The problem as I see it is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government appears to be historically good at two things: producing paper and planning for long-term budgets. There appears to be little-no oversight in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 short-term, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is nothing sexy about getting in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 trenches or finding cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 source of real problem.

Come on everyone, think like a manager: cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 spirit of security never even enters cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mental picture. Think paper and planning... Think CYA... ONE OF US! ONE OF US!

As Bruce Potter once said: "No one cares about security, except security folks."


-sorry for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 anon post... I'll be better next time.

Anonymous said...

Roman,

You are so right on documentation versus doing. I was CTO of EPA during cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 F-A+ climb, so I have some experience here. My auditors kept me at low level during cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 time I did cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 implementation and only let me climb once I did cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 documents. so what - I did what was needed and took cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lumps because it was right thing to do. Auditors have a problem in that no one in private or public sector has a good scorecard for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 implmentation part so while FISMA is not perfect its a hell of lot better than nothing - it does force someone to look and forces somethings that are needed even if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are not sufficent.

DanPhilpott said...

There was a reason I asked you to offer up a better solution than FISMA and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 reason is as nefarious as it is devious. You volunteered . No tricks were intended.

I am still interested in your thoughts on what a better solution would look like. I've been reading through FISMA and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NIST SP-800 series documents plus I have a little practical experience in its implementation now to add to my previous experiences of federal security audits prior to FISMA. The differences are considerable. FISMA is unwieldy in implementation and has many areas in which to mature and improve. I could write volumes about what could be improved just from what little I have seen of it so far. Despite that it is far superior to what proceeded it. Namely a lack of motivation to ensure IT security (outside of not wanting to end up above cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fold on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Washington Post front page) and a dearth of technical guidance.

As for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 meaning of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 report cards I think cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's a simple logic to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 problem with those report cards. It involves cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 learning curve. The people who do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 C&A are learning to do it better each time cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y go through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 process. As cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir ability to judge security matters improves cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y become increasingly aware of deficits in current security implementations. So cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y find more problems where before none were detected or reported. This filters up cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 food chain until cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y become failing grades in reports of questionable utility, but great visibility, which force action by management. But in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 short term cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 feedback loop reports that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are problems, and that's what feedback is all about.

Speaking of FISMA, have you looked at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NIST SP-800-94 guide covering IDS and IPS? You have some expertise in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 topic and it would be interesting to hear what you think of it.