Sunday, April 18, 2010

Measurement Over Models

Most blog readers know I strongly prefer measurement over models. In digital security, I think too many practitioners prefer to substitute cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir own opinions for data, i.e., "defense by belief" instead of "defense by fact." I found an example of a conflict between cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 two mindsets in Test flights raise hope for European air traffic:

Dutch airline KLM said inspection of an airliner after a test flight showed no damage to engines or evidence of dangerous ash concentrations. Germany's Lufthansa also reported problem-free test flights...

"We hung up filters in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 engines to filter cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 air. We checked whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re was ash in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m and all looked good," said a KLM spokeswoman. "We've also checked whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re was deposit on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 plane, such as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 wings. Yesterday's plane was all well..."

German airline Air Berlin was quoted as expressing irritation at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 way cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 shutdown was decided.

"We are amazed that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 results of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 test flights done by Lufthansa and Air Berlin have not had any bearing on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 decision-making of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 air safety authorities," Chief Executive Joachim Hunold told cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mass circulation Bild am Sonntag paper.

"The closure of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 air space happened purely because of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data of a computer simulation at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Volcanic Ash Advisory Center in London."


I understand that safety officials need to make decisions based on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best information available at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 time cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 decision needs to be made. However, when that information changes, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 decision maker should re-evaluate his or her position. This reminds me of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 silly policies mandated by various rule-makers regarding password complexity and frequency of change. They are basically completely disconnected with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 modern attack and exploitation environment. That thinking recalls a time when guessing credentials or brute-forcing passwords took weeks instead of near-real-time, and was cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 prevalent way to compromise a system.

Returning to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 volcano cloud -- I'm sure safety officials think cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are acting in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best interests of passengers, but I don't see cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airlines about to take actions that jeopardize cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir customers. Furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rmore, customers who would be wary about flying through or near cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud could decide not to do so. The problem is that safety officials bear none of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cost of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir decisions while airlines and customers do.

10 comments:

Jack Daniel said...

The commercial airlines' results contradict cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Finnish Air Force's test flights with a pair of F-18 Hornets. Engine damage on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Hornets was substantial enough that it has led Finnish aviation authorities to keep planes on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ground. Last I checked, F-18s were designed to fly in uglier conditions than commercial cattle-planes. Since cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 result of miscalculation is arguably high (ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rs say death is overhyped), I can see erring on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 side of caution.

Richard Bejtlich said...

Hi Jack,

So that's neat -- I just read cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 original article. At least now we have examples of data vs data instead of models vs data.

Dan O'Donnell said...

There are also two old data points cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 civil aviation authorities have relied on. In cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 70s two airliners (including a British Airways 747) flew through volcanic ash clouds while at altitude and had flameouts in all four engines. Both were able to do restarts on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir way down and successfully executed emergency landings. I assume that nobody wants a repeat of that, given cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risk of a possible unsuccessful restart.

Anonymous said...

"The problem is that safety officials bear none of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cost of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir decisions while airlines and customers do. " But cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ones responsible when accidents due to this lead to deaths (and not cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airlines). At least in Germany.

Anonymous said...

Any measurement is meaningless without a suitable model.

It is a false dichotomy.

Anonymous said...

http://godplaysdice.blogspot.com/2010/04/ash-clouds-and-probability.html

"Critics said cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 agency used a scientific model based on 'probability' racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r than fact to forecast cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 spread of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud." See cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Telegraph as well.

What else are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y supposed to do? The agency here -- cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Met Office, which is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 national weacá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r service of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 UK -- doesn't know what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud is going to do. If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y waited to see what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cloud does, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 planes would already be in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 air. It would be too late."

Anonymous said...

The airlines might be right. Or cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y might be starting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir effort to build public support for a really big bailout. One or cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r.

The Ubiquitous Mr. Lovegroove said...

I do security consulting and government is a big client. Government in CEE region is not afraid of montary losses (good luck suing!). Government officials are afraid only of loosing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir chair. OTOH airlines can only loose money (and somebody can go to jail for gross negligence, of course, but that won't be cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 top guy).
So, if an airline has estimated that even 2% of all flights could result in emergency landings (remember, crash possibility is near 0 based on previous evidence) it makes more business sense to fly passengers in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se conditions, even if only to minimize losses.
For cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government official, having one plane crash-land will mean loosing his chair and maybe being criminally prosecuted.

In a risk-reward game, government has nothing to gain from enabling riskier flights while airlines have a lot.

Lawrence Munro said...

"customers who would be wary about flying through or near cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud could decide not to do so."

I was stuck on an Island for a week... where cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are only sailing routes to ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r Islands.

I would racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r wait a few day than attempt a possibly unsafe flight or helish and expensive journey by bos or coach.

Planes fly in straight lines and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud covered hundreds of thousands of square miles in 3 dimensions. Due to wind and air currents cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash is distributed unevenly in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 upper atmostphere. The only way to be 100% sure by applying a fly-by method would be to fly millions of test flights on all cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 vectors. Satelite maps and predictions are used for just this reason. In security, if in doubt... do a couple of tests cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n open it all up? Or close it down until you're sure about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 threat?

John Reedaw said...

"Furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rmore, customers who would be wary about flying through or near cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash cloud could decide not to do so.

I think, Richard, that while saying this you clearly forgot about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 possibility of a plane falling down over a city or a group of buildings. What possible choice would cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se people have given (flying or not flying) under cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 possible bad conditions that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ash might have done to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 safety of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 planes?

Officials wouldn't only be responsible for all deaths occured in a plane if an accident would happen, but also all ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r deaths caused by this accident.