Thursday, October 11, 2007

Alternatives to "Expert Opinions"

If you read The Doomsday Clock you probably recognize I have a dim opinion of "expert opinion," especially by committee. At cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 risk of making a political statement, I rank expert opinion alongside central planning as some of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 worst ways to make decisions -- at least where a large amount of complexity must be accommodated.

What is my alternative? I believe free markets are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 best way to syncá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365size competing data points to produce an assessment. Does this sound familiar? If yes, you may be thinking of this 2003 story: The Case for Terrorism Futures:

Critics blasted policy-makers Tuesday for dropping a controversial plan to create a futures market to help predict terrorist strikes...

[S]upporters of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 project point out that gacá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ring intelligence is often a messy business, with payoffs to unsavory characters and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 elimination of potential adversaries. The futures market, ugly as it may sound, doesn't involve any of those moral compromises, said Robin Hanson, one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 earlier promoters of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 concept of trading floors for ideas and a PAM [Policy Analysis Market] project contributor. It's just a way of capturing people's collective wisdom...

Projects similar to PAM, like cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Iowa Electronic Markets, which speculate on election results, have been surprisingly reliable indicators of what's going to happen next...

The price of orange juice futures has even been shown to accurately predict cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 weacá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r...

Traders on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Hollywood Stock Exchange last year correctly picked 35 of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 40 Oscar nominees in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 eight biggest categories, according to The New Yorker magazine...

Market mechanisms are more accurate than asking people cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir opinions because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're putting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir money or reputation on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 line," said Ken Killitz of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Foresight Exchange, which speculates on everything from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future of human cloning to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 possibility that Roman Catholic priests will be allowed to marry. "It gives people an incentive to reveal what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y know..."

[E]xchanges "tend to predict events really well when no one person knows cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 answer -- when information is distributed among many people with different knowledge bases," said Joyce Berg, a University of Iowa professor who helped organize cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 political trading floors...

Markets also bring togecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r people with information about a particular subject in a way blue-ribbon panels of experts can't, added Hanson.

"You get people that know things about a subject, but don't have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 credentials to say so," he said. "You get people who live in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se areas (of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Middle East)."

There's also "less of an ability to spin" in markets than in policy debates, Hanson noted. "So you get what people actually think, not what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y say."


I love this idea. The fact that intellectual pygmies in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Senate defeated it is a real shame.

I found many interesting articles on this subject by Robin D. Hanson from George Mason University and Oxford's Future of Humanity Institute; cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latter offers a Global Catastrophic Risks program that is probably more interesting (but less marketing-savvy) than cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Doomsday Clock.

If you're sufficiently motivated to start arguing against this idea, I will probably just point back into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 literature (especially Hanson's) countering cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se complaints.

If you're wondering why I mention this at all, it ties into my mention of security breach derivatives in my post Excerpts from Ross Anderson / Tyler Moore Paper.

5 comments:

Anonymous said...

Markets are great, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y fail too. See also: Monopoly.

In what ways could a terrorism or information security market fail, and what would cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 consequences be? What happens when a party gets a monopoly on terrorism in a market sector? What happens when parties begin insider trading on information security markets?

Oops; anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r risk assessment. It's a vicious spiral.

Anonymous said...

I think you're exactly right, John -

After all, a prediction market is just a means to motivate people over a long period of time to reveal cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir true risk beliefs (opinions). You still have experts (those that assign value), making judgment calls (cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 value itself) - you're just doing a whole bunch of it. One might say that it is a "human" means of running Monte Carlo.

FWIW- Robin Hanson, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 man who invented prediction markets runs a heavily Bayesian blog at http://www.overcomingias.com. It's an excellent read.

My problem with our use of prediction markets is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y indicate a form of risk (deviance from expected return) for a form of risk (probable frequency and probable impact of failure in a complex system). They aren't risk assessment in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 way IRM professionals need to express risk. They are a means to account for uncertainty concerning IRM risk. This can be confusing.

In a sense what Richard's suggesting here is creation of a belief statement about individual belief statements.

Anonymous said...

It is axiomatic that people in such a scheme will have differing amounts of private information about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future.

I would label those who consistently have good information "experts".

Anonymous said...

It seems cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 essential point is making sure that you get multiple opinions, from 'real' experts and that incentives from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 opinion makers are correctly aligned.

A futures market seems like a kludge, and a difficult to implement one in this context too (feel like putting your company strategy out cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re for general comment, a bit facetious, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is a confidentiality concern).

A sufficiently large and competent consulting house who are brought in for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir 'opinion' and not implementation used in conjunction with in-house expertise sound like a good way to get close to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 mark. It won't be perfect, but if good evaluation processes are followed in selecting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 group it should bring your within tolerable limits.

Go on, prove me wrong ;)

Michael Dundas said...

I had cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fortune of watching a court case recently in which cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re was an expert who created an animation from GPS, topology maps, photos and a bunch of ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r data points being considered as evidence for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case.

Personally after seeing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 experts resume, listening to him, I think he really knew his stuff. During cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cross-examination however, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lawyer was able to make it seem like he was unqualified for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 work. It was interesting to say cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 least. She actually didn't attack his work, more cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that he was not a expert in two ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r fields that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y felt were required. It was actually a valid argument, but I felt a little bad for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 guy.

It opened my eyes if I am ever called to be an expert that's for sure.

-mike