Friday, January 01, 2010

On Prediction Markets and Self-Fulfilling Prophecies

Over on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Freakonomics blog, Ian Ayers writes:
One of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 great unresolved questions of predictive analytics is trying to figure out when prediction markets will produce better predictions than good old-fashion mining of historic data. I think that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is fairly good evidence that eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r approach tends to beat cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 statistically unaided predictions of traditional experts.

But what is still unknown is whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r prediction markets dominate statistical prediction.
In asking cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "which is better" question, it is important to distinguish between two very different types of events for which prediction markets currently exist. Some events have a likelihood of occurrence that can safely be assumed to be independent of market predictions: cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y do not become more or less likely simply because beliefs about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir likelihood change. Whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r Justice Stevens will be next to depart cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 bench or snowfall in Central Park will exceed twenty inches this season are examples of such events (contracts on both are currently available on Intrade, and each is estimated to occur with 80% probability according to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 price at last trade). Such events may be described as exogneous.
There is an entirely different class of events that may be termed endogenous: cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir likelihood of occurrence is sensitive to beliefs about this likelihood. Political campaigns, especially for party nominations in major elections, have this character. A candidate who is considered to be a prohibitive favorite will have a major fund-raising advantage, for instance if early donors believe that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y will be rewarded with access, perks, or appointments. George W. Bush leveraged an aura of inevitability into a massive financial advantage in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 contest for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Republican nomination in 2000, and Hillary Clinton attempted to do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same eight years later.  By cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same token, a campaign that is perceived to have little chance of success may never get off cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ground at all, regardless of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 strengths of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 candidate in question. Hence managing expectations about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 likelihood of success is often a major campaign priority.
Paradoxically, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 very same market characteristics that serve to enhance predictive accuracy in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case of exogenous events could undermine accuracy in forecasting endogenous events. Accurate forecasting of exogneous events requires broad participation and high levels of market visibility and liquidity, so that decentralized information can be effectively aggregated. But in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case of endogenous events, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 more reliable a market is perceived by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 public to be, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 greater cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 incentives to manipulate prices at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 margin. The problem is especially severe when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is a positive feedback loop between subjective beliefs and objective probabilities, as in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case of contested elections. The costs of such manipulation are small when compared with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 costs of prime time advertising, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 returns can be enormous if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 viability of one's campaign (or that of a competitor) is at stake.
In an earlier post I discussed some of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se issues in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 context of a proposal by Robin Hanson arguing for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 development of prediction markets for climate change (Nate Silver was supportive of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea, while Matt Yglesias was skeptical). Would such markets be dealing with exogenous or endogenous events? At first glance, it might seem that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 events are exogenous, as in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case of this season's snowfall. But when forecasting temperatures several decades into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is an important feedback loop to be considered. A credible prediction that temperatures will remain stable will have cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 effect of stalling efforts to curtail greenhouse gas emissions, and this in turn could affect cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 future course of climate change. Note, however, that in this case cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 feedback is negative racá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r than positive: an decrease in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 perceived likelihood of warming will result in less aggressive curtailment of emissions, and hence an increase in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 objective probability of warming. As a result, any attempt at market manipulation by those who stand to lose from abatement policies will become progressively more expensive as temperatures rise. 
To put it anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r way, when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 feedback between subjective beliefs and objective probabilities is positive, successful manipulation of prices can pay for itself by changing beliefs in a manner that becomes self-fulfilling. But when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 feedback is negative, manipulation must eventually undermine its own success, since it results in beliefs that are systematically self-falsifying. For this reason I remain (cautiously) optimistic about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 prospects for developing accurate prediction markets for climate change.

5 comments:

  1. The possibility of self-fulfilling or self-defeating prophecies is an issue with any forecasting mechanism where forecasters have any incentives to offer more, vs. less, accurate forecasts. It is not a problem particular to prediction markets.

    ReplyDelete
  2. True, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 anonymity of participation in prediction markets means that we cannot control for "house effects" in interpreting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data. Most individuals discount partisan polls for this reason and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are often excluded from polling aggregates. We can't exclude partisan traders in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same way.

    ReplyDelete
  3. Furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365rmore, pollsters and academics have reputations to protect, unlike (anonymous) traders. On cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r hand, manipulators can face rapid and strong push back from ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r traders if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y go too far. It's cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 balance of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se two effects that will determine which system provides more accurate forecasts. My point is simply that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 accuracy of prediction markets relative to ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r forecasting mechanisms will depend on whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r we are dealing with exogenous or endogenous events, and (if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latter) whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r or not cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 feedback between subjective beliefs and objective probabilities is positive or negative.

    ReplyDelete
  4. My favorite answer is to disallow anonymous trading. When every trade and every trader is public, manipulation becomes harder to hide.

    ReplyDelete
  5. My favorite answer is to disallow anonymous trading. When every trade and every trader is public, manipulation becomes harder to hide.

    ReplyDelete