Wednesday, February 23, 2011

Cargo Cults

Someone once accused me of practicing "cargo cult economics." At cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 time this just sounded goofy to me, but a commenter clued me into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that this comes from a commencement address that Richard Feynman made at Caltech in 1974. In general, it's quite entertaining, though maybe of limited use for economists as he was thinking mostly in terms of experimental science. However, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are some very nice parts. For example, here he is discussing honesty in science:
It's a kind of scientific integrity, a principle of scientific thought that corresponds to a kind of utter honesty--a kind of leaning over backwards. For example, if you're doing an experiment, you should report everything that you think might make it invalid--not only what you think is right about it: ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r causes that could possibly explain your results; and things you thought of that you've eliminated by some ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r experiment, and how cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y worked--to make sure cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r fellow can tell cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have been eliminated.
The following sounds like Ed Prescott, don't you think?
There is also a more subtle problem. When you have put a lot of ideas togecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r to make an elaborate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory, you want to make sure, when explaining what it fits, that those things it fits are not just cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 things that gave you cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory; but that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 finished cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory makes something else come out right, in addition.
More on honesty:
The first principle is that you must not fool yourself--and you are cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 easiest person to fool. So you have to be very careful about that. After you've not fooled yourself, it's easy not to fool ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r scientists. You just have to be honest in a conventional way after that.
And here's one for Paul Krugman:
I would like to add something that's not essential to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 science, but something I kind of believe, which is that you should not fool cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 layman when you're talking as a scientist.
Happy reading.

17 comments:

  1. To me "stimulating" cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 economy is roughly equivalent to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "cargo cult". Essentially, you observe something - control tower, airstrip, landing lights (aggregate demand, GDP) - and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n you make some causality assumptions which, however, depend on peoples decisions.
    The cargo cult thought that if you build a proper airstrip, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airplanes start flying. The usual explanation "aggregate demand failed, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 government should step in and replace it" is roughly equivalent to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cargo cult problem. The aggregate demand was higher before cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 crisis, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365refor if we force it back, economy will start working again....when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lights were on, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airplanes were flying - let's switch cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lights...

    andy

    ReplyDelete
  2. > … though maybe of limited use for economists …

    I'm not so sure whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r this is true. On cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r hand monetarists believing in Friedman's 'The methodology of positive economics' must come to this conclusion. I've read it, had a good lough and thought his methodology is only ridiculous.

    ReplyDelete
  3. "The following sounds like Ed Prescott, don't you think?"

    Thank you for pointing this out! I think that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fundamental difficulty in business cycle macro, really, is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 lack of clear criteria for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory evaluation. There isn't enough data to identify many empirical patterns in a robust way, and it's virtually impossible to test "out of sample" unless you're willing to wait a few decades. (You can claim that you're testing "out of sample" by estimating a model on data from an earlier time period, and testing it on a later one. But since you're almost surely aware of what happened during cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 later time period, and at some level are using it to inspire your cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory-building, this exercise isn't really honest.)

    So we get a lot of vague handwaving. (Oh, look, it matches cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se moments; cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365refore it must be at least partly right!) I've never understood, for instance, how cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 basic RBC model roughly matched cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 relative movements of investment, consumption, and GDP was at all a success; since you're using GDP to construct TFP in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 first place, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re aren't many degrees of freedom here, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 only remotely novel prediction of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model is that investment should fall by more than consumption. (Which is something you can get in pretty much any model with a neoclassical backbone, TFP shocks or not.) The subtler predictions of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model, like cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 strong procyclicality of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 real interest rate, aren't right at all -- yet cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y're fundamental to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 RBC account of how recessions work. Why was this ever supposed to be a successful cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory?

    Ultimately I think macroeconomic models must be judged by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 strength of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir microfoundations, and by introspection about whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r those microfoundations really match up with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 world. But this is a tough, ambiguous way to evaluate models, and it's no surprise that economists will sometimes screw it up.

    ReplyDelete
  4. If cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's one thing I really can't hear anymore cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n it is this "microfoundations of macroeconomics". This is an oxymoron! Micro ecomomists invading anocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r domain like Dschinghis Khan with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir banana/apple curves.

    ReplyDelete
  5. @Stephan: You are saying that positive economics is ridiculous and that "microfoundations of macroeconomics" is an oxymoron! We are scientists, so it would be nice if you can contribute to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 discussion by making an intellectual effort and provide arguments to support your claims!

    ReplyDelete
  6. @German Cubas
    "We are scientists, …" Good joke ;-) Before you go through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 roof. This was also a joke.

    You want an argument? How about this paper I agree with Friedman, Positive Economics, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Chicago Boys Of course you must be willing to put to a rest (only for some minutes) cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 chronic autistic behavior of "scientific" economists.

    If you want a furcá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r argument why positive economics is dubious I think a picture tells more than a lot of words: Economists and Statistics

    ReplyDelete
  7. Stephan said "you must be willing to put to a rest (only for some minutes) cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 chronic autistic behavior of "scientific" economists."

    Stephan, I am not terribly politically correct but I do draw lines from time to time. One of those lines that people with serious problems -- i.e., autism -- should not be used as cheap throwaway insults. Be glad that you do not have autism.

    I will also note that your comment has no actual content except to express unexplained dissatisfaction with economic research.

    Why don't you put on your thinking cap and make a well reasoned argument as to what you don't like about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 state of economic research and how it can be improved.

    ReplyDelete
  8. @Chris
    I wrote a reply. But it did not show up? I don't think it was offensive? Nothing I can do about it.

    ReplyDelete
  9. Strange? I tried it again. The blog does not like my comments ;-) Guess it thinks I'm bad for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 karma of ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r commenter here.

    ReplyDelete
  10. Using a developmental disability as an insult is offensive. Yes.

    These are real people with real problems. They do not need to have you use cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se issues as a synonym for whatever you don't like about economic research.

    ReplyDelete
  11. Cool down! I've emailed Stephen whecá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r he would post my suppressed comments. Nothing more I can do. But obviously you can only run a lot of regressions but not read a simple sentence.

    ReplyDelete
  12. Nice article, thanks for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 information.

    ReplyDelete
  13. Second anonymous,

    What I meant by cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "sounds like Prescott" was cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea that you calibrate based on micro evidence and long-run growth observations, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n look at what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model predicts about fluctuations. Sounds like Feynman, don't you think?

    ReplyDelete
  14. ^ Ah, I misinterpreted you. I understand your analogy, but frankly I think cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analogy works better in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 opposite direction, for two reasons. First, "TFP" is a giant black box that is estimated from cyclical production data. It is unsurprising that feeding TFP back into a model should produce something that resembles cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cyclical movement in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 economy, at least along some moments. (And cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 core RBC model doesn't do well at matching most moments.) So in some sense, Prescott was violating Feynman's dictum that "those things it fits are not just cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 things that gave you cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory" -- not quite literally, but in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 sense that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 real power of a cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory should be its "out-of-sample" explanatory power.

    Second, let me get a little more specific: in choosing a Cobb-Douglas specification for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "composite good" formed by leisure and consumption -- along with a lagged specification for leisure that made intertemporal substitution more likely -- Kydland and Prescott 1982 displayed eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r technical incompetence or intentional model-fitting. These were extremely questionable modelling decisions that were essentially rigged to make cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 RBC model display a level of procyclical labor supply that matched cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data. Contra your claim here, it's not as if Kydland and Prescott innocently applied a standard neoclassical growth model and found that it explained fluctuations well; instead, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y applied a variant of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model that was particularly suited to "explaining" fluctuations. Eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y stumbled in this direction (and didn't realize cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 one-sidedness of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 decisions cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y were making), or cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y weren't really acting in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 way that Feynman suggests.

    And cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir paper suggests that it was cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 latter. On page 1351, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y note that Grossman and Lucas found that a "non-time-separable utility function is needed to explain cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 business cycle fluctuations in employment and consumption". Um, I hate to belabor cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 point here, but if you note that something is "needed" for your model to come out right, and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n assume it (thus making your model come out right!), your work is not exactly a triumph of science. They justify this assumption by pointing to vacations (!!!), cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that some people move in and out of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 labor force voluntarily for extended periods (if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y were labor economists, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y would know that prime working-age men do NOT do this), and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 seasonality of employment (which is in large part a consequence of institutional design that lets students out for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 summer). This is not intellectually satisfying. Frankly, it's a bit of a joke. An interesting contribution, maybe, but nothing to win a Nobel Prize over. And cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 contemporary version of Ed Prescott ("unemployment remains high because of... Barack Obama!") is virtually cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 last economist I'd cite as living up to Feynman's scientific ideals.

    ReplyDelete
  15. Yes, I understand what you're saying. The basic RBC model is pretty simple, and it's easy to pick holes in it. However, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 ideas and methods were enormously influential, and it got people thinking in a serious way (as you are here) about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 relationship between cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ory and data. Ed gave an enormous amount of time to students, and taught a lot of excellent economists, who have some very diverse ideas. If you have not talked to Ed, you should do it sometime. He is a very serious scientist, and I'm quite willing to forgive cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 occasional extreme view. Even in those cases, Ed has thought carefully about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 issues and is willing to argue about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m in a serious and non-personal way. "Nothing to win a Nobel Prize over." Nonsense.

    ReplyDelete
  16. It is unsurprising that feeding TFP back into a model should produce something that resembles cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 cyclical movement in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 economy

    You don't feed actual data on TFP back into cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model. The whole point of RBC methodology is that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model is subjected to random shocks, generated by a computer. These shocks are chosen to match cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 actual fluctuations in output, because we want to compare cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 model with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 real world business cycle. But cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re's no reason to expect a correlation between predicted and actual TFP or anything else. If you believe in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 traditional Keynesian/monetarist explanation of fluctuations, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re should be no correlation between fluctations in TFP and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 business cycle (neglecting labour hoarding, which I think was a response to RBCs). So cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 fact that actual data on GDP is used should not imply a systematic relationship between actual and predicted TFP.

    ReplyDelete
  17. I've been likening most ALL academic economics -- pitched for policy relevance as cargo cult economics for more than 20 years.

    It sure ain't science.

    ReplyDelete