Saturday, September 01, 2007

Wall Street Clowns and Their Models

Recently I cited an Economist article in Economist on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Peril of Models. While walking through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 airport this Businessweek cover story, Not So Smart, caught my eye. I found cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 following excerpts to be interesting.

The titans of home loans announced cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y had perfected software that could spit out interest rates and fee structures for even cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 least reliable of borrowers. The algorithms, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y claimed, couldn't fail...

It was cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 assumptions and guidelines that lenders used in deploying cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 technology that frequently led to trouble, notes industry veteran Jones. "It's garbage in, garbage out," he says. Mortgage companies argued cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir algorithms provided near-perfect precision. "We have a wealth of information we didn't have before," Joe Anderson, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365n a senior Countrywide executive, said in a 2005 interview with BusinessWeek. "We understand cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 data and can price that risk."

But in fact, says Jones, "cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re wasn't enough historical performance" related to exotic adjustable-rate loans to allow for reasonable predictions. Lenders "are seeing cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 results of not having that info now..."


At this point in probably sounds like I am seriously anti-model. That isn't really cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 case. The points I cited from Businessweek involve inserting arbitrary values into models. Non-arbitrary data is based on some reality, such as "historical performance" for an appropriate past period, looking forward into an appropriate future period.

Incidentally, one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 articles I read cited cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Intangible Asset Finance Society, which is "dedicated to capturing maximum value from intellectual properties and ocá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r intangible assets such as quality, safety, security; and brand equity." That sounds like something to review.

3 comments:

Unknown said...

So Richard, you were a consultant, and presumably in your new job you answer someone - when asked to make a recommendation about two different risk reducing efforts, how do you answer cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 question? What criteria do you choose?

jbmoore said...

Businesses seek to model cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir markets and processes to make money and give cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365mselves an edge. The best people who are good at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se jobs learn through an interative process of trial and error we call experience. They know what cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y are doing, but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y can't always describe how cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y do it because likely some of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 analysis is subconscious. Given enough time and resources, you can build an expert system to mimic a human expert, but it will be brittle. The expert program will only be good at what it was trained to do. Clearly cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 expert programs this article is talking about weren't vetted enough. Eicá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365r cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 process cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y were modeling wasn't fully understood, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y didn't talk to enough experts, or as cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 article states, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y didn't test cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir software against real data to verify its results against reality. They also didn't test cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 software against one of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir own expert's results it sounds like. The latter is a QA problem. They skipped a crucial step in software development, and being penny wise and pound foolish, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y paid for it. Or again, perhaps cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 software has cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 same success rate as human lenders. After all, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re is no historical performance for adjustable rate mortgage loans. They could have used an expert program that was modeled on fixed rate loans and assumed that it could do cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 job. The French made a similar mistake when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y used cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Ariane 4 flight guidance software to fly cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Ariane 5 booster rocket. They lost cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 Ariane 5 booster and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 payload using that software because cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 rocket had different flight characteristics that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 software couldn't handle. The software did what it was designed to do which was guide an Ariane 4 rocket, it shut down causing a launch abort during flight. We'll likely find out what went wrong 6 months or more from now when a computer scientist dissects cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 program.

Anonymous said...

Sorry, maybe I am over simplifying cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 whole sub-prime mess... but it doesn't take a computer scientist to figure out that poor people with crappy credit buying houses that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y shouldn't would cause a crash. There was too much liquid and too many carpetbagger lenders for this not to go south.