Tuesday, August 11, 2009

2009 CDX Data Sets Posted

Earlier this year I posted Thoughts on 2009 CDX. Greg Conti just sent me a notice that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 West Point Information Technology and Operations Center just published, for free, cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir Intrusion Detection Labeled Data Sets. They include packet captures generated by NSA Red Team activity, packet captures from West Point defenders, and Snort, DNS, Web server, and host logs. This is great data. Stop using cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 1999 DARPA data sets. Please.

9 comments:

Dan Weber said...

As someone who worked on creating those DARPA data sets, I must say: yes, please, stop using cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m!

You wouldn't try to use Windows 95A today. Don't use ancient datasets, especially when cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re were lots of lessons learned after we made cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m. (TTLs, sigh.)

Erik H said...

Thanks for this info Richard! The data in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 capture files look really useful (I haven't looked through cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365m all yet though)!

I’ve added cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 link to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 list of "Publicly available PCAP files" on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 NetworkMiner wiki.

James said...

I took a brief look as well, can’t wait to dig a little deeper. Do you know if cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re are explanations of cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 "attacks" and cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 corresponding captures?

Richard Bejtlich said...

James, not sure. Maybe Greg will comment?

Greg Conti said...

James, we have some more details in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 paper (linked from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 dataset page), but probably not to cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 level you'd like to see :) We requested detailed attack information from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 red team (cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y have been very supportive), but cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir (hand generated) logs were a bit too informal to share. (cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y were in cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 heat of battle at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365ir end too :) I view this data capture as an annual event. So, we are interested in ideas regarding what to type of data to capture in order to provide cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 most value. Next year, we plan on working with cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 red team to try and generate a solid attack log from cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 attacker's perspective, which would be very valuable.

Greg Conti said...

After thinking about cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 idea of using competitions to generate valuable/labeled datasets for cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 past year or so, we believe it is possible, but not trivial to do it right. The first trick is instrumenting cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 competition correctly. It is reasonable to place sensors at strategic locations on cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 network, but a better solution would include instrumented workstations (think keystroke logging), hard drive image snapshots, firewall configuration file/log snapshots, etc, which would require more research to do correctly. The second trick is to incentivize participants so that cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365y will participate and generate cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 type of data you hope to collect. We believe both challenges can largely be overcome, but success will require iterative attempts, and perhaps a set of canonical game design patterns will emerge.

Alex Raitz said...

Great to see Splunk in use at cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365se exercises! Let us know what we can do to improve cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365 product in regard to this use case.

Anonymous said...
This comment has been removed by a blog administrator.
Unknown said...

Is cá cược thể thao bet365_cách nạp tiền vào bet365_ đăng ký bet365re anywhere some paper, which explains, how exactly thoses data sets were created?
It would be good to test created neural networks with real network traffic but I did not yet find a way to convert raw network data to "DARPA dataset format".

Sorry for my bad english :)