LANDER:long flows D8 2 weeks-anonymized-20100221 From Predict README version: 2621, last modified: 2012-03-16. This file describes the trace dataset "long_flows_D8_2_weeks-anonymized-20100221" provided by the LANDER project. Contents • 1 LANDER Metadata • 2 Dataset Contents • 3 Citation • 4 Results Using This Dataset • 5 User Annotations LANDER Metadata ┌───────────────────────────┬──────────────────────────────────────────────────────────────────────────────────────────┐ │ dataSetName │ long_flows_D8_2_weeks-anonymized-20100221 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ status │ usc-web-and-predict │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ shortDesc │ 2 weeks of IP flows in 2010. │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ longDesc │ This dataset contains IP flow records spanning two weeks in a modified Argus format. The │ │ │ durations of flows are ranging from seconds to hours and weeks. Different durations of │ │ │ flows are organized into different directories, and the flow duration increases │ │ │ exponentially. All IP addresses in this dataset are fully anonymized. │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ datasetClass │ Restricted │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ commercialAllowed │ true │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ requestReviewRequired │ true │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ productReviewRequired │ false │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ ongoingMeasurement │ false │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ submissionMethod │ Upload │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartDate │ 2010-02-21 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartTime │ 19:56:45 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndDate │ 2010-03-08 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndTime │ 01:17:32 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartDate │ 2012-03-19 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartTime │ 16:17:03 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndDate │ 2030-01-01 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndTime │ 00:00:00 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ anonymization │ cryptopan/full │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ archivingAllowed │ false │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ keywords │ category:traffic-flow-data, subcategory:long-lived-flow-summarization-full-ip-anon, │ │ │ long-flows, flow-statistics │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ format │ text │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ access │ https │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ hostName │ USC-LANDER │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ providerName │ USC │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ groupingId │ │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ groupingSummaryFlag │ false │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ retrievalInstructions │ download │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ byteSize │ 131117088768 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ expirationDays │ 14 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ uncompressedSize │ 714063933137 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ impactDoi │ 10.23721/109/1353781 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ useAgreement │ dua-ni-160816 │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ irbRequired │ false │ ├───────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────────┤ │ privateAccessInstructions │ See https://ant.isi.edu/datasets/#getting-datasets for information on obtaining this │ │ │ dataset. │ │ │ See │ └───────────────────────────┴──────────────────────────────────────────────────────────────────────────────────────────┘ Dataset Contents This dataset contains IP flow records spanning two weeks, from 2010-02-21 to 2010-03-08, in a modified Argus format. The durations of flows range from seconds to days and weeks. Different durations of flows are organized into different directories, as shown below. r0/     level 0 flow files, up to 10 minute long r1/     level 1 flow files, up to 20 minute long r2/     level 2 flow files, up to 40 minute long ... r11/     level 8 flow files, up to 2 weeks long The flow duration increases exponentially, with a base duration of 10 minutes. Two level i flow files (numbered 2n and 2n+1) are merged into a level i+1 file (numbered n). All IP addresses are fully anonymized. We also compress all the flow files using bzip2. The flow record format is (after uncompression): start_timestamp end_timestamp sourceIP.sourcePort protocol destinationIP.destinationPort num_packets num_bytes state sigma_bytes_square bytes_avg N_timebins (last three are used to calculate burstiness of flows, which is defined as variance of bytes over a time bin of 10 minutes. burstiness = math.sqrt(sigma_bytes_square/N - bytes_avg*bytes_avg)) A sample record: 20100225:09:16:32.927457 20100228:22:37:04.393181 2001:660:3001:401*.32776 udp ff7e:230:2001:660*.10010 1051662 120330435 INT 1983992704601 14364.3828339 8377 For a longer description of our dataset, please see here. Citation If you use this trace to conduct additional research, please cite it as: Long-lived Internet flows, PREDICT ID: USC-LANDER/long_flows_D8_2_weeks-anonymized-20100221. Traces taken 2010-02-21 to 2010-03-08. Provided by the USC/LANDER project http://www.isi.edu/ant/lander. Results Using This Dataset Traces similar to this one have been used the following previously published work: • Lin Quan and John Heidemann. On the Characteristics and Reasons of Long-lived Internet Flows. In Proceedings of the ACM Internet Measurement Conference, p. 444-450. Melbourne, Australia, ACM. November, 2010. . User Annotations The host-only anonymized version of this dataset is LANDER:long_flows_D8_2_weeks-20100221 Some statistics: number of source IPs (in flows longer than 5120 minutes) = 1164 number of destination IPs (in flows longer than 5120 minutes) = 860 number of flows (longer than 5120 minutes) = 1845 Categories: • LANDER • LANDER:Datasets • LANDER:Datasets:TrafficFlowData • Datasets