LANDER:ip accumulation a39all-20200101 From Predict README version: 14842, last modified: 2024-07-29. This file describes the trace dataset "ip_accumulation_a39all-20200101" provided by the LANDER project. IP accumulation datasets report counts of the number of active addresses per /24 IPv4 block (or for other groupings) over time, estimated from Trinocular probing. Contents • 1 LANDER Metadata • 2 Dataset Contents • 3 Dataset Generation • 3.1 data • 3.2 sample • 4 Citation • 5 Results Using This Dataset • 6 User Annotations LANDER Metadata ┌───────────────────────────┬────────────────────────────────────────────────────────────────────────────────────┐ │ dataSetName │ ip_accumulation_a39all-20200101 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ status │ usc-web-and-predict │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ shortDesc │ accumulated number of active IP address in /24 blocks (or other grouping) │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ longDesc │ This dataset is created by analyzing internet_outage_adaptive datasets │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ datasetClass │ Quasi-Restricted │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ commercialAllowed │ true │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ requestReviewRequired │ true │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ productReviewRequired │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ ongoingMeasurement │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ submissionMethod │ Upload │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartDate │ 2020-01-01 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionStartTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndDate │ 2020-04-01 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ collectionEndTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartDate │ 2024-07-30 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityStartTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndDate │ 2030-01-01 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ availabilityEndTime │ 00:00:00 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ anonymization │ none │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ archivingAllowed │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ keywords │ category:address-space-status-data, │ │ │ subcategory:internet-address-block-classification, IP-mapping │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ format │ text │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ access │ https │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ hostName │ USC-LANDER │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ providerName │ USC │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ groupingId │ IP Accumulation datasets │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ groupingSummaryFlag │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ retrievalInstructions │ download │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ byteSize │ 52923727872 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ expirationDays │ 14 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ uncompressedSize │ │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ impactDoi │ │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ useAgreement │ dua-ni-160816 │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ irbRequired │ false │ ├───────────────────────────┼────────────────────────────────────────────────────────────────────────────────────┤ │ privateAccessInstructions │ See https://ant.isi.edu/datasets/#getting-datasets for information on obtaining │ │ │ this dataset. │ │ │ See │ └───────────────────────────┴────────────────────────────────────────────────────────────────────────────────────┘ Dataset Contents ip_accumulation_a39all-20200101      copy of this README data/     .xz text files in FSDB format (compressed) (Some earlier datasets may be compressed with bzip2.) Dataset Generation The datasets are created by analyzing internet_outage_adaptive datasets In addition to grouping by /24 blocks, we also group by routable prefix and AS numbers. data Please see https://ant.isi.edu/datasets/ip_accumulation/format.html for details about the data format. Summarizing that here, data is in FSDB format with the following schema: #fsdb -F t block timestamp:q duration:q active_ip:l probed_ip:l • block: hex format of /24 IP block, with trailing zeros (A7 omits trailing zeros. • timestamp: when the number of active or probed IPs changed, in seconds since 1970 • duration: how long this state stays with the same number of active and probed IPs • active_ip: number of positive responses in the /24 block • probed_ip: number of supposed positive responses in the /24 block As a variation, when we group by AS numbers or prefixes, the first field is "group". In all cases, data is sorted by block (or group) and numerically by timestamp. Sorting is lexiographic (for blocks and prefixes) and then by timestamp, except for AS grouping, group is sorted numerically and then by timestamp. sample #fsdb -F t block timestamp:q duration:q active_ip:l probed_ip:l 0104de00 1577900940 660 149 253 0104de00 1577901600 660 150 255 0104de00 1577902260 3960 152 256 0104de00 1577906220 660 153 256 ... or for AS or prefix grouping: #fsdb -F t group timestamp duration n_active_ip probed_ip 1 1601571600 3600 28 - 1 1601575200 3600 208 - 1 1601578800 3600 520 - 1 1601582400 3600 757 - ... and #fsdb -F t group timestamp duration n_active_ip probed_ip 1.0.202.0/24 1601863200 295200 0 - 1.0.202.0/24 1601866800 3600 1 - 1.0.202.0/24 1602993600 1126800 0 - 1.0.202.0/24 1603000800 7200 1 - ... Citation If you use this trace to conduct additional research, please cite it as: Accumulated number of active IP address in /24 blocks, PREDICT ID: USC-LANDER/ip_accumulation_a39all-20200101. Traces taken 2020-01-01 to 2020-03-31. Provided by the USC/ANT group https://ant.isi.edu/. Results Using This Dataset Traces similar to this one have been used the following previously published work: • Xiao Song, Guillermo Baltra, and John Heidemann, "Inferring Changes in Daily Human Activity from Internet Response", ACM IMC 2023. https://doi.org/10.1145/3618257.3624796 • Guillermo Baltra, Xiao Song, and John Heidemann, "Ebb and Flow: Implications of ISP Address Dynamics", PAM 2024. https://ant.isi.edu/%7ejohnh/PAPERS/Baltra24a/ User Annotations Currently no annotations. Categories: • Datasets • LANDER • LANDER:Datasets • LANDER:Datasets:AddressSpace:Adaptive Probing • LANDER:Datasets:AddressSpace:IP Accumulation • LANDER:Datasets:AddressSpace