normalise.py

# Normalisation library
#
# This library normalises Argus data to integers for purposes
# of DNN processing.

dirs = {
    '  <-': 0,
    '   ->': 1,
    '  <->': 2,
    '   ?>': 3,
    '  <?>': 4,
    '  who': 5
}

protos = {
    'udp': 1,
    'tcp': 2,
    'icmp': 3,
    'arp': 4,
    'rtp': 5,
    'pim': 6,
    'ipx/spx': 7,
    'rtcp': 8
}

states = {
    'REQ': 1,
    'CON': 2,
    'FIN': 3,
    'RST': 4,
    'INT': 5,
    'RSP': 6,
    'URP': 10,
    'URH': 11,
    'URN': 12,
    'URFIL': 13,
    'RED': 14,
    'ECO': 15,
    'ECR': 16,
    'TXD': 17,
    '_R': 20,
    '_FA': 21,
    '_SA': 22,
    '_RA': 23,
    '_PA': 24,
    '_FSA': 25,
    '_FPA': 26,
    '_SRA': 27,
    '_SPA': 28,
    '_FSPA': 29,
    '_FRPA': 30,
    '_SRPA': 31,
    '_FSRPA': 32,
    'S_': 33,
    'S_R': 34,
    'S_A': 35,
    'S_FA': 36,
    'S_SA': 37,
    'S_RA': 38,
    'S_FRA': 39,
    'S_SRA': 40,
    'S_RPA': 41,
    'R_': 42,
    'A_': 43,
    'A_R': 44,
    'A_A': 45,
    'A_RA': 46,
    'A_PA': 47,
    'A_RPA': 48,
    'FS_': 49,
    'FS_SA': 50,
    'FA_': 51,
    'FA_R': 52,
    'FA_A': 53,
    'FA_FA': 54,
    'FA_RA': 55,
    'FA_FRA': 56,
    'FA_FPA': 57,
    'FA_FRPA': 58,
    'SR_': 59,
    'SR_A': 60,
    'SR_SA': 61,
    'SR_RA': 62,
    'SR_FSA': 63,
    'SR_SRA': 64,
    'SA_': 65,
    'SA_R': 66,
    'SA_A': 67,
    'SA_FR': 68,
    'SA_SA': 69,
    'SA_RA': 70,
    'SA_FSA': 71,
    'SA_SRA': 72,
    'SA_SPA': 73,
    'SA_RPA': 74,
    'SA_FSRA': 75,
    'SA_FSPA': 76,
    'SA_SRPA': 77,
    'SA_FSRPA': 78,
    'RA_': 79,
    'RA_S': 80,
    'RA_A': 81,
    'RA_FA': 82,
    'RA_PA': 83,
    'RA_FPA': 84,
    'PA_': 85,
    'PA_R': 86,
    'PA_A': 87,
    'PA_RA': 88,
    'PA_PA': 89,
    'PA_FRA': 90,
    'PA_FPA': 91,
    'PA_SRA': 92,
    'PA_RPA': 93,
    'PA_FRPA': 94,
    'FSR_SA': 95,
    'FSA_': 96,
    'FSA_SA': 97,
    'FSA_FSA': 98,
    'FSA_FPA': 99,
    'FSA_SRA': 100,
    'FSA_FSRA': 101,
    'FSA_FSPA': 102,
    'FSA_FSRPA': 103,
    'FRA_': 104,
    'FRA_R': 105,
    'FRA_FA': 106,
    'FRA_PA': 107,
    'FRA_FPA': 108,
    'FPA_': 109,
    'FPA_R': 110,
    'FPA_A': 111,
    'FPA_FA': 112,
    'FPA_RA': 113,
    'FPA_PA': 114,
    'FPA_FRA': 115,
    'FPA_FPA': 116,
    'FPA_RPA': 117,
    'FPA_FSPA': 118,
    'FPA_FRPA': 119,
    'FPA_FSRPA': 120,
    'SRA_': 121,
    'SRA_SA': 122,
    'SRA_RA': 123,
    'SRA_FSA': 124,
    'SRA_SRA': 125,
    'SRA_SPA': 126,
    'SRA_FSPA': 127,
    'SPA_': 128,
    'SPA_SA': 129,
    'SPA_FSA': 130,
    'SPA_SRA': 131,
    'SPA_SPA': 132,
    'SPA_FSRA': 133,
    'SPA_FSPA': 134,
    'SPA_SRPA': 135,
    'SPA_FSRPA': 136,
    'RPA_': 137,
    'RPA_R': 138,
    'RPA_A': 139,
    'RPA_PA': 140,
    'RPA_FPA': 141,
    'RPA_RPA': 142,
    'RPA_FSPA': 143,
    'RPA_FRPA': 144,
    'FSRA_SA': 145,
    'FSRA_FSA': 146,
    'FSRA_SRA': 147,
    'FSRA_SPA': 148,
    'FSRA_FSRA': 149,
    'FSRA_FSPA': 150,
    'FSRA_FSRPA': 151,
    'FSPA_FA': 152,
    'FSPA_SA': 153,
    'FSPA_FSA': 154,
    'FSPA_FPA': 155,
    'FSPA_SRA': 156,
    'FSPA_SPA': 157,
    'FSPA_FSRA': 158,
    'FSPA_FSPA': 159,
    'FSPA_SRPA': 160,
    'FSPA_FSRPA': 161,
    'FRPA_': 162,
    'FRPA_R': 163,
    'FRPA_FA': 164,
    'FRPA_RA': 165,
    'FRPA_PA': 166,
    'FRPA_FPA': 167,
    'FRPA_RPA': 168,
    'FRPA_FSPA': 169,
    'FRPA_FRPA': 170,
    'SRPA_SA': 171,
    'SRPA_FSA': 172,
    'SRPA_SRA': 173,
    'SRPA_SPA': 174,
    'SRPA_FSRA': 175,
    'SRPA_FSPA': 176,
    'SRPA_SRPA': 177,
    'SRPA_FSRPA': 178,
    'FSRPA_SA': 179,
    'FSRPA_FSA': 180,
    'FSRPA_SRA': 181,
    'FSRPA_SPA': 182,
    'FSRPA_FSRA': 183,
    'FSRPA_FSPA': 184,
    'FSRPA_SRPA': 185,
    'FSRPA_FSRPA': 186
}

def normalise(line, label=None):
    fields = line.split(',')

    duration = float(fields[0])
    protocol = protos[fields[1]]
    srcport = 0 if fields[2] == '' else int(fields[2], 0)
    direction = dirs[fields[3]]
    dstport = 0 if fields[4] == '' else int(fields[4], 0)
    state = states[fields[5]]
    packets = int(fields[6])
    nbytes = int(fields[7])
    srcbytes = int(fields[8])

    if (label != None):
        return [[duration, protocol, srcport, direction, dstport, state, packets, nbytes, srcbytes, label]]
    else:
        return [[duration, protocol, srcport, direction, dstport, state, packets, nbytes, srcbytes]]