1、(topK問題)海量日誌資料，提取出某日訪問百度次數最多的10個IP。

阿新 • • 發佈：2019-01-11

#include <iostream>
#include <fstream>
#include <string.h>
#include <ctime>
#include <hash_map>

#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>

using namespace std;
using namespace __gnu_cxx;

#define TRUE1
#define FALSE0
#define UP184549374/* 10.255.255.254 */
#define LOW167772161/* 10.0.0.1 */
#define DIVIDENUM1000
#define USERLOGFILE"userlog.dat"

int generatelogfile(void)
{
unsigned int i;
unsigned int j;
int ret;
struct in_addr userip;
fstream userlog;

userlog.open(USERLOGFILE, ios::out | ios::in | ios::trunc);

srandom((unsigned int)time(NULL));

for (i = 1; i <= 128 * 1024; i++)
{
string str;

str.clear();
for (j = 1; j <= 1024; j++)
{
//userip.s_addr = random();
userip.s_addr = (random() % (UP - LOW + 1)) + LOW;
userip.s_addr = htonl(userip.s_addr);
if ((userip.s_addr & 0xFF) == 0)
{
userip.s_addr += 1;
}
if ((userip.s_addr & 0xFF) == 0xFF)
{
userip.s_addr -= 1;
}

if ((userip.s_addr & 0xFF000000) == 0)
{
userip.s_addr += 0x0A000000;
}

if ((userip.s_addr & 0xFF000000) >= 0xE0000000)
{
userip.s_addr -= 0xDF000000;
}

//if (i % 1024 == 0)
//printf("%X: \n", i);
userip.s_addr = ntohl(userip.s_addr);
str = str + inet_ntoa(userip) + "\r\n";
}
userlog << str;
//userlog << inet_ntoa(userip) << endl;
//printf("%-15s\n", inet_ntoa(userip));
}

userlog.close();
return 0;
}

void dividelogfile(void)
{
unsigned int i;
char line[256];
char filename[50];
fstream userlog;
fstream userlogfile[DIVIDENUM];
struct in_addr userip;

userlog.open(USERLOGFILE, ios::in);

for (i = 0; i < DIVIDENUM; i++)
{
memset(filename, 0, sizeof(filename));
sprintf(filename, "./data/%s_%d.dat", "userlog", i);
userlogfile[i].open(filename, ios::out | ios::in | ios::trunc);
}

do
{
memset(line, 0, sizeof(line));
userlog.getline(line, 256);
inet_aton(line, &userip);
//printf("%s\n", line);
userip.s_addr = htonl(userip.s_addr);
//userlogfile[userip.s_addr % DIVIDENUM] << line << endl;
userlogfile[userip.s_addr % DIVIDENUM] << line << "\n";
//printf("0x%X\n", userip.s_addr);
} while (!userlog.eof());

userlog.close();
for (i = 0; i < DIVIDENUM; i++)
{
userlogfile[i].close();
}
}

typedef struct __min_heap
{
struct in_addr userip;
unsigned count;
} MIN_HEAP;

void ajustDown(MIN_HEAP *minheap, int i, int n)
{
int j;
MIN_HEAP tmpnode;

j = 2*i + 1;

while (j < n)
{
if ((j + 1) < n && (minheap[j + 1].count < minheap[j].count))
{
j++;
}

if (minheap[i].count > minheap[j].count)
{
tmpnode = minheap[i];
minheap[i] = minheap[j];
minheap[j] = tmpnode;
}

i = j;
j = 2*i + 1;
}
}

void makeMinHeap(MIN_HEAP *minheap, int len)
{
int i;

for (i = len/2 - 1; i >= 0; i--)
{
ajustDown(minheap, i, len);
}
}

void minHeapSort(MIN_HEAP *minheap, int len)
{
int i;
MIN_HEAP tmpnode;

makeMinHeap(minheap, len);
for (i = len - 1; i >= 0; i--)
{
tmpnode = minheap[0];
minheap[0] = minheap[i];
minheap[i] = tmpnode;
ajustDown(minheap, 0, i);
}
}

void parse(void)
{
unsigned int i;
char line[256];
char filename[50];
fstream userlog;
fstream userlogfile[DIVIDENUM];
struct in_addr userip;
hash_map<int, int> hm;

MIN_HEAP top_k[10];
memset(top_k, 0, sizeof(top_k));

for (i = 0; i < DIVIDENUM; i++)
{
memset(filename, 0, sizeof(filename));
sprintf(filename, "./data/%s_%d.dat", "userlog", i);
userlogfile[i].open(filename, ios::in);

hm.clear();

while (!userlogfile[i].eof())
{
memset(line, 0, sizeof(line));
userlogfile[i].getline(line, 256);
inet_aton(line, &userip);
userip.s_addr = htonl(userip.s_addr);
if (userip.s_addr == 0x00)
{
continue;
}
hm[userip.s_addr] = hm[userip.s_addr] + 1;
}

if (hm.size() > 0)
{
printf("hm.size = %d\n", hm.size());
for(hash_map<int, int>::iterator itb = hm.begin(); itb != hm.end(); itb++)
{

if (itb->second > top_k[9].count)
{
top_k[9].userip.s_addr = itb->first;
top_k[9].count = itb->second;
minHeapSort(top_k, 10);
}
}
}

for (int j = 0; j < 10; j++)
{
printf("%s %d\n", inet_ntoa(top_k[j].userip), top_k[j].count);
}
}

for (i = 0; i < DIVIDENUM; i++)
{
userlogfile[i].close();
}
}

int main(int argc, char *argv[])
{
/* 生成樣本資料*/
//generatelogfile();

/* 分治*/
//dividelogfile();

/* 統計*/
parse();

return 0;
}

1、(topK問題)海量日誌資料，提取出某日訪問百度次數最多的10個IP。

1、(topK問題)海量日誌資料，提取出某日訪問百度次數最多的10個IP。

海量日誌資料，找出出現次數最多的IP地址。

【hadoop】1、MapReduce進行日誌分析，並排序統計結果

JAVA找出List集合中重複次數最多的資料和次數

給定一個字串，找出不含有重複字元的最長子串的長度。示例：給定 "abcabcbb" ，沒有重複字元的最長子串是 "abc" ，那麼長度就是3。給定 "bbbbb" ，最長的子串就是 "b

給定一個字串，找出不含有重複字元的最長子串的長度。

給定一個長度不限的字串，請找出該字串中出現次數最多的那個字元，並打印出該字元及出現次數(C/C++版)

LeetCode 第3題：給定一個字串，找出不含有重複字元的最長子串的長度。

Flume(NG)架構設計要點及配置實踐 Flume NG是一個分散式、可靠、可用的系統，它能夠將不同資料來源的海量日誌資料進行高效收集

haproxy 1.8版本沒有日誌輸出，參考1.7版本配置

收集、分析線上日誌資料實戰——ELK

1、CAN詳解--資料彙總

海量日誌資料__怎麼在海量資料中找出重複次數最多的一個

2.6使用二維陣列儲存學生的資料，包括學號、姓名、作業系統成績、Java成績、高數成績、總分；一行儲存一個學生的資料；要求輸入若干學生的資料，求出總分；然後按照總分由高到低重新排列；輸出排序後的結果

經典面試問題: Top K 之 ---- 海量資料找出現次數最多或，不重複的。

python初學筆記 1、python的輸入輸出，基本運算，流程控制

14海量日誌提取出現次數最多的IP

linux分析apache日誌，如訪問次數最多的前10個IP、訪問超過100次的頁面

1、s32v234學習筆記--資料彙總

1、connect方法會阻塞，請問有什麼方法可以避免其長時間阻塞？答:最通常的方法最有效的是加定時器；也可以採用非阻塞模式。 2、網路中，如果客戶端突然掉線或者重啟，伺服器端怎麼樣才能立刻知道？答

1、(topK問題)海量日誌資料，提取出某日訪問百度次數最多的10個IP。

相關推薦