Python实现的大数据分析操作系统日志功能示例

Python实现的大数据分析操作系统日志功能示例实现的大数据分析操作系统日志功能示例

主要介绍了Python实现的大数据分析操作系统日志功能,涉及Python大文件切分、读取、多线程操作等相关使用

技巧,需要的朋友可以参考下

本文实例讲述了Python实现的大数据分析操作系统日志功能。分享给大家供大家参考，具体如下：

一一 代码代码

1、大文件切分

import os

import os.path

os.mkdir(targetFolder)

tempData = []

number = 1000

fileNum = 1

linesRead = 0

with open(sourceFile, 'r') as srcFile:

dataLine = srcFile.readline().strip()

while dataLine:

for i in range(number):

tempData.append(dataLine)

tempData = []

fileNum = fileNum + 1

if __name__ == '__main__':

#sourceFile = input('Input the source file to split:')

#targetFolder = input('Input the target folder you want to place the split files:')

sourceFile = 'test.txt'

targetFolder = 'test'

FileSplit(sourceFile, targetFolder)

2、Mapper代码

import os

return

pattern = re.compile(r'[0-9]{1,2}/[0-9]{1,2}/[0-9]{4}')

result = {}

with open(sourceFile, 'r') as srcFile:

for dataLine in srcFile:

r = pattern.findall(dataLine)

if r:

t = result.get(r[0], 0)

t += 1

result[r[0]] = t

files = os.listdir(desFolder)

#如果不使用多线程，可以直接这样写

'''for f in files:

Map(desFolder + '\' + f)'''

#使用多线程

def Main(i):

Map(desFolder + '\' + files[i])

fileNumber = len(files)