import time

from multiprocessing import Process, JoinableQueue, cpu_count

import csv

####处理一条数据的方法

def deal_line(line, writer, csv_file):

writer.writerow((line[3], line[1]))

csv_file.flush()#重点,在多进程中写文件需要尽快刷新,否则可能会导致数据丢失

####消费者模型

def consumer(queue, writer, csv_file):

while True:

line = queue.get()

deal_line(line, writer, csv_file)

queue.task_done()

####生产者模型

def producer(queue):

with open('test.txt', 'r') as f:

for line in f:

queue.put(line)

####启动N个生产者N个消费者模型

def main():

with open('t1.csv', 'w+') as csv_file:

writer = csv.writer(csv_file)

queue = JoinableQueue(8)#可限制队列长度

pc = Process(target=producer, args=(queue,))

pc.start()

#多消费者

for _ in range(cpu_count()):

c1 = Process(target=consumer, args=(queue, writer, csv_file))

c1.daemon = True

c1.start()

pc.join()#等待生产者进程全部生成完毕

queue.join()# 等待所有数据全部处理完毕

# 当某些些进程是死循环时可强制终止

# pc.terminate()

if __name__ == '__main__':

now = lambda: time.time()

start = now()

main()

print("Time:", now() - start)

Python 3 读写文件的简单方法！

Python 3 读写文件的简单方法! a = open('test.txt','w') 这行代码创建了一个名为test的文本文档,模式是写入(模式分为三种,w代表写入,r代表阅读,a代表在尾行添加) ...

笨方法学python之读写文件、open函数的用法

一.python读写文件相关知识点 close:关闭文件 read:读取文件的内容//你可以把结果赋给一个变量 readline:只读取文件中的一行 truncate 美 /trʌŋ'ket/ :清空 ...

python查找读写文件

import os ''' 跟据文件名称,后缀查找指定文件 path:传入的路径 filename:要查找的文件名 suffix:要查找的文件后缀 return :返回查找的文件路径 ''' file ...

python之读写文件

1. 读取文件数据,文件必须存在才可以读且如要读取的文件不和当前.py在同一个包下,需要特别指定此文件路径才行 f=open('test.txt',encoding='utf-8')#填写文件路径,打 ...

Python 多进程拷贝文件夹案例

import os import multiprocessing def copy_file(q, file_name, old_folder_name, new_folder_name): &quo ...

【python】 读写文件

#标准输出 sys.stdout.write() sys.stderr.write() #标准输入 while True : try: line = raw_input().rstrip(); exc ...

python 二进制读写文件

#-*- coding: utf-8 -*- f = open('f:/text.bmp','rb') filedata = f.read() filesize = f.tell() f.close( ...

python二进制读写文件

#coding=gbk ''' Created on 2014-5-7 ''' import os.path inputPath = './input.txt' outPath = './out.tx ...

从用python自动生成.h的头文件集合和类声明集合到用python读写文件

最近在用python自动生成c++的类.因为这些类会根据需求不同产生不同的类,所以需要用python自动生成.由于会产生大量的类,而且这些类是变化的.所以如果是在某个.h中要用include来加载这些 ...

随机推荐

linux下系统编程C环境搭建

一.系统安装 我使用的是VMware8下的ubuntu12.04,这是培训老师说的,12.04相对来说,比较新,而且是5年长期支持版,不容易过时.对于系统的安装,我不想说很多,只是希望大家主义这几点: ...

hivepython 同时读入python 且python脚本中处理外部文件txt

找出表test_gid2中每个gid的安装列表中含有文件pkgs中的pkg名字的数据行. pkgs文件要与python脚本放在一个路径下. 用 transform 的传入数据的时候,不管原文件分隔 ...

VS 2003 无法打开Web项目 文件路径与URL不符 这两者需要映射到相同的服务器位置

解决方法: 将C:\Documents   and   Settings\Administrator\VSWebCache下面的文件全部删除

.NET c# 串口通信

这段时间做了一个和硬件设备通信的小项目,涉及到扫描头.输送线.称重机.贴标机等硬件.和各设备之间通信使用的是串口或网络(Socket)的方式.扫描头和贴标机使用的网络通信,输送线和称重机使用的是串口通 ...

设置TabBar分栏控制器上图片的大小问题

我们都知道,iOS因为屏幕分辨率的问题,UID在交付我们iOS开发人员程序配图的时候,一般是三套图,分别对应三种不同的分辨率,对不同size的屏幕系统会自动使用不同像素的图片,我们只需要在命名时给三套 ...

201521123032 《Java程序设计》第11周学习总结

1. 本周学习总结 1.1 以你喜欢的方式(思维导图或其他)归纳总结多线程相关内容. 2. 书面作业 本次PTA作业题集多线程 1.互斥访问与同步访问 完成题集4-4(互斥访问)与4-5(同步访问) ...

在鼠标右键上加入使用notepad++编辑【转】

我们在安装完notepad++文本编辑器之后,在一个文本文件上右键有时候并没有出现“使用notepad++编辑的选项”,我们可以通过简单地修改注册表文件来增加这样的功能: 1.  首先打开注册表,wi ...

keepalived+mysql主从环境，keepalived返回值是RST，需求解决方法？

环境描述: mysql版本5.6.37    keepalived-1.2.19    系统centos 7:3.10.0-514.26.2.el7    web是:windows  server 2 ...

js循环json得到 键和值

var jsondata=[{"男":4,"女":3,"不详":0},{"男one":23,"女two&quo ...

RAC安装重新运行root.sh

rac1执行root.sh成功,rac2执行失败. 在重新执行root.sh前,在rac2上把crs等配置信息删除: # /u01/app//grid/crs/install/rootcrs.pl - ...

对于多进程写文件，主要有以下两种处理方式：

1.类似于Linux日志文件服务

启动一个logger进程，其他进程向logger发消息，即把数据发送给logger，由logger来写文件，这种方法最安全，但是实现上相对复杂

2.采用文件锁

对当前读写文件进行加锁处理，简单说下两种加锁方式：

flock()：文件级别的锁，针对整个文件进行加锁

fcntl()函数：段级别的锁，能够针对文件的某个部分进行加锁

另外，对于读写相对不很频繁，每次写入数据量比较小的这种情况，不加锁也可以接受，但打开文件操作时，必须启用O_APPEND选项，以免造成多个进程相互覆盖写入的情况。

在O_APPEND模式下，文件写入操作是这样的一个原子操作：将位置指针移动至文件末尾，写入数据。

之前对于文件的操作通常在一个进程中完成，最近需要在两个进程中对同一个文件进行操作。故想到了文件锁。

linux下可以使用flock()函数对文件进行加锁解锁等操作。简单介绍下flock()函数：

表头文件  #include

定义函数  int flock(int fd,int operation);

函数说明  flock()会依参数operation所指定的方式对参数fd所指的文件做各种锁定或解除锁定的动作。此函数只能锁定整个文件，无法锁定文件的某一区域。

参数  operation有下列四种情况:

LOCK_SH 建立共享锁定。多个进程可同时对同一个文件作共享锁定。

LOCK_EX 建立互斥锁定。一个文件同时只有一个互斥锁定。

LOCK_UN 解除文件锁定状态。

LOCK_NB 无法建立锁定时，此操作可不被阻断，马上返回进程。通常与LOCK_SH或LOCK_EX 做OR(|)组合。

单一文件无法同时建立共享锁定和互斥锁定，而当使用dup()或fork()时文件描述词不会继承此种锁定。

返回值  返回0表示成功，若有错误则返回-1，错误代码存于errno。

为了更好的移植性，对于文件的打开与关闭我选择了fopen和fclose的组合，但flock的第一个参数要求的是int类型的文件描述符。这里对fopen返回的FILE类型的文件指针进行转换，转换为int型的文件描述符 (假设open函数返回的文件描述符为fd，而fopen返回的文件指针为*fp，则fd等价于fp->_fileno).

下面为两个进程的实例：

#include

#include

#include

#include

int main(void)

{

FILE *fp = NULL;

int i = 20;

if ((fp = fopen("./file_lock.test", "r+b")) == NULL) //打开文件

printf("file open error!\n");

if (flock(fp->_fileno, LOCK_EX) != 0) //给该文件加锁

printf("file lock by others\n");

while(1) //进入循环,加锁时间为20秒,打印倒计时

{

printf("%d\n", i--);

sleep(1);

if (i == 0)

break;

}

fclose(fp); //20秒后退出,关闭文件

flock(fp->_fileno, LOCK_UN); //文件解锁

return 0;

}

#include

#include

#include

#include

int main(void)

{

FILE *fp = NULL;

int i = 0;

if ((fp = fopen("./file_lock.test", "r+b")) == NULL) //打开文件

printf("file open error!\n");

flock(fp->_fileno, LOCK_EX); //文件加锁

while(1) //进入循环

{

printf("%d\n", i++);

sleep(1);

}

fclose(fp); //关闭文件

flock(fp->_fileno, LOCK_UN); //释放文件锁

return 0;

}

首先运行file1.c,紧接着运行file2.c(运行file1.c后20秒内要运行file2.c否则看不到现象)

现象是:file1.c执行起来以后，开始倒计时。此时运行file2.c会阻塞在加锁处。当file1.c运行20秒后关闭文件，并释放文件锁后，file2.c会开始运行。