Python 3.x 中如何使用multiprocessing模块进行进程间通信

Python 3.x 中如何使用multiprocessing模块进行进程间通信

随着计算机技术的发展，我们在编程中经常需要同时执行多个任务。为了更好地利用多核处理器，Python的multiprocessing模块提供了一套简单而强大的工具来创建并发程序。multiprocessing模块允许我们在Python中使用多个进程，这些进程可以同时执行并在需要时进行通信。本文将介绍如何使用multiprocessing模块进行进程间通信，并提供相应的代码示例。

1. 使用Queue进行进程间通信
   multiprocessing模块提供了一个Queue类，用于在进程之间传递数据。下面是一个使用Queue进行进程间通信的示例：

from multiprocessing import Process, Queue

def worker(q):
    # 从队列中获取数据并处理
    while True:
        data = q.get()
        if data is None:
            break
        # 处理数据
        print("Worker got:", data)

if __name__ == '__main__':
    # 创建一个队列
    q = Queue()

    # 创建多个进程
    processes = []
    for i in range(3):
        p = Process(target=worker, args=(q,))
        processes.append(p)
        p.start()

    # 往队列中放入数据
    for i in range(10):
        q.put(i)

    # 添加结束标记到队列中
    for i in range(3):
        q.put(None)

    # 等待进程结束
    for p in processes:
        p.join()

在上述代码中，我们创建了一个worker函数，它通过Queue从队列中获取数据并进行处理。然后我们创建了三个进程，每个进程都会执行worker函数。在主进程中，我们往队列中放入了一些数据，并添加了结束标记。最后，我们等待所有进程结束。

2. 使用Pipe进行进程间通信
   除了使用Queue，multiprocessing模块还提供了Pipe类，用于创建进程间的双向管道。下面是一个使用Pipe进行进程间通信的示例：

from multiprocessing import Process, Pipe

def worker(conn):
    # 接收数据并打印
    data = conn.recv()
    print("Worker got:", data)

    # 发送数据回主进程
    conn.send("Hello from worker")

    # 关闭连接
    conn.close()

if __name__ == '__main__':
    # 创建一个管道
    parent_conn, child_conn = Pipe()

    # 创建子进程
    p = Process(target=worker, args=(child_conn,))
    p.start()

    # 发送数据到子进程
    parent_conn.send("Hello from main process")

    # 接收子进程的返回数据
    data = parent_conn.recv()
    print("Main process got:", data)

    # 等待子进程结束
    p.join()

在上述代码中，我们创建了一个worker函数，它通过Pipe接收主进程发送的数据并打印。然后它发送一条消息回主进程。在主进程中，我们创建了一个管道，并把其中一个端口传递给子进程。然后我们发送一条消息到子进程，并接收子进程的返回数据。最后，我们等待子进程结束。

总结：
使用multiprocessing模块进行进程间通信非常简单，它提供了Queue和Pipe两个类来实现进程间的数据传输。Queue类用于单向通信，通过put和get方法在进程之间传递数据。Pipe类用于双向通信，通过send和recv方法在进程之间进行双向通信。无论是使用Queue还是Pipe，我们都可以很容易地在不同的进程之间传递数据，从而实现任务的并发执行和进程间的通信。