go实现生产者消费者模型

2020-12-07 14:45:40 浏览数 (1)

这是一个单一生产者,多消费者的模型。该模型主要实现了任务调度和同步。 实际使用时需要修改的内容如下:

代码语言:javascript复制
type Task struct{}  //自己实际需要的数据结构
producer()  //实际生产数据逻辑
consumer()  //实际处理逻辑

main()中的consumerNum(消费者个数), channelLen(通道长度)也可根据实际需要修改

代码如下:

代码语言:javascript复制
package main

import (
	"fmt"
	"sync"
)

type Task struct {
	Data string
}

var wg sync.WaitGroup

//生产逻辑
func producer(tasks chan Task) {
	t := Task{}

	for i := 62; i < 72; i   {
		t.Data = string(i)
		tasks <- t
	}
}

func producerDispatch(tasks chan Task) {
	defer close(tasks)

	producer(tasks)
}

//消费数据处理逻辑
func consumer(task Task) {
	fmt.Printf("consum task:%vn", task)
}

func consumerDispatch(tasks chan Task) {
	defer wg.Done()

	for task := range tasks {
		consumer(task)
	}
}

func main() {
	//消费者个数
	var consumerNum = 10
	var channelLen = 50

	tasks := make(chan Task, channelLen)

	go producerDispatch(tasks)

	for i := 0; i < consumerNum; i   {
		wg.Add(1)
		go consumerDispatch(tasks)
	}

	wg.Wait()
	fmt.Println("all done")
}

说明:

  1. 生产者完成任务后调用close关闭通道
  2. 因为通道关闭,所以消费者在取完所有任务后,会退出取任务的for循环。
  3. 主线程main, 通过Wait()保证了在所有任务处理完后才退出。
  4. wg.Add必须放在main中。不然,有可能main执行完了,producerDispatch,consumerDispatch协程还没被调度到,这样就直接打印“all done”退出了。这也是在实际过程中踩的一个坑。

不足: 刚学习go, 没想到如何将其封成一个类似php的class的东西,方便使用。也许interface是条路? 有好思路的同学欢迎交流。

0 人点赞