Linux系统多进程多路复用唤醒冲突如何解决

多路复用技术是把多个低信道组合成一个高速信道的技术,它可以有效的提高数据链路的利用率,从而使得一条高速的主干链路同时为多条低速的接入链路提供服务.

Linux 对于 accept(2) 的惊群(thundering herd)问题,早已解决,目前许多人也把这种现象称为新的惊群:用多路复用模型时,不同的进程监控的文件描述符集合的交集不为空,等这个交集的某个文件IO事件触发后,内核将的多个监控了这个io且阻塞在 select(2),poll(2) 或 epoll_wait(2) 的进程唤醒,但严格来说,这种现象不叫惊群(thundering herd),而是冲突(collision).对于内核来说,唤醒所有监控这一IO事件的进程是合理的,这是因为:select/poll/epoll 不同与 accept,它们监控的文件描述符是可以被多个进程同时处理的,比如一个进程只读取这个文件句柄一小部分数据,另一进程读剩余部分,而 accept 处理的套接字是互斥的,一个套接字不能被两个进程 accept.

我注意到,对这种 select/poll/epoll 冲突的理解存在许多误区,比如有人都用如下类似的代码模拟select冲突(网上搜 select 惊群或 epoll 惊群有真相):

1. #include <stdio.h> 
2. #include <unistd.h> 
3. #include <fcntl.h> 
4. #include <stdlib.h> 
5. #include <strings.h> 
6. #include <arpa/inet.h> 
7.  
8. void worker_hander(int listenfd) 
9. { 
10.     fd_set rset; 
11.     int connfd, ret; 
12.  
13.     printf("worker pid#%d is waiting for connection...n", getpid()); 
14.     for (;;) { 
15.         FD_ZERO(&rset); 
16.         FD_SET(listenfd,&rset); 
17.         ret = select(listenfd+1,&rset,NULL,NULL,NULL); 
18.         if(ret < 0) 
19.             perror("select"); 
20.         else if(ret > 0 && FD_ISSET(listenfd, &rset)) { 
21.             printf("worker pid#%d 's listenfd is readablen", 
22.                     getpid()); 
23.             connfd = accept(listenfd, NULL, 0); 
24.             if(connfd < 0) { 
25.                 perror("accept error"); 
26.                 continue; 
27.             } 
28.             printf("worker pid#%d create a new connection...n", 
29.                     getpid()); 
30.             sleep(1); 
31.             close(connfd); 
32.         } 
33.     } 
34. } 
35.  
36. static int fd_set_noblock(int fd) 
37. { 
38.     int flags; 
39.  
40.     flags = fcntl(fd, F_GETFL); 
41.     if (flags == -1) 
42.         return -1; 
43.     flags |= O_NONBLOCK; 
44.     flags = fcntl(fd, F_SETFL, flags); 
45.     return flags; 
46. } 
47.  
48. int main(int argc,char*argv[]) 
49. { 
50.     int listenfd; 
51.     struct sockaddr_in servaddr; 
52.     int sock_opt = 1; 
53.  
54.     listenfd = socket(AF_INET,SOCK_STREAM,0); 
55.     if (listenfd < 0) { 
56.         perror("socket"); 
57.         exit(1); 
58.     } 
59.     fd_set_noblock(listenfd); 
60.     if ((setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, (void *)&sock_opt, 
61.             sizeof(sock_opt))) < 0) { 
62.         perror("setsockopt"); 
63.         exit(1); 
64.     } 
65.     bzero(&servaddr, sizeof servaddr); 
66.     servaddr.sin_family = AF_INET; 
67.     servaddr.sin_addr.s_addr = htonl(INADDR_ANY); 
68.     servaddr.sin_port = htons(1234); 
69.     bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)); 
70.     listen(listenfd, 10); 
71.     //Vevb.com 
72.     pid_t pid; 
73.     pid = fork(); 
74.     if (pid < 0) { 
75.         perror("fork"); 
76.         exit(1); 
77.     } else if (pid == 0) 
78.         worker_hander(listenfd); 
79.     worker_hander(listenfd); 
80.     return 0; 
81. } 

编译后用先运行以上的服务端,客户端可以用 netcat 模拟连接:nc 127.0.0.1 1234

以上代码是两个进程同时监控同一个文件描述符,返回的结果基本是只有一个select返回,于是试验人认为"并不是将所有工作进程全部唤醒,而只是唤醒了一部分".

这个错误的认识在于没有理解唤醒的含义,并不是要从 select(2) 返回才叫唤醒.

一个进程在等待的io事件发生之前,内核会为这个进程描述符的state字段设置 TASK_INTERRUPTIBLE 状态,此时进程描述符位于等待队列中,一旦等待的事件发生后,进程就会被唤醒,进程描述符就会被移到运行队列中,发生进程切换时,内核进程调度器会根据调度策略从运行队列选择一个进程执行.

因此,上述程序实际上唤醒了所有的两个进程,只不过先被调度的那个进程 select(2) 返回后,如果执行到accept(2) 也没有发生进程切换,把IO事件处理掉了,而等到后调度的那个进程执行时,select(2) 里面已经没有这个IO事件了,内核检测这个进程没有监控的事件发生,会把这个进程继续放到等待队列里面去,select(2) 并没有返回,这种情况的概率是非常大的,另一种概率很小的情况是:先被调度的进程执行到 accept(2) 就发生了进程切换,而在下一次运行前,调度器启动了后一个进程,这样的话,后一个进程也将会从select(2)返回.

后一种情况很不容易发生,在 accetp(2) 之前插入 usleep(3) 或 sleep(3) 就可以提高发生的概率了.

内核唤醒进程又不能让这个进程执行,再次把它移动到等待队列,造成了一定的开销浪费,nginx 是这样处理的:用一个管理进程管理多个工作进程的多路复用,工作进程在epoll_wait(2)前向管理进程申请锁,确保同一时刻,多个进程在epoll监听的文件描述符集合的交集为空.