万字总结IO多路复用技术
IO 多路复用概述
I/O 多路复用技术是为了解决进程或线程阻塞到某个 I/O 系统调用而出现的技术,使进程不阻塞于某个特定的 I/O 系统调用。
在IO多路复用技术描述前,先讲解下同步,异步,阻塞,非阻塞的概念。 网络IO模型
linux网络IO中涉及到的模型如下:
(1)阻塞式IO
(2)非阻塞式IO
(3)IO多路复用
(4)信号驱动IO
(5)异步IO
今天不谈信号驱动IO,略过.. 同步/异步
在学习IO模型的时候,我们必须明确一个概念,处理 IO 的时候,阻塞和非阻塞都是同步的的 IO。
只有使用了特殊的 API 才是异步 IO,例如Linux网络中的AIO。
再看下POSIX对同步和异步这两个术语的定义: 同步IO操作:导致请求进程阻塞,直到I/O操作完成; 异步IO操作:不导致请求进程阻塞;
通俗的理解就是同步和异步 同步:当执行系统调用read时,需要用户等待内核完成从内核缓冲区到用户缓冲区的数据拷贝。 异步:当执行异步IO操作例如aio_read时,用户不需要等待,只需要接收内核完成操作的通知,由内核来完成数据的读取。 阻塞/非阻塞
在知晓阻塞和非阻塞都是同步 IO后,阻塞和非阻塞就很好理解了
阻塞IO:由系统调用read,导致线程一直等待数据返回。
非阻塞IO:系统调用read后立即返回一个状态,当数据达到内核缓冲区之前都是非阻塞的,即返回一个系统调用状态。
ps:闪客的动图做得非常的形象,上述gif动图来源「低并发编程」 IO多路复用
IO多路复用是一种同步IO模型,实现一个线程可以监视多个文件句柄; select
select 是操作系统提供的系统调用函数,select()用来等待文件描述词(普通文件、终端、伪终端、管道、FIFO、套接字及其他类型的字符型)状态的改变。是一个轮循函数,循环询问文件节点,可设置超时时间,超时时间到了就跳过代码继续往下执行。
通过select,我们可以把一个文件描述符的数组发给操作系统, 让操作系统去遍历,确定哪个文件描述符可以读写, 然后告诉我们去处理:
头文件 #include #include #include #include select调用
拥塞函数,拥塞等待文件描述符事件的到来 int select(int maxfdp , fd_set *readset , fd_set *writeset , fd_set *exceptset ,struct timeval *timeout);
参数说明:
maxfdp:被监听的文件描述符的最大值,它比所有文件描述符集合中的文件描述符的最大值大1,因为文件描述符是从0开始计数的;
readfds、writefds、exceptset:分别指向可读、可写和异常等事件对应的描述符集合。
timeout:用于设置select函数的超时时间,即告诉内核select等待多长时间之后就放弃等待。timeout == NULL 表示等待无限长的时间,timeout == 0,select立即返回 timeval结构体struct timeval { long tv_sec; /*秒 */ long tv_usec; /*微秒 */ }; select置位int FD_ZERO(int fd, fd_set *fdset); //一个 fd_set类型变量的所有位都设为 0 int FD_CLR(int fd, fd_set *fdset); //清除某个位时可以使用 int FD_SET(int fd, fd_set *fd_set); //设置变量的某个位置位 int FD_ISSET(int fd, fd_set *fdset); //测试某个位是否被置位
当声明了一个文件描述符集后,必须用FD_ZERO将所有位置零
调用 select函数,拥塞等待文件描述符事件的到来 ;如果超过设定的时间,则不再等待,而是继续往下执行
select返回后,用FD_ISSET测试给定位是否置位: if(FD_ISSET(fd, &rset) { ... //do something } fd_set结构体
fd_set其实这是一个数组的宏定义,实际上是一long类型的数组,每一个数组元素都能与一打开的文件句柄(socket、文件、管道、设备等)建立联系,建立联系的工作由程序员完成,当调用select()时,由内核根据IO状态修改fd_set的内容,由此来通知执行了select()的进程哪个句柄可读。 select使用
整个 select 流程图如下:
Demo1:select示例 Server#include #include #include #include #include #include #include #include #include #include #include #include #define MAXBUF 1024 #define LISTEN_NUM 2 int main(int argc, char **argv) { int default_port = 8000; int optch = 0; while ((optch = getopt(argc, argv, "s:p:")) != -1) { switch (optch) { case "p": default_port = atoi(optarg); printf("port: %s ", optarg); break; case "?": printf("Unknown option: %c ", (char)optopt); break; default: break; } } int sockfd, new_fd; socklen_t len; struct sockaddr_in my_addr, their_addr; char buf[MAXBUF + 1]; fd_set rfds; // select struct timeval tv; //超时时间 int retval, maxfd = -1; // select返回值 select监听句柄的最大数量 if ((sockfd = socket(PF_INET, SOCK_STREAM, 0)) == -1) { perror("socket"); exit(EXIT_FAILURE); } bzero(&my_addr, sizeof(my_addr)); my_addr.sin_family = PF_INET; my_addr.sin_port = htons(default_port); my_addr.sin_addr.s_addr = INADDR_ANY; if (bind(sockfd, (struct sockaddr *)&my_addr, sizeof(struct sockaddr)) == -1) { perror("bind"); exit(EXIT_FAILURE); } if (listen(sockfd, LISTEN_NUM) == -1) { perror("listen"); exit(EXIT_FAILURE); } /* 数据处理 */ while (1) { printf(" ----wait for new connect port:%d ",default_port); len = sizeof(struct sockaddr); if ((new_fd = accept(sockfd, (struct sockaddr *)&their_addr, &len)) == -1) { perror("accept"); exit(errno); } else printf("server: got connection from %s, port %d, socket %d ", inet_ntoa(their_addr.sin_addr), ntohs(their_addr.sin_port), new_fd); while (1) { FD_ZERO(&rfds); FD_SET(0, &rfds); FD_SET(new_fd, &rfds); maxfd = new_fd; tv.tv_sec = 1; tv.tv_usec = 0; retval = select(maxfd + 1, &rfds, NULL, NULL, &tv); if (retval == -1) { perror("select"); exit(EXIT_FAILURE); } else if (retval == 0) { continue; } else { /*标准输入*/ if (FD_ISSET(0, &rfds)) { bzero(buf, MAXBUF + 1); fgets(buf, MAXBUF, stdin); if (!strncasecmp(buf, "quit", 4)) { printf("i will quit! "); break; } len = send(new_fd, buf, strlen(buf) - 1, 0); if (len > 0) printf("send successful,%d byte send.. ", len); else { printf("send failure!"); break; } } if (FD_ISSET(new_fd, &rfds)) { bzero(buf, MAXBUF + 1); len = recv(new_fd, buf, MAXBUF, 0); if (len > 0) printf("recv success :"%s", %d byte recv.. ", buf, len); else { if (len < 0) printf("recv failure "); else { printf("the client close ,quit "); break; } } } } } close(new_fd); printf("need othe connecdt (no->quit)"); fflush(stdout); bzero(buf, MAXBUF + 1); fgets(buf, MAXBUF, stdin); if (!strncasecmp(buf, "no", 2)) { printf("quit! "); break; } } close(sockfd); return 0; }
makefile: TARGET=server SRC = $(wildcard *.cpp *.c) OBJ = $(patsubst %.cpp *.c,%.o,$(SRC)) DEFS = CFLAGS = -g CC =g++ LIBS = -lpthread $(TARGET):$(OBJ) $(CC) $(CFLAGS) $(DEFS) -o $@ $^ $(LIBS) .PHONY: clean: rm -rf *.o $(TARGET) ubuntu@VM-16-5-ubuntu:~/learnbase/IO复用/select$ make g++ -g -o server select.c -lpthread ubuntu@VM-16-5-ubuntu:~/learnbase/IO复用/select$ ./server ----wait for new connect port:8000 client#include #include #include #include #include #include #include #include #include #include #include #define MAXBUF 1024 int main(int argc, char **argv) { int sockfd, len; struct sockaddr_in dest; char buffer[MAXBUF + 1]; fd_set rfds; struct timeval tv; int retval, maxfd = -1; int optch,ret = -1; const char*server_addr; int default_port = 8000; /*判断是否为合法输入 必须传入一个参数:服务器Ip*/ if(argc<3) { printf("usage:tcpcli "); return 0; } while((optch = getopt(argc, argv, "s:p:")) != -1) { switch (optch) { case "s": server_addr = optarg; break; case "p": default_port = atoi(optarg); printf("port: %s ", optarg); break; case "?": printf("Unknown option: %c ",(char)optopt); break; default: break; } } if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) < 0) { perror("Socket"); exit(EXIT_FAILURE); } bzero(&dest, sizeof(dest)); dest.sin_family = AF_INET; dest.sin_port = htons(default_port); if (inet_aton(server_addr, (struct in_addr *) &dest.sin_addr.s_addr) == 0) { perror(server_addr); exit(EXIT_FAILURE); } if (connect(sockfd, (struct sockaddr *) &dest, sizeof(dest)) != 0) { perror("Connect "); exit(EXIT_FAILURE); } printf(" get ready message chat: "); while (1) { FD_ZERO(&rfds); FD_SET(0, &rfds); FD_SET(sockfd, &rfds); maxfd = sockfd; tv.tv_sec = 1; tv.tv_usec = 0; retval = select(maxfd + 1, &rfds, NULL, NULL, &tv); if (retval == -1) { printf("select %s", strerror(errno)); break; } else if (retval == 0) continue; else { if (FD_ISSET(sockfd, &rfds)) { bzero(buffer, MAXBUF + 1); len = recv(sockfd, buffer, MAXBUF, 0); if (len > 0) printf ("recv message:"%s", %d byte recv.. ",buffer, len); else { if (len < 0) printf ("message recv failure "); else { printf("server close ,quit "); break; } } } if (FD_ISSET(0, &rfds)) { bzero(buffer, MAXBUF + 1); fgets(buffer, MAXBUF, stdin); if (!strncasecmp(buffer, "quit", 4)) { printf("i will quit "); break; } len = send(sockfd, buffer, strlen(buffer) - 1, 0); if (len < 0) { printf ("message send failure"); break; } else printf ("send success,%d byte send.. ",len); } } } close(sockfd); return 0; } TARGET=server SRC = $(wildcard *.cpp *.c) OBJ = $(patsubst %.cpp *.c,%.o,$(SRC)) DEFS = CFLAGS = -g CC =g++ LIBS = -lpthread $(TARGET):$(OBJ) $(CC) $(CFLAGS) $(DEFS) -o $@ $^ $(LIBS) .PHONY: clean: rm -rf *.o $(TARGET) ubuntu@VM-16-5-ubuntu:~/learnbase/IO复用/select/client$ make g++ -g -o client client.c -lpthread ubuntu@VM-16-5-ubuntu:~/learnbase/IO复用/select/client$ ./client -s 0.0.0.0 get ready message chat: 简易聊天室select版本server#include #include #include #include #include #include #include #include #include #define _BACKLOG_ 5 //监听队列里允许等待的最大值 #define MAX_CONNECT 20 int fds[MAX_CONNECT]; //用来存放需要处理的IO事件 int listen_sock = -1; int creat_sock(int port) { int sock = socket(AF_INET,SOCK_STREAM,0); if(sock < 0){ perror("creat_sock error"); exit(1); } struct sockaddr_in local; local.sin_family = AF_INET; local.sin_port = htons(port); local.sin_addr.s_addr = INADDR_ANY; //inet_addr(0.0.0.0) // 设置允许socket立即重用 setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, (const char*)&sock, sizeof(sock)); if( bind(sock,(struct sockaddr*)&local,sizeof(local)) < 0){ perror("bind"); exit(2); } if(listen(sock,_BACKLOG_) < 0 ){ perror("listen"); exit(4); } return sock; } int accept_sock(){ struct sockaddr_in client; socklen_t len = sizeof(client); int accept_sock = accept(listen_sock, (struct sockaddr *)&client, &len); if (accept_sock < 0) { perror("accept"); exit(5); } printf("connect by a client, ip:%s port:%d ", inet_ntoa(client.sin_addr), ntohs(client.sin_port)); size_t i = 0; for (; i < MAX_CONNECT; ++i) //将新接受的描述符存入集合中 { if (fds[i] == -1) { fds[i] = accept_sock; break; } } if (i == MAX_CONNECT) { printf("accept is upper limit.. "); close(accept_sock); } } int groupChat(int sockFd,void* pBuf,int iSize){ for(int index=0;index