mmap函数详解与代码实操

2021-03-04 10:18:13 浏览数 (1)

icon1.jpg

mmap 函数是 unix/linux下的系统调用。

当存在客户－服务程序中复制文件时候，其数据流如下，要经历四次数据复制，开销很大。

image.png

果采用共享内存的方式，那么将大大优化IO操作，数据流变成了如下，数据只复制两次：

image.png

mmap 函数映射文件或设备到内存中，取消映射就是munmap函数。

C语言mmap()函数：建立内存映射

摘自：http://c.biancheng.net/cpp/html/138.html

  • 头文件：#include <unistd.h> #include <sys/mman.h>
  • 定义函数：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offsize);
  • 函数说明：mmap()用来将某个文件内容映射到内存中，对该内存区域的存取即是直接对该文件内容的读写。

参数说明：

参数

说明

start

指向欲对应的内存起始地址，通常设为NULL，代表让系统自动选定地址，对应成功后该地址会返回。

length

代表将文件中多大的部分对应到内存。

prot

代表映射区域的保护方式，有下列组合：PROT_EXEC 映射区域可被执行；PROT_READ 映射区域可被读取；PROT_WRITE 映射区域可被写入；PROT_NONE 映射区域不能存取。

flags

会影响映射区域的各种特性：MAP_FIXED 如果参数 start 所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此旗标。MAP_SHARED 对应射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。MAP_PRIVATE 对应射区域的写入操作会产生一个映射文件的复制，即私人的"写入时复制" (copy on write)对此区域作的任何修改都不会写回原来的文件内容。MAP_ANONYMOUS 建立匿名映射，此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。MAP_DENYWRITE 只允许对应射区域的写入操作，其他对文件直接写入的操作将会被拒绝。MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换(swap)。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。

fd

open()返回的文件描述词，代表欲映射到内存的文件。

offset

文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。

返回值：若映射成功则返回映射区的内存起始地址，否则返回MAP_FAILED(-1)，错误原因存于errno 中。

错误代码：

  • EBADF 参数fd 不是有效的文件描述词。
  • EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读，使用MAP_SHARED 则要有 PROT_WRITE 以及该文件要能写入。
  • EINVAL 参数start、length 或offset 有一个不合法。
  • EAGAIN 文件被锁住，或是有太多内存被锁住。
  • ENOMEM 内存不足。

C语言munmap()函数：解除内存映射

摘自：http://c.biancheng.net/cpp/html/139.html

  • 头文件：#include <unistd.h> #include <sys/mman.h>
  • 定义函数：int munmap(void *start, size_t length);
  • 函数说明：munmap()用来取消参数start所指的映射内存起始地址，参数length则是欲取消的内存大小。
    • 当进程结束或利用exec相关函数来执行其他程序时，映射内存会自动解除，但关闭对应的文件描述词时不会解除映射。
  • 返回值：如果解除映射成功则返回0，否则返回－1。错误原因存于errno中错误代码EINVAL参数start或length不合法。

MacOC下实测

命令行生成固定大小文件

有时我们需要不同大小的测试文件 我们可以使用终端创建一些指定大小的文件

代码语言：javascript复制
mkfile -n size[b|k|m|g] 文件名

例如：创建一个1G的文件Demo.pdf

代码语言：javascript复制
mkfile -n 1g ~/Desktop/Demo.pdf

这个命令在Mac下是OK的。

共享映射

修改共享内存中的文件内容：

代码语言：javascript复制
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

int main (int argc, char **argv) 
{
    int fd, nread, i;
    struct stat sb;
    char *mapped;
    
    if ( argc <= 1 ) {
        printf("%s: Need file path! n",argv[0]);
        exit(-1);
    }

    /* 打开文件 */
    if ((fd = open (argv[1], O_RDWR)) < 0) {
        perror ("open");
    }

    /* 获取文件的属性 */
    if ((fstat (fd, &sb)) == -1) {
        perror ("fstat");
    }

    /* 将文件映射至进程的地址空间 */

    if ((mapped = (char *) mmap (NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0)) == (void *) -1) {
        perror ("mmap");
    }

    /* 映射完后, 关闭文件也可以操纵内存 */
    close (fd);

    printf ("%s", mapped);
  
    /* 修改一个字符,同步到磁盘文件 */
    mapped[0] = '0';

    if ((msync ((void *) mapped, sb.st_size, MS_SYNC)) == -1) {
        perror ("msync");
    }

    /* 释放存储映射区 */
    if ((munmap ((void *) mapped, sb.st_size)) == -1) {
        perror ("munmap");
    }
  
    return 0;
 }
  • 编译： $ gcc -c lianxi1.c
  • 链接: $ gcc -o out1 lianxi1.o 执行, 参数为一个文件全路径。例如在/Desktop下创建一个hello1.txt,存入hello单词: $ ./out1 /Desktop/hello1.txt 执行完毕后发现文件中的第一个字母h变成了0。 程序将文件映射到了内存中，并将第一个字符进行了修改并同步到了磁盘文件中。

父子进程通信

使用fork创建进程，父子进程分别往共享内存中写入各自字符串，并读出。

代码语言：javascript复制
#include <sys/mman.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define BUF_SIZE 100

int main (int argc, char **argv) 
{
    char *p_map;

    /* 匿名映射,创建一块内存供父子进程通信 */
    p_map = (char *) mmap (NULL, BUF_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    if (fork () == 0) {
        sleep (1); //可以修改此处睡眠时间，看看不同的输出。
        printf ("child got a message: %sn", p_map);
        sprintf (p_map, "%s", "from u son");
        munmap (p_map, BUF_SIZE); //实际上，进程终止时，会自动解除映射。 
        exit (0);
    } 

    sprintf (p_map, "%s", "from u father");
    sleep (2); //可以修改此处睡眠时间，看看不同的输出。
    printf ("parent got a message: %sn", p_map);

    return 0;
}
  • 编译： $ gcc -c lianxi2.c
  • 链接: $ gcc -o out2 lianxi2.o
  • 执行: $ ./out2 这段代码，根据父子进程的sleep时间长短不同，输出会有不同。
代码语言：javascript复制
child got a message: from u father
parent got a message: from u son

内存访问溢出

linux采用的是页式管理机制，使用mmap()映射普通文件后，进程会在自己的地址空间新增一块空间，空间大小由mmap()的len参数指定。但是，进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。决定进程能访问的大小是容纳文件被映射部分的最小页面数。如下图。

image.png

代码语言：javascript复制
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h> 

int main (int argc, char **argv)
{
    int fd;
    int pagesize, offset;
    int len, size;
    char *p_map;
    struct stat sb;

    /* 取得page size */
    pagesize = sysconf (_SC_PAGESIZE);
    printf ("pagesize is %dn", pagesize);

    /* 打开文件 */
    fd = open (argv[1], O_RDWR, 00777);
    fstat (fd, &sb);

    len = pagesize * 2;
    size = sb.st_size;
    printf("映射内存长度: %d; 文件大小: %dn", len, size);
    offset = 0;
    //映射两页内存
    p_map = (char *) mmap (NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED, fd, offset);
    close (fd);

    printf("开始测试n");
    printf("访问超过映射大小内存地址n");
    //p_map[len] = '9';      /* 导致段错误 */
    if(size < pagesize) {  //文件大小小于一页大小
        printf("文件大小小于一页大小n");
        printf("访问文件大小内存地址n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址n");
        p_map[len - 1] = '9'; /* 导致总线错误 */
    } else if(size > pagesize) { //文件大小大于一页大小
        printf("文件大小大于一页大小n");
        printf("访问文件大小内存地址n");
        p_map[size] = '9';    /* 正常访问 */
        printf("访问一页大小内存地址n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址n");
        p_map[pagesize] = '9'; /* 正常访问 */
        printf("访问映射大小内存地址n");
        p_map[len - 1] = '9'; /*  正常访问 */
    } else { //文件大小等于一页大小
        printf("文件大小等于一页大小n");
        printf("访问文件大小内存地址n");
        p_map[size] = '9';    /* 导致总线错误 */
        printf("访问一页大小内存地址n");
        p_map[pagesize - 1] = '9'; /* 正常访问 */
        printf("访问超过一页大小内存地址n");
        p_map[pagesize] = '9'; /* 导致总线错误 */
        printf("访问映射大小内存地址n");
        p_map[len - 1] = '9'; /*  导致总线错误 */
    }

    munmap (p_map, len);

    return 0;
}
  • 编译： $ gcc -c lianxi3.c
  • 链接: $ gcc -o out3 lianxi3.o
  • 执行, 参数为一个文件全路径。例如在/Desktop下创建三个文件。
    • 分别对应文件大小大于一页内存大小的dayu.txt；
    • 文件大小小于一页内存大小的xiaoyu.txt,；
    • 文件大小等于一页内存大小的dengyu.txt:

./out3 dayu.txt ./out3 xiaoyu.txt

参考文章：https://segmentfault.com/a/1190000014616732

编程算法 gcc node.js .net

0 人点赞