Swoole 源码分析——内存模块之共享内存

前言

我们知道，由于 PHP 没有多线程模型，所以 swoole 更多的使用多进程模型，因此代码相对来说更加简洁，减少了各种线程锁的阻塞与同步，但是也带来了新的问题：数据同步。相比多线程之前可以直接共享进程的内存，进程之间数据的相互同步依赖于共享内存。本文将会讲解 swoole 中共享内存的源码。

前置知识：

• mmap 函数的使用: APUE 学习笔记——高级 IO
• 共享内存： APUE 学习笔记——进程间通信

共享内存数据结构

typedef struct _swShareMemory_mmap
{
    size_t size;
    char mapfile[SW_SHM_MMAP_FILE_LEN];
    int tmpfd;
    int key;
    int shmid;
    void *mem;
} swShareMemory;

• 注意 mem 是一个 void 类型的指针，用于存放共享内存的首地址。这个成员变量相当于面向对象中的 this 指针，通过它就可以访问到 swShareMemory 的各个成员。
• size 代表共享内存的大小(不包括 swShareMemory 结构体大小)， mapfile[] 代表共享内存使用的内存映射文件的文件名， tmpfd 为内存映射文件的描述符。key 代表使用 System V 的 shm 系列函数创建的共享内存的 key 值， shmid 为 shm 系列函数创建的共享内存的 id（类似于fd），这两个由于不是 POSIX 标准定义的 api，用途有限。

共享内存的申请与创建

swoole 在申请共享内存时常常调用的函数是 sw_shm_malloc，这个函数可以为进程匿名申请一大块连续的共享内存：

void* sw_shm_malloc(size_t size)
{
    swShareMemory object;
    void *mem;
    size += sizeof(swShareMemory);
    mem = swShareMemory_mmap_create(&object, size, NULL);
    if (mem == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(mem, &object, sizeof(swShareMemory));
        return mem + sizeof(swShareMemory);
    }
}

• 从 sw_shm_malloc 函数可以看出，虽然我们申请的是 size，但是实际申请的内存是要略大的，因为还要加上 swShareMemory 这个结构体。当函数返回时，也不会直接返回申请的内存首地址，而是复制了 object 各个成员变量的值后，在申请的首地址上加上 swShareMemory 的大小。

void *swShareMemory_mmap_create(swShareMemory *object, size_t size, char *mapfile)
{
    void *mem;
    int tmpfd = -1;
    int flag = MAP_SHARED;
    bzero(object, sizeof(swShareMemory));

#ifdef MAP_ANONYMOUS
    flag |= MAP_ANONYMOUS;
#else
    if (mapfile == NULL)
    {
        mapfile = "/dev/zero";
    }
    if ((tmpfd = open(mapfile, O_RDWR)) < 0)
    {
        return NULL;
    }
    strncpy(object->mapfile, mapfile, SW_SHM_MMAP_FILE_LEN);
    object->tmpfd = tmpfd;
#endif

#if defined(SW_USE_HUGEPAGE) && defined(MAP_HUGETLB)
    if (size > 2 * 1024 * 1024)
    {
        flag |= MAP_HUGETLB;
    }
#endif

    mem = mmap(NULL, size, PROT_READ | PROT_WRITE, flag, tmpfd, 0);
#ifdef MAP_FAILED
    if (mem == MAP_FAILED)
#else
    if (!mem)
#endif
    {
        swWarn("mmap(%ld) failed. Error: %s[%d]", size, strerror(errno), errno);
        return NULL;
    }
    else
    {
        object->size = size;
        object->mem = mem;
        return mem;
    }
}

• 由于 swoole 的各个进程都是由 master 进程所建立，也就是各个进程之间存在亲戚关系， 因此swShareMemory_mmap_create 函数直接以 匿名映射 、（/dev/zero 设备） 的方式利用 mmap 建立共享内存，并没有 open 具体的共享内存文件，或者调用 shm_open 打开 POSIX IPC 名字。
• 值得注意的是 MAP_HUGETLB，这个是 linux 内核 2.6.32 引入的一个 flags，用于使用大页面分配共享内存。大页是相对传统 4K 小页而言的，一般来说常见的体系架构都会提供2种大页大小，比如常见的 2M 大页和 1G 大页。使用大页可以减少页表项数量，从而减少 TLB Miss 的概率，提升系统访存性能。当然有利必有弊，使用大页降低了内存管理的粒度和灵活性，如果程序并不是对内存的使用量特别大，使用大页还可能造成内存的浪费。

共享内存的 calloc

calloc 与 malloc 大同小异，无非多了一个 num 参数

void* sw_shm_calloc(size_t num, size_t _size)
{
    swShareMemory object;
    void *mem;
    void *ret_mem;
    int size = sizeof(swShareMemory) + (num * _size);
    mem = swShareMemory_mmap_create(&object, size, NULL);
    if (mem == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(mem, &object, sizeof(swShareMemory));
        ret_mem = mem + sizeof(swShareMemory);
        bzero(ret_mem, size - sizeof(swShareMemory));
        return ret_mem;
    }
}

共享内存的 realloc

realloc 函数用于修改已申请的内存大小，逻辑非常简单，先申请新的内存，进行复制后，再释放旧的内存：

void* sw_shm_realloc(void *ptr, size_t new_size)
{
    swShareMemory *object = ptr - sizeof(swShareMemory);
    void *new_ptr;
    new_ptr = sw_shm_malloc(new_size);
    if (new_ptr == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(new_ptr, ptr, object->size);
        sw_shm_free(ptr);
        return new_ptr;
    }
}

修改共享内存的权限

在内存映射完成后，由标记读、写、执行权限的 PROT_READ、PROT_WRITE 和 PROT_EXEC 等权限仍可以被 mprotect 系统调用所修改。

int sw_shm_protect(void *addr, int flags)
{
    swShareMemory *object = (swShareMemory *) (addr - sizeof(swShareMemory));
    return mprotect(object, object->size, flags);
}

共享内存的释放

void sw_shm_free(void *ptr)
{
    swShareMemory *object = ptr - sizeof(swShareMemory);
    swShareMemory_mmap_free(object);
}

int swShareMemory_mmap_free(swShareMemory *object)
{
    return munmap(object->mem, object->size);
}