Linux内核-模块专用地址空间

代码语言：txt复制

Memory: 245540K/262144K available (3043K kernel code, 1665K rwdata, 1112K rodata, 176K init, 6356K bss, 16604K reserved, 0K cma-reserved)

代码语言：txt复制

Virtual kernel memory layout:

代码语言：txt复制

    vector  : 0xffff0000 - 0xffff1000   (   4 kB)

代码语言：txt复制

    fixmap  : 0xffc00000 - 0xfff00000   (3072 kB)

代码语言：txt复制

    vmalloc : 0xd0800000 - 0xff000000   ( 744 MB)

代码语言：txt复制

    lowmem  : 0xc0000000 - 0xd0000000   ( 256 MB)

代码语言：txt复制

    modules : 0xbe600000 - 0xc0000000   (  26 MB)   <<< 模块地址空间

代码语言：txt复制

      .text : 0xc0018000 - 0xc04272b0   (4157 kB)

代码语言：txt复制

      .init : 0xc0428000 - 0xc0454000   ( 176 kB)

代码语言：txt复制

      .data : 0xc0454000 - 0xc05f45c0   (1666 kB)

代码语言：txt复制

       .bss : 0xc05f45c0 - 0xc0c295ec   (6357 kB)

所需空间大小

模块在加载时，会调用module_alloc()来申请一块内存来存放模块的内容，需要的大小如下：

代码段(.text) 未初始化全局或静态变量(.bss) 已初始化全局或静态变量(.data)

关联源码

模块在加载时，内核会调用module_alloc()来申请足够的内存来存放模块内容。module_alloc有2处定义：

kernel/module.c: 定义一个弱符号module_alloc()，若arch下没有定义强符号，就使用它，实际基本没什么用

代码语言：txt复制

    void * __weak module_alloc(unsigned long size)

代码语言：txt复制

  return vmalloc_exec(size);

代码语言：txt复制

arch/arm/kernel/module.c: 基于CPU平台来定义module_alloc()，属于强符号

代码语言：txt复制

    #ifdef CONFIG_MMU

代码语言：txt复制

void *module_alloc(unsigned long size)

代码语言：txt复制

  return __vmalloc_node_range(size, 1, MODULES_VADDR, MODULES_END,

代码语言：txt复制

              GFP_KERNEL, PAGE_KERNEL_EXEC, 0, NUMA_NO_NODE,

代码语言：txt复制

              __builtin_return_address(0));

代码语言：txt复制

#endif

实际范围为MODULES_VADDR~MODULES_END

代码语言：txt复制

    #define MODULES_END       (PAGE_OFFSET)

代码语言：txt复制

#define MODULES_VADDR     (MODULES_END - 16*1048576)

对于arm平台，默认模块地址空间为16M，修改内核代码，可以扩大到28M

代码语言：txt复制

https://patchwork.kernel.org/project/linux-arm-kernel/patch/002001cf07a1$fd4bdc10$f7e39430$@lge.com/

代码语言：txt复制

diff --git a/arch/arm/Kconfig b/arch/arm/Kconfig index c1f1a7e..cf1fb55   100644

代码语言：txt复制

--- a/arch/arm/Kconfig

代码语言：txt复制

    b/arch/arm/Kconfig

代码语言：txt复制

@@ -2257,6  2257,10 @@  config ARM_CPU_SUSPEND

代码语言：txt复制

 endmenu

代码语言：txt复制

 config MODULES_AREA_SIZE

代码语言：txt复制

int

代码语言：txt复制

        default 0x1000000

代码语言：txt复制

 source "net/Kconfig"

代码语言：txt复制

 source "drivers/Kconfig"

代码语言：txt复制

diff --git a/arch/arm/include/asm/memory.h b/arch/arm/include/asm/memory.h

代码语言：txt复制

index 6976b03..3396758 100644

代码语言：txt复制

--- a/arch/arm/include/asm/memory.h

代码语言：txt复制

    b/arch/arm/include/asm/memory.h

代码语言：txt复制

@@ -32,13  32,17 @@

代码语言：txt复制

 #ifdef CONFIG_MMU

代码语言：txt复制

 #if CONFIG_MODULES_AREA_SIZE > SZ_32M

代码语言：txt复制

 #error Too much space for modules

代码语言：txt复制

 #endif

代码语言：txt复制

/*

代码语言：txt复制

  * PAGE_OFFSET - the virtual address of the start of the kernel image
  * TASK_SIZE - the maximum size of a user space task.
  * TASK_UNMAPPED_BASE - the lower boundary of the mmap VM area
  */
-#define PAGE_OFFSET            UL(CONFIG_PAGE_OFFSET)
-#define TASK_SIZE              (UL(CONFIG_PAGE_OFFSET) - UL(SZ_16M))
 #define PAGE_OFFSET    UL(CONFIG_PAGE_OFFSET)
 #define TASK_SIZE      (UL(CONFIG_PAGE_OFFSET) -
UL(CONFIG_MODULES_AREA_SIZE))
 #define TASK_UNMAPPED_BASE     ALIGN(TASK_SIZE / 3, SZ_16M)

MODULE_PLTS

Linux新的内核引入module PLT(Procedure Link

Table)机制，让模块加载使用vmalloc空间的方法，解决模块空间不够用的问题。

变更履历

内核版本4.5.0支持arm64undefinedhttps://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=fd045f6cd98ec4953147b318418bd45e441e52a3
内核版本4.8.0导入armundefinedhttps://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=35fa91eed817d2c65c59ef5a9737011313be6ac0undefinedhttps://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=05123fef098220323e60834d5520b15d277e0415undefinedhttps://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=1031a7e674d1de481d641c3723d5f53b776f621f
arch/arm/kernel/module.c

代码语言：txt复制

#ifdef CONFIG_MMU

代码语言：txt复制

void *module_alloc(unsigned long size)

代码语言：txt复制

  gfp_t gfp_mask = GFP_KERNEL;

代码语言：txt复制

  void *p;

代码语言：txt复制

  /* Silence the initial allocation */

代码语言：txt复制

  if (IS_ENABLED(CONFIG_ARM_MODULE_PLTS))

代码语言：txt复制

      gfp_mask |= __GFP_NOWARN;

代码语言：txt复制

  p = __vmalloc_node_range(size, 1, MODULES_VADDR, MODULES_END,

代码语言：txt复制

              gfp_mask, PAGE_KERNEL_EXEC, 0, NUMA_NO_NODE,

代码语言：txt复制

              __builtin_return_address(0));

代码语言：txt复制

  if (!IS_ENABLED(CONFIG_ARM_MODULE_PLTS) || p)

代码语言：txt复制

      return p;

代码语言：txt复制

  return __vmalloc_node_range(size, 1,  VMALLOC_START, VMALLOC_END,

代码语言：txt复制

              GFP_KERNEL, PAGE_KERNEL_EXEC, 0, NUMA_NO_NODE,

代码语言：txt复制

              __builtin_return_address(0));

代码语言：txt复制

#endif

使用方法

配置CONFIG_ARM_MODULE_PLTS=y
配置CONFIG_ARM64_MODULE_PLTS=y
最终的效果如下图所示，模块的地址并不是常见的0xbf打头，而是落在vmalloc区域

image.png

模块空间占用裁减

通过objdump -t命令可以查看模块的所有符号
识别所有符号里的.bss和.data部分，确认是否有大块的变量符号
整改大块的变量符号，将其转变为动态申请的内存形式

kernel 编程算法 git linux arm

0 人点赞