- A+
1 前言
前面介绍了 GCC 自带的 mtrace 内存泄漏检查工具，该篇主要介绍开源的内存泄漏工具 valgrind，valgrind 是一套 Linux 下，开放源代码的动态调试工具集合，能够检测内存管理错误、线程 BUG 等，valgrind 由内核（core）以及基于内核的其他调试工具组成。内核类似于一个框架（framework），它模拟了一个 CPU 环境，并提供服务给其他工具；而其他工具则类似于插件 (plug-in)，利用内核提供的服务完成各种特定的内存调试任务。
该篇主要是介绍 valgrind 在联咏 NT98X 系列芯片的 ARM 平台上的编译使用及在使用过程中遇到的问题。
1.1 介绍
valgrind 包括的工具如下：
- memcheck，这是valgrind应用最广泛的工具，一个重量级的内存检查器，能够发现开发中绝大多数内存错误使用情况，比如：使用未初始化的内存，使用已经释放了的内存，内存访问越界等。
- callgrind，主要用来检查程序中函数调用过程中出现的问题。
- cachegrind，主要用来检查程序中缓存使用出现的问题。
- helgrind，主要用来检查多线程程序中出现的竞争问题。
- massif，主要用来检查程序中堆栈使用中出现的问题。
- extension，可以利用core提供的功能，自己编写特定的内存调试工具。
2 编译
2.1 前期准备
1、下载 valgrind (https://www.valgrind.org/downloads/)
wget http://valgrind.org/downloads/valgrind-3.12.0.tar.bz22、解压缩，输入指令解压
tar -jxvf valgrind-3.12.0.tar.bz23、进入解压后的目录中
cd valgrind-3.12.04、执行脚本
./autogen.sh2.2 环境配置
执行脚本完成后，需要先修改 configure 脚本，将 armv7*) 改为 armv7* | arm )，然后按照下面执行（根据自己的交叉编译环境修改）
./configure --host=arm-ca9-linux-gnueabihf CC=arm-ca9-linux-gnueabihf-gcc CPP=arm-ca9-linux-gnueabihf-cpp CXX=arm-ca9-linux-gnueabihf-g++ --prefix=/mnt/valgrind其中 --prefix 设置的编译生成后的路径要保证在目标板上的路径一致，否则在实际使用时会报错，当然如果条件不允许的话，在使用前可以设置 valgrind 的环境变量解决，具体在“遇到的问题”章节中会提及。
make -j;make install会在 --prefix 指定的目录下生成四个子目录：bin、include、lib 和 share，我们需要的 valgrind 就在其中的bin目录下。
3 使用
3.1 前期准备
可以选择通过拷贝或者挂载的方式，但是不管哪一种，都需要将bin、include、lib 和 share 放置在 /mnt/valgrind 下（上面我设置 --prefix 的路径是 /mnt/valgrind），比如我通过挂载的方式（我已经将 /mnt/valgrind 的 bin、include 和 lib 文件夹拷贝到 /home/const/workspace/valgrind）
mount -t nfs -o nolock,tcp 192.168.1.100:/home/const/workspace/valgrind /mnt/valgrind3.2 执行
可输入以下指令测试 valgrind 是否可以正常运行，如果出现一大堆选项解释，则表示成功
/mnt/valgrind/bin/valgrind --help通过检查内存泄漏的问题使用（./sample为可执行程序名）：
/mnt/valgrind/bin/valgrind --error-limit=no --leak-check=full --tool=memcheck ./sample4 常见问题
4.1 编译配置期间的常见问题
1、配置 configure 时遇到类似以下问题，解决方案请参考上述中编译期间的“环境配置”，修改 configure 文件保存。
checking for a BSD-compatible install... /usr/bin/install -c checking whether build environment is sane... yes checking for arm-ca9-linux-gnueabihf-strip... no checking for strip... strip checking for a thread-safe mkdir -p... /bin/mkdir -p checking for gawk... gawk checking whether make sets $(MAKE)... yes checking whether make supports nested variables... yes checking whether to enable maintainer-specific portions of Makefiles... no checking whether ln -s works... yes checking for arm-ca9-linux-gnueabihf-gcc... /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc checking whether the C compiler works... yes checking for C compiler default output file name... a.out checking for suffix of executables... checking whether we are cross compiling... yes checking for suffix of object files... o checking whether we are using the GNU C compiler... yes checking whether /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc accepts -g... yes checking for /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc option to accept ISO C89... none needed checking whether /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc understands -c and -o together... yes checking for style of include used by make... GNU checking dependency style of /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc... gcc3 checking how to run the C preprocessor... /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-cpp checking whether we are using the GNU C++ compiler... yes checking whether /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-g++ accepts -g... yes checking dependency style of /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-g++... gcc3 checking for arm-ca9-linux-gnueabihf-ranlib... no checking for ranlib... ranlib configure: WARNING: using cross tools not prefixed with host triplet checking for a sed that does not truncate output... /bin/sed checking for ar... /usr/bin/ar checking for perl... /usr/bin/perl checking for gdb... /usr/bin/gdb checking dependency style of /opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc... gcc3 checking for diff -u... yes checking for a supported version of gcc... ok (6.5.0) checking build system type... x86_64-unknown-linux-gnu checking host system type... arm-ca9-linux-gnueabihf checking for a supported CPU... no (arm) configure: error: Unsupported host architecture. Sorry2、配置 configure 时遇到类似以下问题，原因是交叉编译工具链在环境中没有添加，checking 找不到对应路径的工具链
checking for a BSD-compatible install... /usr/bin/install -c checking whether build environment is sane... yes checking for arm-ca9-linux-gnueabihf-strip... no checking for strip... strip checking for a thread-safe mkdir -p... /bin/mkdir -p checking for gawk... gawk checking whether make sets $(MAKE)... yes checking whether make supports nested variables... yes checking whether to enable maintainer-specific portions of Makefiles... no checking whether ln -s works... yes checking for arm-ca9-linux-gnueabihf-gcc... arm-ca9-linux-gnueabihf-gcc checking whether the C compiler works... no configure: error: in `/home/const/workspace/Download/valgrind-3.12.0': configure: error: C compiler cannot create executables See `config.log' for more details解决方案：除了--host 外，其他都需要绝对路径（根据自己的交叉编译链工具路径修改）：
./configure --host=arm-ca9-linux-gnueabihf CC=/opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-gcc CPP=/opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-cpp CXX=/opt/arm-ca9-linux-gnueabihf-6.5/bin/arm-ca9-linux-gnueabihf-g++ --prefix=/mnt/valgrind
4.2 使用期间的常见问题
1、测试 valgrind 或者使用时，出现以下错误，其原因是没有找到 valgrind 的 lib 库（不要试图修改 LD_LIBRARY_PATH，没有用）。
valgrind: failed to start tool 'memcheck' for platform 'arm-linux': No such file or directory解决方案有两种：
- 按照上述编译期间环境配置中的 --prefix 的路径保证目标板上的路径一致，如果不确定可以打开 valgrind//lib/pkgconfig/valgrind.pc 文件查看，第一行的 prefix= 为编译安装后的路径
- 在目标板上设置 valgrind 的环境变量：export VALGRIND_LIB=/mnt/valgrind/lib/valgrind（根据自己存放的 valgrind 路径修改）
2、使用时出现 ld-linux-armhf.so.3 的错误，原因是目标板上的 ld-2.29.so（ld-linux-armhf.so.3是 ld-2.29.so 的软链接）是被 stripped 后的。
# /mnt/valgrind/bin/valgrind --error-limit=no --leak-check=full --tool=memcheck /usr/local/bin/sample ==701== Memcheck, a memory error detector ==701== Copyright (C) 2002-2015, and GNU GPL'd, by Julian Seward et al. ==701== Using Valgrind-3.12.0 and LibVEX; rerun with -h for copyright info ==701== Command: /usr/local/bin/sample ==701== valgrind: Fatal error at startup: a function redirection valgrind: which is mandatory for this platform-tool combination valgrind: cannot be set up. Details of the redirection are: valgrind: valgrind: A must-be-redirected function valgrind: whose name matches the pattern: strcmp valgrind: in an object with soname matching: ld-linux-armhf.so.3 valgrind: was not found whilst processing valgrind: symbols from the object with soname: ld-linux-armhf.so.3 valgrind: valgrind: Possible fixes: (1, short term): install glibc's debuginfo valgrind: package on this machine. (2, longer term): ask the packagers valgrind: for your Linux distribution to please in future ship a non- valgrind: stripped ld.so (or whatever the dynamic linker .so is called) valgrind: that exports the above-named function using the standard valgrind: calling conventions for this platform. The package you need valgrind: to install for fix (1) is called valgrind: valgrind: On Debian, Ubuntu: libc6-dbg valgrind: On SuSE, openSuSE, Fedora, RHEL: glibc-debuginfo valgrind: valgrind: Note that if you are debugging a 32 bit process on a valgrind: 64 bit system, you will need a corresponding 32 bit debuginfo valgrind: package (e.g. libc6-dbg:i386). valgrind: valgrind: Cannot continue -- exiting now. Sorry.关于这个问题，网上有很多都说用 not stripped 的 ld-2.29.so 替换目标板上 /lib/ld-2.29.so ，解决方法简单，但是依旧困扰了我几天时间，因为我使用的是目标板是只读文件系统（不要问我为啥不设置成可读写的，因为工作内容限制），不能修改 /lib 的内容导致无法被替换，因此下面的方式是通过指定路径的 ld-2.29.so 来解决该问题，不要试图用环境变量 LD_PRELOAD 去优先选择 ld-2.29.so 或者 ld-linux-armhf.so.3 来执行，没有任何意义（因为 ld-2.29.so 不是一个普通的动态库，它是会使用环境变量 LD_PRELOAD，可以百度搜它们之间的关系）。
在这几天中，试了很多方式，由于一开始的定位问题的思路错了，导致后面一直没有成功（以为只要用 not stripped 的 ld-2.29.so 去执行 valgrind 就可以了，自从解决后，回头看想想其实从之前的 valgrind --help 成功后表示 valgrind 已经是可以正常使用的了 ），而本质的问题是被检测的可执行程序才是需要被 not stripped 的 ld-2.29.so 去执行。
通过 readelf 查看可执行文件的 ELF 信息，可以看到动态库加载器 interpreter 为 /lib/ld-linux-armhf.so.3，表示该执行程序使用的是 /lib 路径下的
ld-linux-armhf.so.3（/lib/ld-2.29.so 的软连接），那现在解决问题的思路清晰了，只要改变它就可以了。
const@const-virtual-machine:~/workspace/valgrind/bin$ readelf -l sample Elf 文件类型为 EXEC (可执行文件) Entry point 0x12d18 There are 10 program headers, starting at offset 52 程序头： Type Offset VirtAddr PhysAddr FileSiz MemSiz Flg Align PHDR 0x000034 0x0000f034 0x0000f034 0x00140 0x00140 R 0x4 GNU_STACK 0x001000 0x00000000 0x00000000 0x00000 0x00000 RW 0x10 LOAD 0x000000 0x0000f000 0x0000f000 0x01000 0x01000 RW 0x1000 INTERP 0x000174 0x0000f174 0x0000f174 0x00031 0x00031 R 0x1 [Requesting program interpreter: /lib/ld-linux-armhf.so.3] LOAD 0x001000 0x00010000 0x00010000 0x08148 0x08148 R E 0x1000 NOTE 0x001170 0x00010170 0x00010170 0x00020 0x00020 R 0x4 EXIDX 0x008eac 0x00017eac 0x00017eac 0x00298 0x00298 R 0x4 LOAD 0x009e70 0x00028e70 0x00028e70 0x002d4 0x002e4 RW 0x1000 GNU_RELRO 0x009e70 0x00028e70 0x00028e70 0x00190 0x00190 R 0x1 DYNAMIC 0x009ed8 0x00028ed8 0x00028ed8 0x00128 0x00128 RW 0x4首先我们需要找到 not stripped 的 ld-2.29.so，一般在交叉编译工具链里的 target/lib 能够找到，通过以下指令可以确定
const@const-virtual-machine:/$ file /opt/arm-ca9-linux-gnueabihf-6.5/target/lib/ld-2.29.so /opt/arm-ca9-linux-gnueabihf-6.5/target/lib/ld-2.29.so: ELF 32-bit LSB shared object, ARM, EABI5 version 1 (SYSV), dynamically linked, not stripped比如我将这个 target 中的 lib 文件夹拷贝到挂载的指定目录下（目标板的路径则是 /mnt/valgrind/lib/target/lib）
cp -rf /opt/arm-ca9-linux-gnueabihf-6.5/target/lib /home/const/workspace/valgrind/target/lib/解决方案有三种：
1、在编译期间，通过编译选项指定使用对应路径下的 ld-linux-armhf.so.3（是 ld-2.29.so 的软连接）进行编译，再通过 readelf 读取确认
LDFLAGS+=-Wl,--dynamic-linker='/mnt/valgrind/lib/target/lib/ld-linux-armhf.so.3'2、通过 patchelf 修改编译后的可执行文件，再通过 readelf 读取确认
const@const-virtual-machine:~/worksapce/bin$ patchelf --set-interpreter /mnt/valgrind/lib/target/lib/ld-linux-armhf.so.3 sample const@const-virtual-machine:~/worksapce/bin$ readelf -l sample Elf 文件类型为 EXEC (可执行文件) Entry point 0x12d18 There are 10 program headers, starting at offset 52 程序头： Type Offset VirtAddr PhysAddr FileSiz MemSiz Flg Align PHDR 0x000034 0x0000f034 0x0000f034 0x00140 0x00140 R 0x4 GNU_STACK 0x001000 0x00000000 0x00000000 0x00000 0x00000 RW 0x10 LOAD 0x000000 0x0000f000 0x0000f000 0x01000 0x01000 RW 0x1000 INTERP 0x000174 0x0000f174 0x0000f174 0x00031 0x00031 R 0x1 [Requesting program interpreter: /mnt/valgrind/lib/target/lib/ld-linux-armhf.so.3] LOAD 0x001000 0x00010000 0x00010000 0x08148 0x08148 R E 0x1000 NOTE 0x001170 0x00010170 0x00010170 0x00020 0x00020 R 0x4 EXIDX 0x008eac 0x00017eac 0x00017eac 0x00298 0x00298 R 0x4 LOAD 0x009e70 0x00028e70 0x00028e70 0x002d4 0x002e4 RW 0x1000 GNU_RELRO 0x009e70 0x00028e70 0x00028e70 0x00190 0x00190 R 0x1 DYNAMIC 0x009ed8 0x00028ed8 0x00028ed8 0x00128 0x00128 RW 0x43、不需要修改编译选项，也不需要修改可执行文件，在目标板直接输入以下指令即可
/mnt/valgrind/bin/valgrind --error-limit=no --leak-check=full --tool=memcheck /mnt/valgrind/lib/target/lib/ld-linux-armhf.so.3 /usr/local/bin/sample
