Re: 2.6.39-rc4+: Kernel leaking memory during FS scanning,regression?

From: Bruno PrÃmont
Date: Mon Apr 25 2011 - 12:05:12 EST

On Mon, 25 April 2011 Linus Torvalds wrote:
> On Mon, Apr 25, 2011 at 2:17 AM, Bruno PrÃmont wrote:
> >
> > Here it seems to happened when I run 2 intensive tasks in parallel, e.g.
> > (re)emerging gimp and running revdep-rebuild -pi in another terminal.
> > This produces a fork rate of about 100-300 per second.
> >
> > Suddenly kmalloc-128 slabs stop being freed and things degrade.
>
> So everything seems to imply some kind of filesystem/vfs thing, but
> let's try to gather a bit more information about exactly what it is.
>
> Some of it also points to RCU freeing, but that "kmalloc-128" doesn't
> really match my expectations. According to your slabinfo, it's not the
> dentries.
>
> One thing I'd ask you to do is to boot with the "slub_nomerge" kernel
> command line switch. The SLUB "merge slab caches" thing may save some
> memory, but it has been a disaster from every other standpoint - every
> time there's a memory leak, it ends up making it very confusing to try
> to figure things out.
>
> For example, your traces seem to imply that the kmalloc-128 allocation
> is actually the "filp" cache, but it has gotten merged with the
> kmalloc-128 cache, so slabinfo doesn't actually show the right user.

Redone with slub_nomerge cmdline switch.
Attached (for easy diffing):

slabinfo-2, meminfo-2: when memory use starts manifesting itself
(work triggering it being SIGSTOPped)

slabinfo-4, meminfo-4: info gathered again after sync && echo 2 > /proc/sys/vm/drop_caches

kmemleak reports 86681 new leaks between shortly after boot and -2 state.
(and 2348 additional ones between -2 and -4).

> (Pekka? This is a real _problem_. The whole "confused debugging" is
> wasting a lot of peoples time. Can we please try to get slabinfo
> statistics work right for the merged state. Or perhaps decide to just
> not merge at all?)
>
> As to why it has started to happen now: with the whole RCU lookup
> thing, many more filesystem objects are RCU-free'd (dentries have been
> for a long time, but now we have inodes and filp's too), and that may
> end up delaying allocations sufficiently that you end up seeing
> something that used to be borderline become a major problem.
>
> Also, what's your kernel config, in particular wrt RCU? The RCU
> freeing _should_ be self-limiting (if I recall correctly) and not let
> infinite amounts of RCU work (ie pending freeing) accumulate, but
> maybe something is broken. Do you have a UP kernel with TINY_RCU, for
> example?

Config was in first message of thread (but unfortunately not properly
labeled), attaching again (to include change for debugging features)

Yes, it's uni-processor system, so SMP=n.
TINY_RCU=y, PREEMPT_VOLUNTARY=y (whole /proc/config.gz attached keeping
compression)

Bruno


> Or maybe I'm just confused, and there's never any RCU throttling at
> all. Paul?
>
> Linus

Attachment: config.gz
Description: GNU Zip compressed data

MemTotal: 480644 kB
MemFree: 8236 kB
Buffers: 31740 kB
Cached: 139864 kB
SwapCached: 0 kB
Active: 109392 kB
Inactive: 130728 kB
Active(anon): 30960 kB
Inactive(anon): 37364 kB
Active(file): 78432 kB
Inactive(file): 93364 kB
Unevictable: 32 kB
Mlocked: 32 kB
SwapTotal: 524284 kB
SwapFree: 524284 kB
Dirty: 56 kB
Writeback: 0 kB
AnonPages: 68132 kB
Mapped: 8260 kB
Shmem: 240 kB
Slab: 205832 kB
SReclaimable: 15448 kB
SUnreclaim: 190384 kB
KernelStack: 20792 kB
PageTables: 800 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 764604 kB
Committed_AS: 122864 kB
VmallocTotal: 548548 kB
VmallocUsed: 8368 kB
VmallocChunk: 534836 kB
AnonHugePages: 0 kB
DirectMap4k: 16320 kB
DirectMap4M: 475136 kB
MemTotal: 480644 kB
MemFree: 89376 kB
Buffers: 31964 kB
Cached: 12816 kB
SwapCached: 0 kB
Active: 66512 kB
Inactive: 46780 kB
Active(anon): 30964 kB
Inactive(anon): 37356 kB
Active(file): 35548 kB
Inactive(file): 9424 kB
Unevictable: 32 kB
Mlocked: 32 kB
SwapTotal: 524284 kB
SwapFree: 524284 kB
Dirty: 56 kB
Writeback: 0 kB
AnonPages: 68128 kB
Mapped: 8268 kB
Shmem: 240 kB
Slab: 251592 kB
SReclaimable: 15824 kB
SUnreclaim: 235768 kB
KernelStack: 20960 kB
PageTables: 804 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 764604 kB
Committed_AS: 122864 kB
VmallocTotal: 548548 kB
VmallocUsed: 8368 kB
VmallocChunk: 534836 kB
AnonHugePages: 0 kB
DirectMap4k: 16320 kB
DirectMap4M: 475136 kB
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
squashfs_inode_cache 1900 1900 384 10 1 : tunables 0 0 0 : slabdata 190 190 0
nfs_direct_cache 0 0 72 56 1 : tunables 0 0 0 : slabdata 0 0 0
nfs_write_data 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
nfs_read_data 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
nfs_inode_cache 70 70 568 14 2 : tunables 0 0 0 : slabdata 5 5 0
nfs_page 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
rpc_buffers 16 16 2048 8 4 : tunables 0 0 0 : slabdata 2 2 0
rpc_tasks 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
rpc_inode_cache 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
fib6_nodes 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
ip6_dst_cache 29 42 192 21 1 : tunables 0 0 0 : slabdata 2 2 0
ndisc_cache 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
RAWv6 12 12 672 12 2 : tunables 0 0 0 : slabdata 1 1 0
UDPLITEv6 0 0 672 12 2 : tunables 0 0 0 : slabdata 0 0 0
UDPv6 12 12 672 12 2 : tunables 0 0 0 : slabdata 1 1 0
tw_sock_TCPv6 0 0 160 25 1 : tunables 0 0 0 : slabdata 0 0 0
request_sock_TCPv6 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
TCPv6 12 12 1312 12 4 : tunables 0 0 0 : slabdata 1 1 0
aoe_bufs 0 0 48 85 1 : tunables 0 0 0 : slabdata 0 0 0
scsi_sense_cache 42 42 96 42 1 : tunables 0 0 0 : slabdata 1 1 0
scsi_cmd_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
sd_ext_cdb 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
cfq_io_context 128 128 64 64 1 : tunables 0 0 0 : slabdata 2 2 0
cfq_queue 47 52 152 26 1 : tunables 0 0 0 : slabdata 2 2 0
mqueue_inode_cache 8 8 480 8 1 : tunables 0 0 0 : slabdata 1 1 0
xfs_buf 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
fstrm_item 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_mru_cache_elem 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ili 0 0 160 25 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_inode 0 0 608 13 2 : tunables 0 0 0 : slabdata 0 0 0
xfs_efi_item 0 0 288 14 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_efd_item 0 0 288 14 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_buf_item 0 0 176 23 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_log_item_desc 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_trans 0 0 224 18 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ifork 0 0 56 73 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_dabuf 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_da_state 0 0 336 12 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_btree_cur 0 0 152 26 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_bmap_free_item 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_log_ticket 0 0 176 23 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ioend 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
reiser_inode_cache 14180 14180 392 10 1 : tunables 0 0 0 : slabdata 1418 1418 0
configfs_dir_cache 73 73 56 73 1 : tunables 0 0 0 : slabdata 1 1 0
kioctx 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
kiocb 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
inotify_event_private_data 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
inotify_inode_mark 56 56 72 56 1 : tunables 0 0 0 : slabdata 1 1 0
fasync_cache 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
khugepaged_mm_slot 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
nsproxy 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
posix_timers_cache 0 0 120 34 1 : tunables 0 0 0 : slabdata 0 0 0
uid_cache 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
UNIX 35 38 416 19 2 : tunables 0 0 0 : slabdata 2 2 0
UDP-Lite 0 0 512 8 1 : tunables 0 0 0 : slabdata 0 0 0
tcp_bind_bucket 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
inet_peer_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
ip_fib_trie 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
ip_fib_alias 170 170 24 170 1 : tunables 0 0 0 : slabdata 1 1 0
ip_dst_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
arp_cache 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
RAW 8 8 512 8 1 : tunables 0 0 0 : slabdata 1 1 0
UDP 15 16 512 8 1 : tunables 0 0 0 : slabdata 2 2 0
tw_sock_TCP 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
request_sock_TCP 42 42 96 42 1 : tunables 0 0 0 : slabdata 1 1 0
TCP 13 13 1184 13 4 : tunables 0 0 0 : slabdata 1 1 0
eventpoll_pwq 0 0 40 102 1 : tunables 0 0 0 : slabdata 0 0 0
eventpoll_epi 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
sgpool-128 12 12 2560 12 8 : tunables 0 0 0 : slabdata 1 1 0
sgpool-64 12 12 1280 12 4 : tunables 0 0 0 : slabdata 1 1 0
sgpool-32 12 12 640 12 2 : tunables 0 0 0 : slabdata 1 1 0
sgpool-16 12 12 320 12 1 : tunables 0 0 0 : slabdata 1 1 0
sgpool-8 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
scsi_data_buffer 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
blkdev_queue 17 17 920 17 4 : tunables 0 0 0 : slabdata 1 1 0
blkdev_requests 19 19 208 19 1 : tunables 0 0 0 : slabdata 1 1 0
blkdev_ioc 102 102 40 102 1 : tunables 0 0 0 : slabdata 1 1 0
fsnotify_event_holder 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
fsnotify_event 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
bio-0 34 64 128 32 1 : tunables 0 0 0 : slabdata 2 2 0
biovec-256 10 10 3072 10 8 : tunables 0 0 0 : slabdata 1 1 0
biovec-128 0 0 1536 10 4 : tunables 0 0 0 : slabdata 0 0 0
biovec-64 10 10 768 10 2 : tunables 0 0 0 : slabdata 1 1 0
biovec-16 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
sock_inode_cache 70 77 352 11 1 : tunables 0 0 0 : slabdata 7 7 0
skbuff_fclone_cache 11 11 352 11 1 : tunables 0 0 0 : slabdata 1 1 0
skbuff_head_cache 517 525 192 21 1 : tunables 0 0 0 : slabdata 25 25 0
file_lock_cache 39 39 104 39 1 : tunables 0 0 0 : slabdata 1 1 0
shmem_inode_cache 897 910 400 10 1 : tunables 0 0 0 : slabdata 91 91 0
Acpi-Operand 932 935 48 85 1 : tunables 0 0 0 : slabdata 11 11 0
Acpi-ParseExt 85 85 48 85 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-Parse 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-State 85 85 48 85 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-Namespace 680 680 24 170 1 : tunables 0 0 0 : slabdata 4 4 0
proc_inode_cache 1908 1908 336 12 1 : tunables 0 0 0 : slabdata 159 159 0
sigqueue 28 28 144 28 1 : tunables 0 0 0 : slabdata 1 1 0
bdev_cache 13 18 448 9 1 : tunables 0 0 0 : slabdata 2 2 0
sysfs_dir_cache 13770 13770 48 85 1 : tunables 0 0 0 : slabdata 162 162 0
mnt_cache 50 50 160 25 1 : tunables 0 0 0 : slabdata 2 2 0
filp 49408 49408 128 32 1 : tunables 0 0 0 : slabdata 1544 1544 0
inode_cache 3936 3939 312 13 1 : tunables 0 0 0 : slabdata 303 303 0
dentry 28892 28896 128 32 1 : tunables 0 0 0 : slabdata 903 903 0
names_cache 8 8 4096 8 8 : tunables 0 0 0 : slabdata 1 1 0
buffer_head 31609 35551 56 73 1 : tunables 0 0 0 : slabdata 487 487 0
vm_area_struct 1584 1656 88 46 1 : tunables 0 0 0 : slabdata 36 36 0
mm_struct 54 57 416 19 2 : tunables 0 0 0 : slabdata 3 3 0
fs_cache 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
files_cache 1323 1323 192 21 1 : tunables 0 0 0 : slabdata 63 63 0
signal_cache 2592 2592 512 8 1 : tunables 0 0 0 : slabdata 324 324 0
sighand_cache 77 84 1312 12 4 : tunables 0 0 0 : slabdata 7 7 0
task_xstate 240 240 512 8 1 : tunables 0 0 0 : slabdata 30 30 0
task_struct 2603 2603 832 19 4 : tunables 0 0 0 : slabdata 137 137 0
cred_jar 11718 11718 96 42 1 : tunables 0 0 0 : slabdata 279 279 0
anon_vma_chain 1667 1870 24 170 1 : tunables 0 0 0 : slabdata 11 11 0
anon_vma 1051 1190 24 170 1 : tunables 0 0 0 : slabdata 7 7 0
pid 2624 2624 64 64 1 : tunables 0 0 0 : slabdata 41 41 0
kmemleak_scan_area 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
kmemleak_object 1030632 1030632 168 24 1 : tunables 0 0 0 : slabdata 42943 42943 0
radix_tree_node 4888 4888 304 13 1 : tunables 0 0 0 : slabdata 376 376 0
idr_layer_cache 258 260 152 26 1 : tunables 0 0 0 : slabdata 10 10 0
dma-kmalloc-8192 0 0 8192 4 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-4096 0 0 4096 8 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-2048 0 0 2048 8 4 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-1024 0 0 1024 8 2 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-512 0 0 512 8 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-256 0 0 256 16 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-128 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-64 0 0 64 64 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-32 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-16 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-8 0 0 8 512 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-192 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-96 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-8192 12 12 8192 4 8 : tunables 0 0 0 : slabdata 3 3 0
kmalloc-4096 272 272 4096 8 8 : tunables 0 0 0 : slabdata 34 34 0
kmalloc-2048 546 552 2048 8 4 : tunables 0 0 0 : slabdata 69 69 0
kmalloc-1024 1456 1456 1024 8 2 : tunables 0 0 0 : slabdata 182 182 0
kmalloc-512 415 416 512 8 1 : tunables 0 0 0 : slabdata 52 52 0
kmalloc-256 46 48 256 16 1 : tunables 0 0 0 : slabdata 3 3 0
kmalloc-128 320 320 128 32 1 : tunables 0 0 0 : slabdata 10 10 0
kmalloc-64 2304 2304 64 64 1 : tunables 0 0 0 : slabdata 36 36 0
kmalloc-32 3072 3072 32 128 1 : tunables 0 0 0 : slabdata 24 24 0
kmalloc-16 2467 7168 16 256 1 : tunables 0 0 0 : slabdata 28 28 0
kmalloc-8 3580 3584 8 512 1 : tunables 0 0 0 : slabdata 7 7 0
kmalloc-192 147 147 192 21 1 : tunables 0 0 0 : slabdata 7 7 0
kmalloc-96 1008 1008 96 42 1 : tunables 0 0 0 : slabdata 24 24 0
kmem_cache 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
kmem_cache_node 256 256 32 128 1 : tunables 0 0 0 : slabdata 2 2 0
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
squashfs_inode_cache 1900 1900 384 10 1 : tunables 0 0 0 : slabdata 190 190 0
nfs_direct_cache 0 0 72 56 1 : tunables 0 0 0 : slabdata 0 0 0
nfs_write_data 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
nfs_read_data 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
nfs_inode_cache 70 70 568 14 2 : tunables 0 0 0 : slabdata 5 5 0
nfs_page 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
rpc_buffers 16 16 2048 8 4 : tunables 0 0 0 : slabdata 2 2 0
rpc_tasks 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
rpc_inode_cache 36 36 448 9 1 : tunables 0 0 0 : slabdata 4 4 0
fib6_nodes 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
ip6_dst_cache 29 42 192 21 1 : tunables 0 0 0 : slabdata 2 2 0
ndisc_cache 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
RAWv6 12 12 672 12 2 : tunables 0 0 0 : slabdata 1 1 0
UDPLITEv6 0 0 672 12 2 : tunables 0 0 0 : slabdata 0 0 0
UDPv6 12 12 672 12 2 : tunables 0 0 0 : slabdata 1 1 0
tw_sock_TCPv6 0 0 160 25 1 : tunables 0 0 0 : slabdata 0 0 0
request_sock_TCPv6 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
TCPv6 12 12 1312 12 4 : tunables 0 0 0 : slabdata 1 1 0
aoe_bufs 0 0 48 85 1 : tunables 0 0 0 : slabdata 0 0 0
scsi_sense_cache 42 42 96 42 1 : tunables 0 0 0 : slabdata 1 1 0
scsi_cmd_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
sd_ext_cdb 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
cfq_io_context 128 128 64 64 1 : tunables 0 0 0 : slabdata 2 2 0
cfq_queue 46 52 152 26 1 : tunables 0 0 0 : slabdata 2 2 0
mqueue_inode_cache 8 8 480 8 1 : tunables 0 0 0 : slabdata 1 1 0
xfs_buf 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
fstrm_item 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_mru_cache_elem 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ili 0 0 160 25 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_inode 0 0 608 13 2 : tunables 0 0 0 : slabdata 0 0 0
xfs_efi_item 0 0 288 14 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_efd_item 0 0 288 14 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_buf_item 0 0 176 23 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_log_item_desc 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_trans 0 0 224 18 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ifork 0 0 56 73 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_dabuf 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_da_state 0 0 336 12 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_btree_cur 0 0 152 26 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_bmap_free_item 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_log_ticket 0 0 176 23 1 : tunables 0 0 0 : slabdata 0 0 0
xfs_ioend 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
reiser_inode_cache 14220 14220 392 10 1 : tunables 0 0 0 : slabdata 1422 1422 0
configfs_dir_cache 73 73 56 73 1 : tunables 0 0 0 : slabdata 1 1 0
kioctx 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
kiocb 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
inotify_event_private_data 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
inotify_inode_mark 56 56 72 56 1 : tunables 0 0 0 : slabdata 1 1 0
fasync_cache 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
khugepaged_mm_slot 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
nsproxy 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
posix_timers_cache 0 0 120 34 1 : tunables 0 0 0 : slabdata 0 0 0
uid_cache 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
UNIX 35 38 416 19 2 : tunables 0 0 0 : slabdata 2 2 0
UDP-Lite 0 0 512 8 1 : tunables 0 0 0 : slabdata 0 0 0
tcp_bind_bucket 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
inet_peer_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
ip_fib_trie 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
ip_fib_alias 170 170 24 170 1 : tunables 0 0 0 : slabdata 1 1 0
ip_dst_cache 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
arp_cache 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
RAW 8 8 512 8 1 : tunables 0 0 0 : slabdata 1 1 0
UDP 15 16 512 8 1 : tunables 0 0 0 : slabdata 2 2 0
tw_sock_TCP 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
request_sock_TCP 42 42 96 42 1 : tunables 0 0 0 : slabdata 1 1 0
TCP 13 13 1184 13 4 : tunables 0 0 0 : slabdata 1 1 0
eventpoll_pwq 0 0 40 102 1 : tunables 0 0 0 : slabdata 0 0 0
eventpoll_epi 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
sgpool-128 12 12 2560 12 8 : tunables 0 0 0 : slabdata 1 1 0
sgpool-64 12 12 1280 12 4 : tunables 0 0 0 : slabdata 1 1 0
sgpool-32 12 12 640 12 2 : tunables 0 0 0 : slabdata 1 1 0
sgpool-16 12 12 320 12 1 : tunables 0 0 0 : slabdata 1 1 0
sgpool-8 25 25 160 25 1 : tunables 0 0 0 : slabdata 1 1 0
scsi_data_buffer 0 0 24 170 1 : tunables 0 0 0 : slabdata 0 0 0
blkdev_queue 17 17 920 17 4 : tunables 0 0 0 : slabdata 1 1 0
blkdev_requests 19 19 208 19 1 : tunables 0 0 0 : slabdata 1 1 0
blkdev_ioc 102 102 40 102 1 : tunables 0 0 0 : slabdata 1 1 0
fsnotify_event_holder 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
fsnotify_event 64 64 64 64 1 : tunables 0 0 0 : slabdata 1 1 0
bio-0 34 64 128 32 1 : tunables 0 0 0 : slabdata 2 2 0
biovec-256 10 10 3072 10 8 : tunables 0 0 0 : slabdata 1 1 0
biovec-128 0 0 1536 10 4 : tunables 0 0 0 : slabdata 0 0 0
biovec-64 10 10 768 10 2 : tunables 0 0 0 : slabdata 1 1 0
biovec-16 21 21 192 21 1 : tunables 0 0 0 : slabdata 1 1 0
sock_inode_cache 70 77 352 11 1 : tunables 0 0 0 : slabdata 7 7 0
skbuff_fclone_cache 11 11 352 11 1 : tunables 0 0 0 : slabdata 1 1 0
skbuff_head_cache 518 546 192 21 1 : tunables 0 0 0 : slabdata 26 26 0
file_lock_cache 39 39 104 39 1 : tunables 0 0 0 : slabdata 1 1 0
shmem_inode_cache 909 910 400 10 1 : tunables 0 0 0 : slabdata 91 91 0
Acpi-Operand 932 935 48 85 1 : tunables 0 0 0 : slabdata 11 11 0
Acpi-ParseExt 85 85 48 85 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-Parse 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-State 85 85 48 85 1 : tunables 0 0 0 : slabdata 1 1 0
Acpi-Namespace 680 680 24 170 1 : tunables 0 0 0 : slabdata 4 4 0
proc_inode_cache 3480 3480 336 12 1 : tunables 0 0 0 : slabdata 290 290 0
sigqueue 28 28 144 28 1 : tunables 0 0 0 : slabdata 1 1 0
bdev_cache 13 18 448 9 1 : tunables 0 0 0 : slabdata 2 2 0
sysfs_dir_cache 13770 13770 48 85 1 : tunables 0 0 0 : slabdata 162 162 0
mnt_cache 50 50 160 25 1 : tunables 0 0 0 : slabdata 2 2 0
filp 67744 67744 128 32 1 : tunables 0 0 0 : slabdata 2117 2117 0
inode_cache 3990 3991 312 13 1 : tunables 0 0 0 : slabdata 307 307 0
dentry 30620 30624 128 32 1 : tunables 0 0 0 : slabdata 957 957 0
names_cache 8 8 4096 8 8 : tunables 0 0 0 : slabdata 1 1 0
buffer_head 11030 28324 56 73 1 : tunables 0 0 0 : slabdata 388 388 0
vm_area_struct 1599 1656 88 46 1 : tunables 0 0 0 : slabdata 36 36 0
mm_struct 54 57 416 19 2 : tunables 0 0 0 : slabdata 3 3 0
fs_cache 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
files_cache 1323 1323 192 21 1 : tunables 0 0 0 : slabdata 63 63 0
signal_cache 2616 2616 512 8 1 : tunables 0 0 0 : slabdata 327 327 0
sighand_cache 76 84 1312 12 4 : tunables 0 0 0 : slabdata 7 7 0
task_xstate 248 248 512 8 1 : tunables 0 0 0 : slabdata 31 31 0
task_struct 2622 2622 832 19 4 : tunables 0 0 0 : slabdata 138 138 0
cred_jar 11886 11886 96 42 1 : tunables 0 0 0 : slabdata 283 283 0
anon_vma_chain 1667 1870 24 170 1 : tunables 0 0 0 : slabdata 11 11 0
anon_vma 1051 1190 24 170 1 : tunables 0 0 0 : slabdata 7 7 0
pid 2624 2624 64 64 1 : tunables 0 0 0 : slabdata 41 41 0
kmemleak_scan_area 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
kmemleak_object 1290696 1290696 168 24 1 : tunables 0 0 0 : slabdata 53779 53779 0
radix_tree_node 4888 4888 304 13 1 : tunables 0 0 0 : slabdata 376 376 0
idr_layer_cache 257 260 152 26 1 : tunables 0 0 0 : slabdata 10 10 0
dma-kmalloc-8192 0 0 8192 4 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-4096 0 0 4096 8 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-2048 0 0 2048 8 4 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-1024 0 0 1024 8 2 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-512 0 0 512 8 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-256 0 0 256 16 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-128 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-64 0 0 64 64 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-32 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-16 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-8 0 0 8 512 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-192 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-96 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-8192 12 12 8192 4 8 : tunables 0 0 0 : slabdata 3 3 0
kmalloc-4096 277 280 4096 8 8 : tunables 0 0 0 : slabdata 35 35 0
kmalloc-2048 544 592 2048 8 4 : tunables 0 0 0 : slabdata 74 74 0
kmalloc-1024 1462 1464 1024 8 2 : tunables 0 0 0 : slabdata 183 183 0
kmalloc-512 415 416 512 8 1 : tunables 0 0 0 : slabdata 52 52 0
kmalloc-256 46 48 256 16 1 : tunables 0 0 0 : slabdata 3 3 0
kmalloc-128 320 320 128 32 1 : tunables 0 0 0 : slabdata 10 10 0
kmalloc-64 2301 2304 64 64 1 : tunables 0 0 0 : slabdata 36 36 0
kmalloc-32 3186 3200 32 128 1 : tunables 0 0 0 : slabdata 25 25 0
kmalloc-16 2466 7168 16 256 1 : tunables 0 0 0 : slabdata 28 28 0
kmalloc-8 3580 3584 8 512 1 : tunables 0 0 0 : slabdata 7 7 0
kmalloc-192 168 168 192 21 1 : tunables 0 0 0 : slabdata 8 8 0
kmalloc-96 1050 1050 96 42 1 : tunables 0 0 0 : slabdata 25 25 0
kmem_cache 32 32 128 32 1 : tunables 0 0 0 : slabdata 1 1 0
kmem_cache_node 256 256 32 128 1 : tunables 0 0 0 : slabdata 2 2 0