Been on 1.2.4 for about a month now. While the lowmem problem appears
to be much better, there may still be a memory problem.
Memory on my "main" node (RHEL 4.0, 64-bit) is being consumed causing
swapping until swap space is eventually exausted and the server dies.
On this node/OCFS2 volume there are 16,000 - 30,000 small files created per day.
2nd node has no such activity and does not swap or crash.
Is there a way to tell conclusively what is consuming memory and
causing the swap spiral?
Here are some snapshot stats of the server 2/3 of the way to crashing,
before and after rebooting:
Before reboot, note the swap used:
total used free shared buffers cached
Mem: 4044496 3881996 162500 0 26676 1891848
-/+ buffers/cache: 1963472 2081024
Swap: 2097144 1205988 891156
slabinfo - version: 2.0
# name <active_objs> <num_objs> <objsize>
<objperslab>
<pagesperslab> : tunables <batchcount> <limit>
<sharedfactor> :
slabdata <active_slabs> <num_slabs> <sharedavail>
nfs_direct_cache 0 0 112 35 1 : tunables 120 60
8 : slabdata 0 0 0
nfs_write_data 36 40 768 5 1 : tunables 54 27
8 : slabdata 8 8 0
nfs_read_data 32 35 768 5 1 : tunables 54 27
8 : slabdata 7 7 0
nfs_inode_cache 1 4 1008 4 1 : tunables 54 27
8 : slabdata 1 1 0
nfs_page 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
asmdisk_cache 3 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
asm_request 22 31 128 31 1 : tunables 120 60
8 : slabdata 1 1 0
asmfs_inode_cache 10 18 640 6 1 : tunables 54 27
8 : slabdata 3 3 0
ocfs2_lock 16 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
ocfs2_inode_cache 3736 6076 1408 2 1 : tunables 24 12
8 : slabdata 3038 3038 0
ocfs2_uptodate 9028 15311 64 61 1 : tunables 120 60
8 : slabdata 251 251 0
ocfs2_em_ent 27442 90036 64 61 1 : tunables 120 60
8 : slabdata 1476 1476 0
dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27
8 : slabdata 1 1 0
dlm_mle_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12
8 : slabdata 4 4 0
rpc_tasks 8 10 384 10 1 : tunables 54 27
8 : slabdata 1 1 0
rpc_inode_cache 8 8 896 4 1 : tunables 54 27
8 : slabdata 2 2 0
fib6_nodes 7 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_dst_cache 7 10 384 10 1 : tunables 54 27
8 : slabdata 1 1 0
ndisc_cache 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
rawv6_sock 10 12 1024 4 1 : tunables 54 27
8 : slabdata 3 3 0
udpv6_sock 1 4 1024 4 1 : tunables 54 27
8 : slabdata 1 1 0
tcpv6_sock 8 12 1792 2 1 : tunables 24 12
8 : slabdata 6 6 0
ip_fib_alias 20 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
ip_fib_hash 19 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
pIo 548 5917 64 61 1 : tunables 120 60
8 : slabdata 97 97 0
pirpIo 512 518 1152 7 2 : tunables 24 12
8 : slabdata 74 74 0
uhci_urb_priv 2 90 88 45 1 : tunables 120 60
8 : slabdata 2 2 0
dm-snapshot-in 128 140 112 35 1 : tunables 120 60
8 : slabdata 4 4 0
dm-snapshot-ex 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
ext3_inode_cache 2696 3436 840 4 1 : tunables 54 27
8 : slabdata 859 859 0
ext3_xattr 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 105 243 48 81 1 : tunables 120 60
8 : slabdata 3 3 0
journal_head 329 675 88 45 1 : tunables 120 60
8 : slabdata 15 15 0
revoke_table 16 225 16 225 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 64 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
dm_tio 2018 2028 24 156 1 : tunables 120 60
8 : slabdata 13 13 44
dm_io 2006 2016 40 96 1 : tunables 120 60
8 : slabdata 21 21 44
qla2xxx_srbs 307 315 256 15 1 : tunables 120 60
8 : slabdata 21 21 0
scsi_cmd_cache 147 147 512 7 1 : tunables 54 27
8 : slabdata 21 21 0
sgpool-128 32 32 4096 1 1 : tunables 24 12
8 : slabdata 32 32 0
sgpool-64 32 32 2048 2 1 : tunables 24 12
8 : slabdata 16 16 0
sgpool-32 32 32 1024 4 1 : tunables 54 27
8 : slabdata 8 8 0
sgpool-16 48 48 512 8 1 : tunables 54 27
8 : slabdata 6 6 0
sgpool-8 240 240 256 15 1 : tunables 120 60
8 : slabdata 16 16 0
unix_sock 218 220 768 5 1 : tunables 54 27
8 : slabdata 44 44 0
ip_mrt_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_tw_bucket 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 37 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
tcp_open_request 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
inet_peer_cache 3 31 128 31 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
ip_dst_cache 103 160 384 10 1 : tunables 54 27
8 : slabdata 16 16 0
arp_cache 5 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
raw_sock 9 12 896 4 1 : tunables 54 27
8 : slabdata 3 3 0
udp_sock 792 792 896 4 1 : tunables 54 27
8 : slabdata 198 198 0
tcp_sock 339 345 1536 5 2 : tunables 24 12
8 : slabdata 69 69 0
flow_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54 27
8 : slabdata 1 1 0
relayfs_inode_cache 0 0 576 7 1 : tunables 54
27 8 : slabdata 0 0 0
isofs_inode_cache 0 0 616 6 1 : tunables 54 27
8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54
27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 736 5 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_xattr 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 224 17 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 3 54 72 54 1 : tunables 120 60
8 : slabdata 1 1 0
eventpoll_epi 3 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
kioctx 64 100 384 10 1 : tunables 54 27
8 : slabdata 10 10 0
kiocb 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
dnotify_cache 3 96 40 96 1 : tunables 120 60
8 : slabdata 1 1 0
fasync_cache 1 156 24 156 1 : tunables 120 60
8 : slabdata 1 1 0
shmem_inode_cache 374 405 800 5 1 : tunables 54 27
8 : slabdata 81 81 0
posix_timers_cache 0 0 184 21 1 : tunables 120 60
8 : slabdata 0 0 0
uid_cache 11 62 128 31 1 : tunables 120 60
8 : slabdata 2 2 0
cfq_pool 64 69 56 69 1 : tunables 120 60
8 : slabdata 1 1 0
crq_pool 0 0 72 54 1 : tunables 120 60
8 : slabdata 0 0 0
deadline_drq 246 246 96 41 1 : tunables 120 60
8 : slabdata 6 6 0
as_arq 0 0 112 35 1 : tunables 120 60
8 : slabdata 0 0 0
blkdev_ioc 482 595 32 119 1 : tunables 120 60
8 : slabdata 5 5 0
blkdev_queue 33 54 848 9 2 : tunables 54 27
8 : slabdata 6 6 0
blkdev_requests 180 180 264 15 1 : tunables 54 27
8 : slabdata 12 12 27
biovec-(256) 256 256 4096 1 1 : tunables 24 12
8 : slabdata 256 256 0
biovec-128 256 256 2048 2 1 : tunables 24 12
8 : slabdata 128 128 0
biovec-64 259 264 1024 4 1 : tunables 54 27
8 : slabdata 66 66 0
biovec-16 456 480 256 15 1 : tunables 120 60
8 : slabdata 32 32 0
biovec-4 430 732 64 61 1 : tunables 120 60
8 : slabdata 12 12 0
biovec-1 566 6300 16 225 1 : tunables 120 60
8 : slabdata 28 28 0
bio 777 4805 128 31 1 : tunables 120 60
8 : slabdata 155 155 60
file_lock_cache 91 150 160 25 1 : tunables 120 60
8 : slabdata 6 6 0
sock_inode_cache 1403 1420 768 5 1 : tunables 54 27
8 : slabdata 284 284 0
skbuff_head_cache 1169 2080 384 10 1 : tunables 54 27
8 : slabdata 208 208 0
sock 12 12 640 6 1 : tunables 54 27
8 : slabdata 2 2 0
proc_inode_cache 1567 1998 600 6 1 : tunables 54 27
8 : slabdata 333 333 0
sigqueue 485 575 168 23 1 : tunables 120 60
8 : slabdata 25 25 7
radix_tree_node 12921 16135 536 7 1 : tunables 54 27
8 : slabdata 2305 2305 0
bdev_cache 34 50 768 5 1 : tunables 54 27
8 : slabdata 10 10 0
mnt_cache 42 80 192 20 1 : tunables 120 60
8 : slabdata 4 4 0
audit_watch_cache 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
inode_cache 1075 1295 568 7 1 : tunables 54 27
8 : slabdata 185 185 0
dentry_cache 9364 23760 240 16 1 : tunables 120 60
8 : slabdata 1485 1485 15
filp 11519 12135 256 15 1 : tunables 120 60
8 : slabdata 809 809 0
names_cache 112 112 4096 1 1 : tunables 24 12
8 : slabdata 112 112 12
avc_node 12 432 72 54 1 : tunables 120 60
8 : slabdata 8 8 0
key_jar 22 60 192 20 1 : tunables 120 60
8 : slabdata 3 3 0
idr_layer_cache 79 91 528 7 1 : tunables 54 27
8 : slabdata 13 13 0
buffer_head 27937 29880 88 45 1 : tunables 120 60
8 : slabdata 664 664 0
mm_struct 553 581 1152 7 2 : tunables 24 12
8 : slabdata 83 83 24
vm_area_struct 37004 39732 176 22 1 : tunables 120 60
8 : slabdata 1806 1806 300
fs_cache 916 1098 64 61 1 : tunables 120 60
8 : slabdata 18 18 0
files_cache 667 711 832 9 2 : tunables 54 27
8 : slabdata 79 79 0
signal_cache 914 1065 256 15 1 : tunables 120 60
8 : slabdata 71 71 15
sighand_cache 647 657 2112 3 2 : tunables 24 12
8 : slabdata 219 219 0
task_struct 819 826 1984 2 1 : tunables 24 12
8 : slabdata 413 413 12
anon_vma 22080 22932 24 156 1 : tunables 120 60
8 : slabdata 147 147 120
shared_policy_node 0 0 56 69 1 : tunables 120 60
8 : slabdata 0 0 0
numa_policy 68 450 16 225 1 : tunables 120 60
8 : slabdata 2 2 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 1 1 131072 1 32 : tunables 8 4
0 : slabdata 1 1 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 1 1 65536 1 16 : tunables 8 4
0 : slabdata 1 1 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 4 4 32768 1 8 : tunables 8 4
0 : slabdata 4 4 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 23 23 16384 1 4 : tunables 8 4
0 : slabdata 23 23 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 49 55 8192 1 2 : tunables 8 4
0 : slabdata 49 55 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 1164 1164 4096 1 1 : tunables 24 12
8 : slabdata 1164 1164 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 216 236 2048 2 1 : tunables 24 12
8 : slabdata 114 118 16
size-1620(DMA) 0 0 1664 4 2 : tunables 24 12
8 : slabdata 0 0 0
size-1620 126 144 1664 4 2 : tunables 24 12
8 : slabdata 36 36 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 964 2408 1024 4 1 : tunables 54 27
8 : slabdata 602 602 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 8176 24432 512 8 1 : tunables 54 27
8 : slabdata 3054 3054 54
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 1860 3960 256 15 1 : tunables 120 60
8 : slabdata 264 264 0
size-128(DMA) 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
size-128 11302 38006 128 31 1 : tunables 120 60
8 : slabdata 1226 1226 0
size-64(DMA) 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
size-64 11310 29219 64 61 1 : tunables 120 60
8 : slabdata 479 479 0
size-32(DMA) 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 9665 39865 32 119 1 : tunables 120 60
8 : slabdata 335 335 0
kmem_cache 195 195 256 15 1 : tunables 120 60
8 : slabdata 13 13 0
local=87054, remote=43, unknown=0
After reboot:
total used free shared buffers cached
Mem: 4044496 1388324 2656172 0 31816 807168
-/+ buffers/cache: 549340 3495156
Swap: 2097144 0 2097144
slabinfo - version: 2.0
# name <active_objs> <num_objs> <objsize>
<objperslab>
<pagesperslab> : tunables <batchcount> <limit>
<sharedfactor> :
slabdata <active_slabs> <num_slabs> <sharedavail>
asmdisk_cache 3 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
asm_request 36 62 128 31 1 : tunables 120 60
8 : slabdata 2 2 0
asmfs_inode_cache 10 18 640 6 1 : tunables 54 27
8 : slabdata 3 3 0
ocfs2_lock 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
ocfs2_inode_cache 82 82 1408 2 1 : tunables 24 12
8 : slabdata 41 41 0
ocfs2_uptodate 7050 7076 64 61 1 : tunables 120 60
8 : slabdata 116 116 0
ocfs2_em_ent 1427 1464 64 61 1 : tunables 120 60
8 : slabdata 24 24 0
nfs_direct_cache 0 0 112 35 1 : tunables 120 60
8 : slabdata 0 0 0
nfs_write_data 36 40 768 5 1 : tunables 54 27
8 : slabdata 8 8 0
nfs_read_data 32 35 768 5 1 : tunables 54 27
8 : slabdata 7 7 0
nfs_inode_cache 1 4 1008 4 1 : tunables 54 27
8 : slabdata 1 1 0
nfs_page 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27
8 : slabdata 1 1 0
dlm_mle_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
rpc_buffers 8 8 2048 2 1 : tunables 24 12
8 : slabdata 4 4 0
rpc_tasks 8 10 384 10 1 : tunables 54 27
8 : slabdata 1 1 0
rpc_inode_cache 8 12 896 4 1 : tunables 54 27
8 : slabdata 3 3 0
fib6_nodes 7 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
ip6_dst_cache 7 20 384 10 1 : tunables 54 27
8 : slabdata 2 2 0
ndisc_cache 1 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
rawv6_sock 10 12 1024 4 1 : tunables 54 27
8 : slabdata 3 3 0
udpv6_sock 1 4 1024 4 1 : tunables 54 27
8 : slabdata 1 1 0
tcpv6_sock 6 6 1792 2 1 : tunables 24 12
8 : slabdata 3 3 0
ip_fib_alias 20 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
ip_fib_hash 19 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
pIo 557 610 64 61 1 : tunables 120 60
8 : slabdata 10 10 0
pirpIo 512 518 1152 7 2 : tunables 24 12
8 : slabdata 74 74 0
uhci_urb_priv 2 45 88 45 1 : tunables 120 60
8 : slabdata 1 1 0
dm-snapshot-in 128 140 112 35 1 : tunables 120 60
8 : slabdata 4 4 0
dm-snapshot-ex 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
ext3_inode_cache 9304 9324 840 4 1 : tunables 54 27
8 : slabdata 2331 2331 0
ext3_xattr 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 59 162 48 81 1 : tunables 120 60
8 : slabdata 2 2 0
journal_head 266 1125 88 45 1 : tunables 120 60
8 : slabdata 25 25 0
revoke_table 16 225 16 225 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
dm_tio 1943 2184 24 156 1 : tunables 120 60
8 : slabdata 14 14 0
dm_io 1943 2112 40 96 1 : tunables 120 60
8 : slabdata 22 22 0
qla2xxx_srbs 301 315 256 15 1 : tunables 120 60
8 : slabdata 21 21 0
scsi_cmd_cache 56 70 512 7 1 : tunables 54 27
8 : slabdata 10 10 0
sgpool-128 32 32 4096 1 1 : tunables 24 12
8 : slabdata 32 32 0
sgpool-64 32 32 2048 2 1 : tunables 24 12
8 : slabdata 16 16 0
sgpool-32 32 32 1024 4 1 : tunables 54 27
8 : slabdata 8 8 0
sgpool-16 40 40 512 8 1 : tunables 54 27
8 : slabdata 5 5 0
sgpool-8 68 120 256 15 1 : tunables 120 60
8 : slabdata 8 8 0
unix_sock 222 235 768 5 1 : tunables 54 27
8 : slabdata 47 47 0
ip_mrt_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_tw_bucket 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 38 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
tcp_open_request 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
inet_peer_cache 3 31 128 31 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
ip_dst_cache 21 60 384 10 1 : tunables 54 27
8 : slabdata 6 6 0
arp_cache 5 45 256 15 1 : tunables 120 60
8 : slabdata 3 3 0
raw_sock 9 12 896 4 1 : tunables 54 27
8 : slabdata 3 3 0
udp_sock 194 224 896 4 1 : tunables 54 27
8 : slabdata 56 56 0
tcp_sock 49 65 1536 5 2 : tunables 24 12
8 : slabdata 13 13 0
flow_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
mqueue_inode_cache 1 4 896 4 1 : tunables 54 27
8 : slabdata 1 1 0
relayfs_inode_cache 0 0 576 7 1 : tunables 54
27 8 : slabdata 0 0 0
isofs_inode_cache 0 0 616 6 1 : tunables 54 27
8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54
27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 736 5 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_xattr 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 224 17 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 3 54 72 54 1 : tunables 120 60
8 : slabdata 1 1 0
eventpoll_epi 3 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
kioctx 50 100 384 10 1 : tunables 54 27
8 : slabdata 10 10 0
kiocb 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
dnotify_cache 3 96 40 96 1 : tunables 120 60
8 : slabdata 1 1 0
fasync_cache 1 156 24 156 1 : tunables 120 60
8 : slabdata 1 1 0
shmem_inode_cache 369 400 800 5 1 : tunables 54 27
8 : slabdata 80 80 0
posix_timers_cache 0 0 184 21 1 : tunables 120 60
8 : slabdata 0 0 0
uid_cache 10 31 128 31 1 : tunables 120 60
8 : slabdata 1 1 0
cfq_pool 64 69 56 69 1 : tunables 120 60
8 : slabdata 1 1 0
crq_pool 0 0 72 54 1 : tunables 120 60
8 : slabdata 0 0 0
deadline_drq 145 246 96 41 1 : tunables 120 60
8 : slabdata 5 6 0
as_arq 0 0 112 35 1 : tunables 120 60
8 : slabdata 0 0 0
blkdev_ioc 102 357 32 119 1 : tunables 120 60
8 : slabdata 3 3 0
blkdev_queue 33 54 848 9 2 : tunables 54 27
8 : slabdata 6 6 0
blkdev_requests 90 120 264 15 1 : tunables 54 27
8 : slabdata 8 8 0
biovec-(256) 256 256 4096 1 1 : tunables 24 12
8 : slabdata 256 256 0
biovec-128 256 256 2048 2 1 : tunables 24 12
8 : slabdata 128 128 0
biovec-64 256 256 1024 4 1 : tunables 54 27
8 : slabdata 64 64 0
biovec-16 279 345 256 15 1 : tunables 120 60
8 : slabdata 23 23 0
biovec-4 269 427 64 61 1 : tunables 120 60
8 : slabdata 7 7 0
biovec-1 401 1125 16 225 1 : tunables 120 60
8 : slabdata 5 5 12
bio 469 744 128 31 1 : tunables 120 60
8 : slabdata 23 24 0
file_lock_cache 153 175 160 25 1 : tunables 120 60
8 : slabdata 7 7 0
sock_inode_cache 465 490 768 5 1 : tunables 54 27
8 : slabdata 98 98 0
skbuff_head_cache 675 910 384 10 1 : tunables 54 27
8 : slabdata 91 91 11
sock 12 12 640 6 1 : tunables 54 27
8 : slabdata 2 2 0
proc_inode_cache 1313 1314 600 6 1 : tunables 54 27
8 : slabdata 219 219 0
sigqueue 447 598 168 23 1 : tunables 120 60
8 : slabdata 26 26 0
radix_tree_node 10871 10871 536 7 1 : tunables 54 27
8 : slabdata 1553 1553 0
bdev_cache 47 50 768 5 1 : tunables 54 27
8 : slabdata 10 10 0
mnt_cache 42 100 192 20 1 : tunables 120 60
8 : slabdata 5 5 0
audit_watch_cache 0 0 88 45 1 : tunables 120 60
8 : slabdata 0 0 0
inode_cache 2204 2268 568 7 1 : tunables 54 27
8 : slabdata 324 324 0
dentry_cache 17289 17392 240 16 1 : tunables 120 60
8 : slabdata 1087 1087 60
filp 3670 3780 256 15 1 : tunables 120 60
8 : slabdata 252 252 180
names_cache 125 125 4096 1 1 : tunables 24 12
8 : slabdata 125 125 24
avc_node 12 540 72 54 1 : tunables 120 60
8 : slabdata 10 10 0
key_jar 20 40 192 20 1 : tunables 120 60
8 : slabdata 2 2 0
idr_layer_cache 79 98 528 7 1 : tunables 54 27
8 : slabdata 14 14 0
buffer_head 24744 29925 88 45 1 : tunables 120 60
8 : slabdata 665 665 0
mm_struct 249 259 1152 7 2 : tunables 24 12
8 : slabdata 37 37 0
vm_area_struct 9690 9966 176 22 1 : tunables 120 60
8 : slabdata 453 453 240
fs_cache 580 732 64 61 1 : tunables 120 60
8 : slabdata 12 12 30
files_cache 354 405 832 9 2 : tunables 54 27
8 : slabdata 45 45 0
signal_cache 675 720 256 15 1 : tunables 120 60
8 : slabdata 48 48 0
sighand_cache 341 357 2112 3 2 : tunables 24 12
8 : slabdata 119 119 24
task_struct 536 536 1984 2 1 : tunables 24 12
8 : slabdata 268 268 12
anon_vma 5244 5616 24 156 1 : tunables 120 60
8 : slabdata 36 36 120
shared_policy_node 0 0 56 69 1 : tunables 120 60
8 : slabdata 0 0 0
numa_policy 68 675 16 225 1 : tunables 120 60
8 : slabdata 3 3 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 1 1 131072 1 32 : tunables 8 4
0 : slabdata 1 1 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 1 1 65536 1 16 : tunables 8 4
0 : slabdata 1 1 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 4 4 32768 1 8 : tunables 8 4
0 : slabdata 4 4 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 5 5 16384 1 4 : tunables 8 4
0 : slabdata 5 5 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 38 38 8192 1 2 : tunables 8 4
0 : slabdata 38 38 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 707 710 4096 1 1 : tunables 24 12
8 : slabdata 707 710 12
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 233 238 2048 2 1 : tunables 24 12
8 : slabdata 119 119 12
size-1620(DMA) 0 0 1664 4 2 : tunables 24 12
8 : slabdata 0 0 0
size-1620 102 156 1664 4 2 : tunables 24 12
8 : slabdata 39 39 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 930 2408 1024 4 1 : tunables 54 27
8 : slabdata 602 602 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 882 2816 512 8 1 : tunables 54 27
8 : slabdata 352 352 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 1927 3960 256 15 1 : tunables 120 60
8 : slabdata 264 264 0
size-128(DMA) 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
size-128 3840 4681 128 31 1 : tunables 120 60
8 : slabdata 151 151 0
size-64(DMA) 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
size-64 7853 25620 64 61 1 : tunables 120 60
8 : slabdata 420 420 0
size-32(DMA) 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 2233 20944 32 119 1 : tunables 120 60
8 : slabdata 176 176 30
kmem_cache 210 210 256 15 1 : tunables 120 60
8 : slabdata 14 14 0
local=77, remote=26, unknown=0
--
Brian
Brian, can you have a look at this bug report and comment there if you think your bug is the same as ours? http://oss.oracle.com/bugzilla/show_bug.cgi?id=864>From what you've said so far it looks very similar.John On Thu, 2007-03-29 at 00:21 -0500, Brian Sieler wrote:> Been on 1.2.4 for about a month now. While the lowmem problem appears > to be much better, there may still be a memory problem. > > Memory on my "main" node (RHEL 4.0, 64-bit) is being consumed causing > swapping until swap space is eventually exausted and the server dies. > > On this node/OCFS2 volume there are 16,000 - 30,000 small files created per day. > 2nd node has no such activity and does not swap or crash. > > Is there a way to tell conclusively what is consuming memory and > causing the swap spiral? > > Here are some snapshot stats of the server 2/3 of the way to crashing, > before and after rebooting: > > Before reboot, note the swap used: > > total used free shared buffers cached > Mem: 4044496 3881996 162500 0 26676 1891848 > -/+ buffers/cache: 1963472 2081024 > Swap: 2097144 1205988 891156 > > > slabinfo - version: 2.0 > # name <active_objs> <num_objs> <objsize> <objperslab> > <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : > slabdata <active_slabs> <num_slabs> <sharedavail> > nfs_direct_cache 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > nfs_write_data 36 40 768 5 1 : tunables 54 27 > 8 : slabdata 8 8 0 > nfs_read_data 32 35 768 5 1 : tunables 54 27 > 8 : slabdata 7 7 0 > nfs_inode_cache 1 4 1008 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > nfs_page 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > asmdisk_cache 3 6 640 6 1 : tunables 54 27 > 8 : slabdata 1 1 0 > asm_request 22 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > asmfs_inode_cache 10 18 640 6 1 : tunables 54 27 > 8 : slabdata 3 3 0 > ocfs2_lock 16 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ocfs2_inode_cache 3736 6076 1408 2 1 : tunables 24 12 > 8 : slabdata 3038 3038 0 > ocfs2_uptodate 9028 15311 64 61 1 : tunables 120 60 > 8 : slabdata 251 251 0 > ocfs2_em_ent 27442 90036 64 61 1 : tunables 120 60 > 8 : slabdata 1476 1476 0 > dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > dlm_mle_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > rpc_buffers 8 8 2048 2 1 : tunables 24 12 > 8 : slabdata 4 4 0 > rpc_tasks 8 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > rpc_inode_cache 8 8 896 4 1 : tunables 54 27 > 8 : slabdata 2 2 0 > fib6_nodes 7 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip6_dst_cache 7 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > ndisc_cache 1 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > rawv6_sock 10 12 1024 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udpv6_sock 1 4 1024 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > tcpv6_sock 8 12 1792 2 1 : tunables 24 12 > 8 : slabdata 6 6 0 > ip_fib_alias 20 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip_fib_hash 19 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > pIo 548 5917 64 61 1 : tunables 120 60 > 8 : slabdata 97 97 0 > pirpIo 512 518 1152 7 2 : tunables 24 12 > 8 : slabdata 74 74 0 > uhci_urb_priv 2 90 88 45 1 : tunables 120 60 > 8 : slabdata 2 2 0 > dm-snapshot-in 128 140 112 35 1 : tunables 120 60 > 8 : slabdata 4 4 0 > dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ext3_inode_cache 2696 3436 840 4 1 : tunables 54 27 > 8 : slabdata 859 859 0 > ext3_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > journal_handle 105 243 48 81 1 : tunables 120 60 > 8 : slabdata 3 3 0 > journal_head 329 675 88 45 1 : tunables 120 60 > 8 : slabdata 15 15 0 > revoke_table 16 225 16 225 1 : tunables 120 60 > 8 : slabdata 1 1 0 > revoke_record 64 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > dm_tio 2018 2028 24 156 1 : tunables 120 60 > 8 : slabdata 13 13 44 > dm_io 2006 2016 40 96 1 : tunables 120 60 > 8 : slabdata 21 21 44 > qla2xxx_srbs 307 315 256 15 1 : tunables 120 60 > 8 : slabdata 21 21 0 > scsi_cmd_cache 147 147 512 7 1 : tunables 54 27 > 8 : slabdata 21 21 0 > sgpool-128 32 32 4096 1 1 : tunables 24 12 > 8 : slabdata 32 32 0 > sgpool-64 32 32 2048 2 1 : tunables 24 12 > 8 : slabdata 16 16 0 > sgpool-32 32 32 1024 4 1 : tunables 54 27 > 8 : slabdata 8 8 0 > sgpool-16 48 48 512 8 1 : tunables 54 27 > 8 : slabdata 6 6 0 > sgpool-8 240 240 256 15 1 : tunables 120 60 > 8 : slabdata 16 16 0 > unix_sock 218 220 768 5 1 : tunables 54 27 > 8 : slabdata 44 44 0 > ip_mrt_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_tw_bucket 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_bind_bucket 37 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > tcp_open_request 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inet_peer_cache 3 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > secpath_cache 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ip_dst_cache 103 160 384 10 1 : tunables 54 27 > 8 : slabdata 16 16 0 > arp_cache 5 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > raw_sock 9 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udp_sock 792 792 896 4 1 : tunables 54 27 > 8 : slabdata 198 198 0 > tcp_sock 339 345 1536 5 2 : tunables 24 12 > 8 : slabdata 69 69 0 > flow_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > relayfs_inode_cache 0 0 576 7 1 : tunables 54 > 27 8 : slabdata 0 0 0 > isofs_inode_cache 0 0 616 6 1 : tunables 54 27 > 8 : slabdata 0 0 0 > hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 > 27 8 : slabdata 1 1 0 > ext2_inode_cache 0 0 736 5 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ext2_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dquot 0 0 224 17 1 : tunables 120 60 > 8 : slabdata 0 0 0 > eventpoll_pwq 3 54 72 54 1 : tunables 120 60 > 8 : slabdata 1 1 0 > eventpoll_epi 3 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > kioctx 64 100 384 10 1 : tunables 54 27 > 8 : slabdata 10 10 0 > kiocb 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dnotify_cache 3 96 40 96 1 : tunables 120 60 > 8 : slabdata 1 1 0 > fasync_cache 1 156 24 156 1 : tunables 120 60 > 8 : slabdata 1 1 0 > shmem_inode_cache 374 405 800 5 1 : tunables 54 27 > 8 : slabdata 81 81 0 > posix_timers_cache 0 0 184 21 1 : tunables 120 60 > 8 : slabdata 0 0 0 > uid_cache 11 62 128 31 1 : tunables 120 60 > 8 : slabdata 2 2 0 > cfq_pool 64 69 56 69 1 : tunables 120 60 > 8 : slabdata 1 1 0 > crq_pool 0 0 72 54 1 : tunables 120 60 > 8 : slabdata 0 0 0 > deadline_drq 246 246 96 41 1 : tunables 120 60 > 8 : slabdata 6 6 0 > as_arq 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > blkdev_ioc 482 595 32 119 1 : tunables 120 60 > 8 : slabdata 5 5 0 > blkdev_queue 33 54 848 9 2 : tunables 54 27 > 8 : slabdata 6 6 0 > blkdev_requests 180 180 264 15 1 : tunables 54 27 > 8 : slabdata 12 12 27 > biovec-(256) 256 256 4096 1 1 : tunables 24 12 > 8 : slabdata 256 256 0 > biovec-128 256 256 2048 2 1 : tunables 24 12 > 8 : slabdata 128 128 0 > biovec-64 259 264 1024 4 1 : tunables 54 27 > 8 : slabdata 66 66 0 > biovec-16 456 480 256 15 1 : tunables 120 60 > 8 : slabdata 32 32 0 > biovec-4 430 732 64 61 1 : tunables 120 60 > 8 : slabdata 12 12 0 > biovec-1 566 6300 16 225 1 : tunables 120 60 > 8 : slabdata 28 28 0 > bio 777 4805 128 31 1 : tunables 120 60 > 8 : slabdata 155 155 60 > file_lock_cache 91 150 160 25 1 : tunables 120 60 > 8 : slabdata 6 6 0 > sock_inode_cache 1403 1420 768 5 1 : tunables 54 27 > 8 : slabdata 284 284 0 > skbuff_head_cache 1169 2080 384 10 1 : tunables 54 27 > 8 : slabdata 208 208 0 > sock 12 12 640 6 1 : tunables 54 27 > 8 : slabdata 2 2 0 > proc_inode_cache 1567 1998 600 6 1 : tunables 54 27 > 8 : slabdata 333 333 0 > sigqueue 485 575 168 23 1 : tunables 120 60 > 8 : slabdata 25 25 7 > radix_tree_node 12921 16135 536 7 1 : tunables 54 27 > 8 : slabdata 2305 2305 0 > bdev_cache 34 50 768 5 1 : tunables 54 27 > 8 : slabdata 10 10 0 > mnt_cache 42 80 192 20 1 : tunables 120 60 > 8 : slabdata 4 4 0 > audit_watch_cache 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inode_cache 1075 1295 568 7 1 : tunables 54 27 > 8 : slabdata 185 185 0 > dentry_cache 9364 23760 240 16 1 : tunables 120 60 > 8 : slabdata 1485 1485 15 > filp 11519 12135 256 15 1 : tunables 120 60 > 8 : slabdata 809 809 0 > names_cache 112 112 4096 1 1 : tunables 24 12 > 8 : slabdata 112 112 12 > avc_node 12 432 72 54 1 : tunables 120 60 > 8 : slabdata 8 8 0 > key_jar 22 60 192 20 1 : tunables 120 60 > 8 : slabdata 3 3 0 > idr_layer_cache 79 91 528 7 1 : tunables 54 27 > 8 : slabdata 13 13 0 > buffer_head 27937 29880 88 45 1 : tunables 120 60 > 8 : slabdata 664 664 0 > mm_struct 553 581 1152 7 2 : tunables 24 12 > 8 : slabdata 83 83 24 > vm_area_struct 37004 39732 176 22 1 : tunables 120 60 > 8 : slabdata 1806 1806 300 > fs_cache 916 1098 64 61 1 : tunables 120 60 > 8 : slabdata 18 18 0 > files_cache 667 711 832 9 2 : tunables 54 27 > 8 : slabdata 79 79 0 > signal_cache 914 1065 256 15 1 : tunables 120 60 > 8 : slabdata 71 71 15 > sighand_cache 647 657 2112 3 2 : tunables 24 12 > 8 : slabdata 219 219 0 > task_struct 819 826 1984 2 1 : tunables 24 12 > 8 : slabdata 413 413 12 > anon_vma 22080 22932 24 156 1 : tunables 120 60 > 8 : slabdata 147 147 120 > shared_policy_node 0 0 56 69 1 : tunables 120 60 > 8 : slabdata 0 0 0 > numa_policy 68 450 16 225 1 : tunables 120 60 > 8 : slabdata 2 2 0 > size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 > 0 : slabdata 0 0 0 > size-131072 1 1 131072 1 32 : tunables 8 4 > 0 : slabdata 1 1 0 > size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 > 0 : slabdata 0 0 0 > size-65536 1 1 65536 1 16 : tunables 8 4 > 0 : slabdata 1 1 0 > size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 > 0 : slabdata 0 0 0 > size-32768 4 4 32768 1 8 : tunables 8 4 > 0 : slabdata 4 4 0 > size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 > 0 : slabdata 0 0 0 > size-16384 23 23 16384 1 4 : tunables 8 4 > 0 : slabdata 23 23 0 > size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 > 0 : slabdata 0 0 0 > size-8192 49 55 8192 1 2 : tunables 8 4 > 0 : slabdata 49 55 0 > size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-4096 1164 1164 4096 1 1 : tunables 24 12 > 8 : slabdata 1164 1164 0 > size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-2048 216 236 2048 2 1 : tunables 24 12 > 8 : slabdata 114 118 16 > size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 > 8 : slabdata 0 0 0 > size-1620 126 144 1664 4 2 : tunables 24 12 > 8 : slabdata 36 36 0 > size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-1024 964 2408 1024 4 1 : tunables 54 27 > 8 : slabdata 602 602 0 > size-512(DMA) 0 0 512 8 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-512 8176 24432 512 8 1 : tunables 54 27 > 8 : slabdata 3054 3054 54 > size-256(DMA) 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-256 1860 3960 256 15 1 : tunables 120 60 > 8 : slabdata 264 264 0 > size-128(DMA) 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-128 11302 38006 128 31 1 : tunables 120 60 > 8 : slabdata 1226 1226 0 > size-64(DMA) 0 0 64 61 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-64 11310 29219 64 61 1 : tunables 120 60 > 8 : slabdata 479 479 0 > size-32(DMA) 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-32 9665 39865 32 119 1 : tunables 120 60 > 8 : slabdata 335 335 0 > kmem_cache 195 195 256 15 1 : tunables 120 60 > 8 : slabdata 13 13 0 > local=87054, remote=43, unknown=0 > > > > After reboot: > > > > total used free shared buffers cached > Mem: 4044496 1388324 2656172 0 31816 807168 > -/+ buffers/cache: 549340 3495156 > Swap: 2097144 0 2097144 > > slabinfo - version: 2.0 > # name <active_objs> <num_objs> <objsize> <objperslab> > <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : > slabdata <active_slabs> <num_slabs> <sharedavail> > asmdisk_cache 3 6 640 6 1 : tunables 54 27 > 8 : slabdata 1 1 0 > asm_request 36 62 128 31 1 : tunables 120 60 > 8 : slabdata 2 2 0 > asmfs_inode_cache 10 18 640 6 1 : tunables 54 27 > 8 : slabdata 3 3 0 > ocfs2_lock 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ocfs2_inode_cache 82 82 1408 2 1 : tunables 24 12 > 8 : slabdata 41 41 0 > ocfs2_uptodate 7050 7076 64 61 1 : tunables 120 60 > 8 : slabdata 116 116 0 > ocfs2_em_ent 1427 1464 64 61 1 : tunables 120 60 > 8 : slabdata 24 24 0 > nfs_direct_cache 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > nfs_write_data 36 40 768 5 1 : tunables 54 27 > 8 : slabdata 8 8 0 > nfs_read_data 32 35 768 5 1 : tunables 54 27 > 8 : slabdata 7 7 0 > nfs_inode_cache 1 4 1008 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > nfs_page 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > dlm_mle_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > rpc_buffers 8 8 2048 2 1 : tunables 24 12 > 8 : slabdata 4 4 0 > rpc_tasks 8 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > rpc_inode_cache 8 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > fib6_nodes 7 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip6_dst_cache 7 20 384 10 1 : tunables 54 27 > 8 : slabdata 2 2 0 > ndisc_cache 1 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > rawv6_sock 10 12 1024 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udpv6_sock 1 4 1024 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > tcpv6_sock 6 6 1792 2 1 : tunables 24 12 > 8 : slabdata 3 3 0 > ip_fib_alias 20 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip_fib_hash 19 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > pIo 557 610 64 61 1 : tunables 120 60 > 8 : slabdata 10 10 0 > pirpIo 512 518 1152 7 2 : tunables 24 12 > 8 : slabdata 74 74 0 > uhci_urb_priv 2 45 88 45 1 : tunables 120 60 > 8 : slabdata 1 1 0 > dm-snapshot-in 128 140 112 35 1 : tunables 120 60 > 8 : slabdata 4 4 0 > dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ext3_inode_cache 9304 9324 840 4 1 : tunables 54 27 > 8 : slabdata 2331 2331 0 > ext3_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > journal_handle 59 162 48 81 1 : tunables 120 60 > 8 : slabdata 2 2 0 > journal_head 266 1125 88 45 1 : tunables 120 60 > 8 : slabdata 25 25 0 > revoke_table 16 225 16 225 1 : tunables 120 60 > 8 : slabdata 1 1 0 > revoke_record 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dm_tio 1943 2184 24 156 1 : tunables 120 60 > 8 : slabdata 14 14 0 > dm_io 1943 2112 40 96 1 : tunables 120 60 > 8 : slabdata 22 22 0 > qla2xxx_srbs 301 315 256 15 1 : tunables 120 60 > 8 : slabdata 21 21 0 > scsi_cmd_cache 56 70 512 7 1 : tunables 54 27 > 8 : slabdata 10 10 0 > sgpool-128 32 32 4096 1 1 : tunables 24 12 > 8 : slabdata 32 32 0 > sgpool-64 32 32 2048 2 1 : tunables 24 12 > 8 : slabdata 16 16 0 > sgpool-32 32 32 1024 4 1 : tunables 54 27 > 8 : slabdata 8 8 0 > sgpool-16 40 40 512 8 1 : tunables 54 27 > 8 : slabdata 5 5 0 > sgpool-8 68 120 256 15 1 : tunables 120 60 > 8 : slabdata 8 8 0 > unix_sock 222 235 768 5 1 : tunables 54 27 > 8 : slabdata 47 47 0 > ip_mrt_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_tw_bucket 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_bind_bucket 38 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > tcp_open_request 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inet_peer_cache 3 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > secpath_cache 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ip_dst_cache 21 60 384 10 1 : tunables 54 27 > 8 : slabdata 6 6 0 > arp_cache 5 45 256 15 1 : tunables 120 60 > 8 : slabdata 3 3 0 > raw_sock 9 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udp_sock 194 224 896 4 1 : tunables 54 27 > 8 : slabdata 56 56 0 > tcp_sock 49 65 1536 5 2 : tunables 24 12 > 8 : slabdata 13 13 0 > flow_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > relayfs_inode_cache 0 0 576 7 1 : tunables 54 > 27 8 : slabdata 0 0 0 > isofs_inode_cache 0 0 616 6 1 : tunables 54 27 > 8 : slabdata 0 0 0 > hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 > 27 8 : slabdata 1 1 0 > ext2_inode_cache 0 0 736 5 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ext2_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dquot 0 0 224 17 1 : tunables 120 60 > 8 : slabdata 0 0 0 > eventpoll_pwq 3 54 72 54 1 : tunables 120 60 > 8 : slabdata 1 1 0 > eventpoll_epi 3 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > kioctx 50 100 384 10 1 : tunables 54 27 > 8 : slabdata 10 10 0 > kiocb 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dnotify_cache 3 96 40 96 1 : tunables 120 60 > 8 : slabdata 1 1 0 > fasync_cache 1 156 24 156 1 : tunables 120 60 > 8 : slabdata 1 1 0 > shmem_inode_cache 369 400 800 5 1 : tunables 54 27 > 8 : slabdata 80 80 0 > posix_timers_cache 0 0 184 21 1 : tunables 120 60 > 8 : slabdata 0 0 0 > uid_cache 10 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > cfq_pool 64 69 56 69 1 : tunables 120 60 > 8 : slabdata 1 1 0 > crq_pool 0 0 72 54 1 : tunables 120 60 > 8 : slabdata 0 0 0 > deadline_drq 145 246 96 41 1 : tunables 120 60 > 8 : slabdata 5 6 0 > as_arq 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > blkdev_ioc 102 357 32 119 1 : tunables 120 60 > 8 : slabdata 3 3 0 > blkdev_queue 33 54 848 9 2 : tunables 54 27 > 8 : slabdata 6 6 0 > blkdev_requests 90 120 264 15 1 : tunables 54 27 > 8 : slabdata 8 8 0 > biovec-(256) 256 256 4096 1 1 : tunables 24 12 > 8 : slabdata 256 256 0 > biovec-128 256 256 2048 2 1 : tunables 24 12 > 8 : slabdata 128 128 0 > biovec-64 256 256 1024 4 1 : tunables 54 27 > 8 : slabdata 64 64 0 > biovec-16 279 345 256 15 1 : tunables 120 60 > 8 : slabdata 23 23 0 > biovec-4 269 427 64 61 1 : tunables 120 60 > 8 : slabdata 7 7 0 > biovec-1 401 1125 16 225 1 : tunables 120 60 > 8 : slabdata 5 5 12 > bio 469 744 128 31 1 : tunables 120 60 > 8 : slabdata 23 24 0 > file_lock_cache 153 175 160 25 1 : tunables 120 60 > 8 : slabdata 7 7 0 > sock_inode_cache 465 490 768 5 1 : tunables 54 27 > 8 : slabdata 98 98 0 > skbuff_head_cache 675 910 384 10 1 : tunables 54 27 > 8 : slabdata 91 91 11 > sock 12 12 640 6 1 : tunables 54 27 > 8 : slabdata 2 2 0 > proc_inode_cache 1313 1314 600 6 1 : tunables 54 27 > 8 : slabdata 219 219 0 > sigqueue 447 598 168 23 1 : tunables 120 60 > 8 : slabdata 26 26 0 > radix_tree_node 10871 10871 536 7 1 : tunables 54 27 > 8 : slabdata 1553 1553 0 > bdev_cache 47 50 768 5 1 : tunables 54 27 > 8 : slabdata 10 10 0 > mnt_cache 42 100 192 20 1 : tunables 120 60 > 8 : slabdata 5 5 0 > audit_watch_cache 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inode_cache 2204 2268 568 7 1 : tunables 54 27 > 8 : slabdata 324 324 0 > dentry_cache 17289 17392 240 16 1 : tunables 120 60 > 8 : slabdata 1087 1087 60 > filp 3670 3780 256 15 1 : tunables 120 60 > 8 : slabdata 252 252 180 > names_cache 125 125 4096 1 1 : tunables 24 12 > 8 : slabdata 125 125 24 > avc_node 12 540 72 54 1 : tunables 120 60 > 8 : slabdata 10 10 0 > key_jar 20 40 192 20 1 : tunables 120 60 > 8 : slabdata 2 2 0 > idr_layer_cache 79 98 528 7 1 : tunables 54 27 > 8 : slabdata 14 14 0 > buffer_head 24744 29925 88 45 1 : tunables 120 60 > 8 : slabdata 665 665 0 > mm_struct 249 259 1152 7 2 : tunables 24 12 > 8 : slabdata 37 37 0 > vm_area_struct 9690 9966 176 22 1 : tunables 120 60 > 8 : slabdata 453 453 240 > fs_cache 580 732 64 61 1 : tunables 120 60 > 8 : slabdata 12 12 30 > files_cache 354 405 832 9 2 : tunables 54 27 > 8 : slabdata 45 45 0 > signal_cache 675 720 256 15 1 : tunables 120 60 > 8 : slabdata 48 48 0 > sighand_cache 341 357 2112 3 2 : tunables 24 12 > 8 : slabdata 119 119 24 > task_struct 536 536 1984 2 1 : tunables 24 12 > 8 : slabdata 268 268 12 > anon_vma 5244 5616 24 156 1 : tunables 120 60 > 8 : slabdata 36 36 120 > shared_policy_node 0 0 56 69 1 : tunables 120 60 > 8 : slabdata 0 0 0 > numa_policy 68 675 16 225 1 : tunables 120 60 > 8 : slabdata 3 3 0 > size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 > 0 : slabdata 0 0 0 > size-131072 1 1 131072 1 32 : tunables 8 4 > 0 : slabdata 1 1 0 > size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 > 0 : slabdata 0 0 0 > size-65536 1 1 65536 1 16 : tunables 8 4 > 0 : slabdata 1 1 0 > size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 > 0 : slabdata 0 0 0 > size-32768 4 4 32768 1 8 : tunables 8 4 > 0 : slabdata 4 4 0 > size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 > 0 : slabdata 0 0 0 > size-16384 5 5 16384 1 4 : tunables 8 4 > 0 : slabdata 5 5 0 > size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 > 0 : slabdata 0 0 0 > size-8192 38 38 8192 1 2 : tunables 8 4 > 0 : slabdata 38 38 0 > size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-4096 707 710 4096 1 1 : tunables 24 12 > 8 : slabdata 707 710 12 > size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-2048 233 238 2048 2 1 : tunables 24 12 > 8 : slabdata 119 119 12 > size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 > 8 : slabdata 0 0 0 > size-1620 102 156 1664 4 2 : tunables 24 12 > 8 : slabdata 39 39 0 > size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-1024 930 2408 1024 4 1 : tunables 54 27 > 8 : slabdata 602 602 0 > size-512(DMA) 0 0 512 8 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-512 882 2816 512 8 1 : tunables 54 27 > 8 : slabdata 352 352 0 > size-256(DMA) 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-256 1927 3960 256 15 1 : tunables 120 60 > 8 : slabdata 264 264 0 > size-128(DMA) 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-128 3840 4681 128 31 1 : tunables 120 60 > 8 : slabdata 151 151 0 > size-64(DMA) 0 0 64 61 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-64 7853 25620 64 61 1 : tunables 120 60 > 8 : slabdata 420 420 0 > size-32(DMA) 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-32 2233 20944 32 119 1 : tunables 120 60 > 8 : slabdata 176 176 30 > kmem_cache 210 210 256 15 1 : tunables 120 60 > 8 : slabdata 14 14 0 > local=77, remote=26, unknown=0 >
How long does it take for the node to die? File a new bugzilla with the following info. date >> /tmp/info.txt iostat -x 1 3 >> /tmp/info.txt vmstat 1 3 >> /tmp/info.txt top -b -n 1 | head -50 >> /tmp/info.txt ps -elf >> /tmp/info.txt cat /proc/meminfo >> /tmp/info.txt cat /proc/slabinfo >> /tmp/info.txt Take snapshots every 10 mins or so. But please don't append this to 864. While they may be similar, we want the info to be maintained in separate bugs. Basically, nothing jumps out from what you emailed. And if all memory allocated in kernel should show up in slabs then this could be a userspace leak. In short, it has to show up someplace. Thanks Sunil Brian Sieler wrote:> Been on 1.2.4 for about a month now. While the lowmem problem appears > to be much better, there may still be a memory problem. > > Memory on my "main" node (RHEL 4.0, 64-bit) is being consumed causing > swapping until swap space is eventually exausted and the server dies. > > On this node/OCFS2 volume there are 16,000 - 30,000 small files > created per day. > 2nd node has no such activity and does not swap or crash. > > Is there a way to tell conclusively what is consuming memory and > causing the swap spiral? > > Here are some snapshot stats of the server 2/3 of the way to crashing, > before and after rebooting: > > Before reboot, note the swap used: > > total used free shared buffers cached > Mem: 4044496 3881996 162500 0 26676 1891848 > -/+ buffers/cache: 1963472 2081024 > Swap: 2097144 1205988 891156 > > > slabinfo - version: 2.0 > # name <active_objs> <num_objs> <objsize> <objperslab> > <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : > slabdata <active_slabs> <num_slabs> <sharedavail> > nfs_direct_cache 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > nfs_write_data 36 40 768 5 1 : tunables 54 27 > 8 : slabdata 8 8 0 > nfs_read_data 32 35 768 5 1 : tunables 54 27 > 8 : slabdata 7 7 0 > nfs_inode_cache 1 4 1008 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > nfs_page 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > asmdisk_cache 3 6 640 6 1 : tunables 54 27 > 8 : slabdata 1 1 0 > asm_request 22 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > asmfs_inode_cache 10 18 640 6 1 : tunables 54 27 > 8 : slabdata 3 3 0 > ocfs2_lock 16 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ocfs2_inode_cache 3736 6076 1408 2 1 : tunables 24 12 > 8 : slabdata 3038 3038 0 > ocfs2_uptodate 9028 15311 64 61 1 : tunables 120 60 > 8 : slabdata 251 251 0 > ocfs2_em_ent 27442 90036 64 61 1 : tunables 120 60 > 8 : slabdata 1476 1476 0 > dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > dlm_mle_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > rpc_buffers 8 8 2048 2 1 : tunables 24 12 > 8 : slabdata 4 4 0 > rpc_tasks 8 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > rpc_inode_cache 8 8 896 4 1 : tunables 54 27 > 8 : slabdata 2 2 0 > fib6_nodes 7 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip6_dst_cache 7 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > ndisc_cache 1 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > rawv6_sock 10 12 1024 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udpv6_sock 1 4 1024 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > tcpv6_sock 8 12 1792 2 1 : tunables 24 12 > 8 : slabdata 6 6 0 > ip_fib_alias 20 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip_fib_hash 19 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > pIo 548 5917 64 61 1 : tunables 120 60 > 8 : slabdata 97 97 0 > pirpIo 512 518 1152 7 2 : tunables 24 12 > 8 : slabdata 74 74 0 > uhci_urb_priv 2 90 88 45 1 : tunables 120 60 > 8 : slabdata 2 2 0 > dm-snapshot-in 128 140 112 35 1 : tunables 120 60 > 8 : slabdata 4 4 0 > dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ext3_inode_cache 2696 3436 840 4 1 : tunables 54 27 > 8 : slabdata 859 859 0 > ext3_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > journal_handle 105 243 48 81 1 : tunables 120 60 > 8 : slabdata 3 3 0 > journal_head 329 675 88 45 1 : tunables 120 60 > 8 : slabdata 15 15 0 > revoke_table 16 225 16 225 1 : tunables 120 60 > 8 : slabdata 1 1 0 > revoke_record 64 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > dm_tio 2018 2028 24 156 1 : tunables 120 60 > 8 : slabdata 13 13 44 > dm_io 2006 2016 40 96 1 : tunables 120 60 > 8 : slabdata 21 21 44 > qla2xxx_srbs 307 315 256 15 1 : tunables 120 60 > 8 : slabdata 21 21 0 > scsi_cmd_cache 147 147 512 7 1 : tunables 54 27 > 8 : slabdata 21 21 0 > sgpool-128 32 32 4096 1 1 : tunables 24 12 > 8 : slabdata 32 32 0 > sgpool-64 32 32 2048 2 1 : tunables 24 12 > 8 : slabdata 16 16 0 > sgpool-32 32 32 1024 4 1 : tunables 54 27 > 8 : slabdata 8 8 0 > sgpool-16 48 48 512 8 1 : tunables 54 27 > 8 : slabdata 6 6 0 > sgpool-8 240 240 256 15 1 : tunables 120 60 > 8 : slabdata 16 16 0 > unix_sock 218 220 768 5 1 : tunables 54 27 > 8 : slabdata 44 44 0 > ip_mrt_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_tw_bucket 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_bind_bucket 37 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > tcp_open_request 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inet_peer_cache 3 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > secpath_cache 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ip_dst_cache 103 160 384 10 1 : tunables 54 27 > 8 : slabdata 16 16 0 > arp_cache 5 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > raw_sock 9 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udp_sock 792 792 896 4 1 : tunables 54 27 > 8 : slabdata 198 198 0 > tcp_sock 339 345 1536 5 2 : tunables 24 12 > 8 : slabdata 69 69 0 > flow_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > relayfs_inode_cache 0 0 576 7 1 : tunables 54 > 27 8 : slabdata 0 0 0 > isofs_inode_cache 0 0 616 6 1 : tunables 54 27 > 8 : slabdata 0 0 0 > hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 > 27 8 : slabdata 1 1 0 > ext2_inode_cache 0 0 736 5 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ext2_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dquot 0 0 224 17 1 : tunables 120 60 > 8 : slabdata 0 0 0 > eventpoll_pwq 3 54 72 54 1 : tunables 120 60 > 8 : slabdata 1 1 0 > eventpoll_epi 3 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > kioctx 64 100 384 10 1 : tunables 54 27 > 8 : slabdata 10 10 0 > kiocb 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dnotify_cache 3 96 40 96 1 : tunables 120 60 > 8 : slabdata 1 1 0 > fasync_cache 1 156 24 156 1 : tunables 120 60 > 8 : slabdata 1 1 0 > shmem_inode_cache 374 405 800 5 1 : tunables 54 27 > 8 : slabdata 81 81 0 > posix_timers_cache 0 0 184 21 1 : tunables 120 60 > 8 : slabdata 0 0 0 > uid_cache 11 62 128 31 1 : tunables 120 60 > 8 : slabdata 2 2 0 > cfq_pool 64 69 56 69 1 : tunables 120 60 > 8 : slabdata 1 1 0 > crq_pool 0 0 72 54 1 : tunables 120 60 > 8 : slabdata 0 0 0 > deadline_drq 246 246 96 41 1 : tunables 120 60 > 8 : slabdata 6 6 0 > as_arq 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > blkdev_ioc 482 595 32 119 1 : tunables 120 60 > 8 : slabdata 5 5 0 > blkdev_queue 33 54 848 9 2 : tunables 54 27 > 8 : slabdata 6 6 0 > blkdev_requests 180 180 264 15 1 : tunables 54 27 > 8 : slabdata 12 12 27 > biovec-(256) 256 256 4096 1 1 : tunables 24 12 > 8 : slabdata 256 256 0 > biovec-128 256 256 2048 2 1 : tunables 24 12 > 8 : slabdata 128 128 0 > biovec-64 259 264 1024 4 1 : tunables 54 27 > 8 : slabdata 66 66 0 > biovec-16 456 480 256 15 1 : tunables 120 60 > 8 : slabdata 32 32 0 > biovec-4 430 732 64 61 1 : tunables 120 60 > 8 : slabdata 12 12 0 > biovec-1 566 6300 16 225 1 : tunables 120 60 > 8 : slabdata 28 28 0 > bio 777 4805 128 31 1 : tunables 120 60 > 8 : slabdata 155 155 60 > file_lock_cache 91 150 160 25 1 : tunables 120 60 > 8 : slabdata 6 6 0 > sock_inode_cache 1403 1420 768 5 1 : tunables 54 27 > 8 : slabdata 284 284 0 > skbuff_head_cache 1169 2080 384 10 1 : tunables 54 27 > 8 : slabdata 208 208 0 > sock 12 12 640 6 1 : tunables 54 27 > 8 : slabdata 2 2 0 > proc_inode_cache 1567 1998 600 6 1 : tunables 54 27 > 8 : slabdata 333 333 0 > sigqueue 485 575 168 23 1 : tunables 120 60 > 8 : slabdata 25 25 7 > radix_tree_node 12921 16135 536 7 1 : tunables 54 27 > 8 : slabdata 2305 2305 0 > bdev_cache 34 50 768 5 1 : tunables 54 27 > 8 : slabdata 10 10 0 > mnt_cache 42 80 192 20 1 : tunables 120 60 > 8 : slabdata 4 4 0 > audit_watch_cache 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inode_cache 1075 1295 568 7 1 : tunables 54 27 > 8 : slabdata 185 185 0 > dentry_cache 9364 23760 240 16 1 : tunables 120 60 > 8 : slabdata 1485 1485 15 > filp 11519 12135 256 15 1 : tunables 120 60 > 8 : slabdata 809 809 0 > names_cache 112 112 4096 1 1 : tunables 24 12 > 8 : slabdata 112 112 12 > avc_node 12 432 72 54 1 : tunables 120 60 > 8 : slabdata 8 8 0 > key_jar 22 60 192 20 1 : tunables 120 60 > 8 : slabdata 3 3 0 > idr_layer_cache 79 91 528 7 1 : tunables 54 27 > 8 : slabdata 13 13 0 > buffer_head 27937 29880 88 45 1 : tunables 120 60 > 8 : slabdata 664 664 0 > mm_struct 553 581 1152 7 2 : tunables 24 12 > 8 : slabdata 83 83 24 > vm_area_struct 37004 39732 176 22 1 : tunables 120 60 > 8 : slabdata 1806 1806 300 > fs_cache 916 1098 64 61 1 : tunables 120 60 > 8 : slabdata 18 18 0 > files_cache 667 711 832 9 2 : tunables 54 27 > 8 : slabdata 79 79 0 > signal_cache 914 1065 256 15 1 : tunables 120 60 > 8 : slabdata 71 71 15 > sighand_cache 647 657 2112 3 2 : tunables 24 12 > 8 : slabdata 219 219 0 > task_struct 819 826 1984 2 1 : tunables 24 12 > 8 : slabdata 413 413 12 > anon_vma 22080 22932 24 156 1 : tunables 120 60 > 8 : slabdata 147 147 120 > shared_policy_node 0 0 56 69 1 : tunables 120 60 > 8 : slabdata 0 0 0 > numa_policy 68 450 16 225 1 : tunables 120 60 > 8 : slabdata 2 2 0 > size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 > 0 : slabdata 0 0 0 > size-131072 1 1 131072 1 32 : tunables 8 4 > 0 : slabdata 1 1 0 > size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 > 0 : slabdata 0 0 0 > size-65536 1 1 65536 1 16 : tunables 8 4 > 0 : slabdata 1 1 0 > size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 > 0 : slabdata 0 0 0 > size-32768 4 4 32768 1 8 : tunables 8 4 > 0 : slabdata 4 4 0 > size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 > 0 : slabdata 0 0 0 > size-16384 23 23 16384 1 4 : tunables 8 4 > 0 : slabdata 23 23 0 > size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 > 0 : slabdata 0 0 0 > size-8192 49 55 8192 1 2 : tunables 8 4 > 0 : slabdata 49 55 0 > size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-4096 1164 1164 4096 1 1 : tunables 24 12 > 8 : slabdata 1164 1164 0 > size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-2048 216 236 2048 2 1 : tunables 24 12 > 8 : slabdata 114 118 16 > size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 > 8 : slabdata 0 0 0 > size-1620 126 144 1664 4 2 : tunables 24 12 > 8 : slabdata 36 36 0 > size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-1024 964 2408 1024 4 1 : tunables 54 27 > 8 : slabdata 602 602 0 > size-512(DMA) 0 0 512 8 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-512 8176 24432 512 8 1 : tunables 54 27 > 8 : slabdata 3054 3054 54 > size-256(DMA) 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-256 1860 3960 256 15 1 : tunables 120 60 > 8 : slabdata 264 264 0 > size-128(DMA) 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-128 11302 38006 128 31 1 : tunables 120 60 > 8 : slabdata 1226 1226 0 > size-64(DMA) 0 0 64 61 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-64 11310 29219 64 61 1 : tunables 120 60 > 8 : slabdata 479 479 0 > size-32(DMA) 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-32 9665 39865 32 119 1 : tunables 120 60 > 8 : slabdata 335 335 0 > kmem_cache 195 195 256 15 1 : tunables 120 60 > 8 : slabdata 13 13 0 > local=87054, remote=43, unknown=0 > > > > After reboot: > > > > total used free shared buffers cached > Mem: 4044496 1388324 2656172 0 31816 807168 > -/+ buffers/cache: 549340 3495156 > Swap: 2097144 0 2097144 > > slabinfo - version: 2.0 > # name <active_objs> <num_objs> <objsize> <objperslab> > <pagesperslab> : tunables <batchcount> <limit> <sharedfactor> : > slabdata <active_slabs> <num_slabs> <sharedavail> > asmdisk_cache 3 6 640 6 1 : tunables 54 27 > 8 : slabdata 1 1 0 > asm_request 36 62 128 31 1 : tunables 120 60 > 8 : slabdata 2 2 0 > asmfs_inode_cache 10 18 640 6 1 : tunables 54 27 > 8 : slabdata 3 3 0 > ocfs2_lock 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ocfs2_inode_cache 82 82 1408 2 1 : tunables 24 12 > 8 : slabdata 41 41 0 > ocfs2_uptodate 7050 7076 64 61 1 : tunables 120 60 > 8 : slabdata 116 116 0 > ocfs2_em_ent 1427 1464 64 61 1 : tunables 120 60 > 8 : slabdata 24 24 0 > nfs_direct_cache 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > nfs_write_data 36 40 768 5 1 : tunables 54 27 > 8 : slabdata 8 8 0 > nfs_read_data 32 35 768 5 1 : tunables 54 27 > 8 : slabdata 7 7 0 > nfs_inode_cache 1 4 1008 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > nfs_page 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dlmfs_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > dlm_mle_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > rpc_buffers 8 8 2048 2 1 : tunables 24 12 > 8 : slabdata 4 4 0 > rpc_tasks 8 10 384 10 1 : tunables 54 27 > 8 : slabdata 1 1 0 > rpc_inode_cache 8 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > fib6_nodes 7 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip6_dst_cache 7 20 384 10 1 : tunables 54 27 > 8 : slabdata 2 2 0 > ndisc_cache 1 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > rawv6_sock 10 12 1024 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udpv6_sock 1 4 1024 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > tcpv6_sock 6 6 1792 2 1 : tunables 24 12 > 8 : slabdata 3 3 0 > ip_fib_alias 20 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > ip_fib_hash 19 61 64 61 1 : tunables 120 60 > 8 : slabdata 1 1 0 > pIo 557 610 64 61 1 : tunables 120 60 > 8 : slabdata 10 10 0 > pirpIo 512 518 1152 7 2 : tunables 24 12 > 8 : slabdata 74 74 0 > uhci_urb_priv 2 45 88 45 1 : tunables 120 60 > 8 : slabdata 1 1 0 > dm-snapshot-in 128 140 112 35 1 : tunables 120 60 > 8 : slabdata 4 4 0 > dm-snapshot-ex 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > ext3_inode_cache 9304 9324 840 4 1 : tunables 54 27 > 8 : slabdata 2331 2331 0 > ext3_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > journal_handle 59 162 48 81 1 : tunables 120 60 > 8 : slabdata 2 2 0 > journal_head 266 1125 88 45 1 : tunables 120 60 > 8 : slabdata 25 25 0 > revoke_table 16 225 16 225 1 : tunables 120 60 > 8 : slabdata 1 1 0 > revoke_record 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dm_tio 1943 2184 24 156 1 : tunables 120 60 > 8 : slabdata 14 14 0 > dm_io 1943 2112 40 96 1 : tunables 120 60 > 8 : slabdata 22 22 0 > qla2xxx_srbs 301 315 256 15 1 : tunables 120 60 > 8 : slabdata 21 21 0 > scsi_cmd_cache 56 70 512 7 1 : tunables 54 27 > 8 : slabdata 10 10 0 > sgpool-128 32 32 4096 1 1 : tunables 24 12 > 8 : slabdata 32 32 0 > sgpool-64 32 32 2048 2 1 : tunables 24 12 > 8 : slabdata 16 16 0 > sgpool-32 32 32 1024 4 1 : tunables 54 27 > 8 : slabdata 8 8 0 > sgpool-16 40 40 512 8 1 : tunables 54 27 > 8 : slabdata 5 5 0 > sgpool-8 68 120 256 15 1 : tunables 120 60 > 8 : slabdata 8 8 0 > unix_sock 222 235 768 5 1 : tunables 54 27 > 8 : slabdata 47 47 0 > ip_mrt_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_tw_bucket 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > tcp_bind_bucket 38 119 32 119 1 : tunables 120 60 > 8 : slabdata 1 1 0 > tcp_open_request 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inet_peer_cache 3 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > secpath_cache 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > xfrm_dst_cache 0 0 384 10 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ip_dst_cache 21 60 384 10 1 : tunables 54 27 > 8 : slabdata 6 6 0 > arp_cache 5 45 256 15 1 : tunables 120 60 > 8 : slabdata 3 3 0 > raw_sock 9 12 896 4 1 : tunables 54 27 > 8 : slabdata 3 3 0 > udp_sock 194 224 896 4 1 : tunables 54 27 > 8 : slabdata 56 56 0 > tcp_sock 49 65 1536 5 2 : tunables 24 12 > 8 : slabdata 13 13 0 > flow_cache 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > mqueue_inode_cache 1 4 896 4 1 : tunables 54 27 > 8 : slabdata 1 1 0 > relayfs_inode_cache 0 0 576 7 1 : tunables 54 > 27 8 : slabdata 0 0 0 > isofs_inode_cache 0 0 616 6 1 : tunables 54 27 > 8 : slabdata 0 0 0 > hugetlbfs_inode_cache 1 6 608 6 1 : tunables 54 > 27 8 : slabdata 1 1 0 > ext2_inode_cache 0 0 736 5 1 : tunables 54 27 > 8 : slabdata 0 0 0 > ext2_xattr 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dquot 0 0 224 17 1 : tunables 120 60 > 8 : slabdata 0 0 0 > eventpoll_pwq 3 54 72 54 1 : tunables 120 60 > 8 : slabdata 1 1 0 > eventpoll_epi 3 15 256 15 1 : tunables 120 60 > 8 : slabdata 1 1 0 > kioctx 50 100 384 10 1 : tunables 54 27 > 8 : slabdata 10 10 0 > kiocb 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > dnotify_cache 3 96 40 96 1 : tunables 120 60 > 8 : slabdata 1 1 0 > fasync_cache 1 156 24 156 1 : tunables 120 60 > 8 : slabdata 1 1 0 > shmem_inode_cache 369 400 800 5 1 : tunables 54 27 > 8 : slabdata 80 80 0 > posix_timers_cache 0 0 184 21 1 : tunables 120 60 > 8 : slabdata 0 0 0 > uid_cache 10 31 128 31 1 : tunables 120 60 > 8 : slabdata 1 1 0 > cfq_pool 64 69 56 69 1 : tunables 120 60 > 8 : slabdata 1 1 0 > crq_pool 0 0 72 54 1 : tunables 120 60 > 8 : slabdata 0 0 0 > deadline_drq 145 246 96 41 1 : tunables 120 60 > 8 : slabdata 5 6 0 > as_arq 0 0 112 35 1 : tunables 120 60 > 8 : slabdata 0 0 0 > blkdev_ioc 102 357 32 119 1 : tunables 120 60 > 8 : slabdata 3 3 0 > blkdev_queue 33 54 848 9 2 : tunables 54 27 > 8 : slabdata 6 6 0 > blkdev_requests 90 120 264 15 1 : tunables 54 27 > 8 : slabdata 8 8 0 > biovec-(256) 256 256 4096 1 1 : tunables 24 12 > 8 : slabdata 256 256 0 > biovec-128 256 256 2048 2 1 : tunables 24 12 > 8 : slabdata 128 128 0 > biovec-64 256 256 1024 4 1 : tunables 54 27 > 8 : slabdata 64 64 0 > biovec-16 279 345 256 15 1 : tunables 120 60 > 8 : slabdata 23 23 0 > biovec-4 269 427 64 61 1 : tunables 120 60 > 8 : slabdata 7 7 0 > biovec-1 401 1125 16 225 1 : tunables 120 60 > 8 : slabdata 5 5 12 > bio 469 744 128 31 1 : tunables 120 60 > 8 : slabdata 23 24 0 > file_lock_cache 153 175 160 25 1 : tunables 120 60 > 8 : slabdata 7 7 0 > sock_inode_cache 465 490 768 5 1 : tunables 54 27 > 8 : slabdata 98 98 0 > skbuff_head_cache 675 910 384 10 1 : tunables 54 27 > 8 : slabdata 91 91 11 > sock 12 12 640 6 1 : tunables 54 27 > 8 : slabdata 2 2 0 > proc_inode_cache 1313 1314 600 6 1 : tunables 54 27 > 8 : slabdata 219 219 0 > sigqueue 447 598 168 23 1 : tunables 120 60 > 8 : slabdata 26 26 0 > radix_tree_node 10871 10871 536 7 1 : tunables 54 27 > 8 : slabdata 1553 1553 0 > bdev_cache 47 50 768 5 1 : tunables 54 27 > 8 : slabdata 10 10 0 > mnt_cache 42 100 192 20 1 : tunables 120 60 > 8 : slabdata 5 5 0 > audit_watch_cache 0 0 88 45 1 : tunables 120 60 > 8 : slabdata 0 0 0 > inode_cache 2204 2268 568 7 1 : tunables 54 27 > 8 : slabdata 324 324 0 > dentry_cache 17289 17392 240 16 1 : tunables 120 60 > 8 : slabdata 1087 1087 60 > filp 3670 3780 256 15 1 : tunables 120 60 > 8 : slabdata 252 252 180 > names_cache 125 125 4096 1 1 : tunables 24 12 > 8 : slabdata 125 125 24 > avc_node 12 540 72 54 1 : tunables 120 60 > 8 : slabdata 10 10 0 > key_jar 20 40 192 20 1 : tunables 120 60 > 8 : slabdata 2 2 0 > idr_layer_cache 79 98 528 7 1 : tunables 54 27 > 8 : slabdata 14 14 0 > buffer_head 24744 29925 88 45 1 : tunables 120 60 > 8 : slabdata 665 665 0 > mm_struct 249 259 1152 7 2 : tunables 24 12 > 8 : slabdata 37 37 0 > vm_area_struct 9690 9966 176 22 1 : tunables 120 60 > 8 : slabdata 453 453 240 > fs_cache 580 732 64 61 1 : tunables 120 60 > 8 : slabdata 12 12 30 > files_cache 354 405 832 9 2 : tunables 54 27 > 8 : slabdata 45 45 0 > signal_cache 675 720 256 15 1 : tunables 120 60 > 8 : slabdata 48 48 0 > sighand_cache 341 357 2112 3 2 : tunables 24 12 > 8 : slabdata 119 119 24 > task_struct 536 536 1984 2 1 : tunables 24 12 > 8 : slabdata 268 268 12 > anon_vma 5244 5616 24 156 1 : tunables 120 60 > 8 : slabdata 36 36 120 > shared_policy_node 0 0 56 69 1 : tunables 120 60 > 8 : slabdata 0 0 0 > numa_policy 68 675 16 225 1 : tunables 120 60 > 8 : slabdata 3 3 0 > size-131072(DMA) 0 0 131072 1 32 : tunables 8 4 > 0 : slabdata 0 0 0 > size-131072 1 1 131072 1 32 : tunables 8 4 > 0 : slabdata 1 1 0 > size-65536(DMA) 0 0 65536 1 16 : tunables 8 4 > 0 : slabdata 0 0 0 > size-65536 1 1 65536 1 16 : tunables 8 4 > 0 : slabdata 1 1 0 > size-32768(DMA) 0 0 32768 1 8 : tunables 8 4 > 0 : slabdata 0 0 0 > size-32768 4 4 32768 1 8 : tunables 8 4 > 0 : slabdata 4 4 0 > size-16384(DMA) 0 0 16384 1 4 : tunables 8 4 > 0 : slabdata 0 0 0 > size-16384 5 5 16384 1 4 : tunables 8 4 > 0 : slabdata 5 5 0 > size-8192(DMA) 0 0 8192 1 2 : tunables 8 4 > 0 : slabdata 0 0 0 > size-8192 38 38 8192 1 2 : tunables 8 4 > 0 : slabdata 38 38 0 > size-4096(DMA) 0 0 4096 1 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-4096 707 710 4096 1 1 : tunables 24 12 > 8 : slabdata 707 710 12 > size-2048(DMA) 0 0 2048 2 1 : tunables 24 12 > 8 : slabdata 0 0 0 > size-2048 233 238 2048 2 1 : tunables 24 12 > 8 : slabdata 119 119 12 > size-1620(DMA) 0 0 1664 4 2 : tunables 24 12 > 8 : slabdata 0 0 0 > size-1620 102 156 1664 4 2 : tunables 24 12 > 8 : slabdata 39 39 0 > size-1024(DMA) 0 0 1024 4 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-1024 930 2408 1024 4 1 : tunables 54 27 > 8 : slabdata 602 602 0 > size-512(DMA) 0 0 512 8 1 : tunables 54 27 > 8 : slabdata 0 0 0 > size-512 882 2816 512 8 1 : tunables 54 27 > 8 : slabdata 352 352 0 > size-256(DMA) 0 0 256 15 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-256 1927 3960 256 15 1 : tunables 120 60 > 8 : slabdata 264 264 0 > size-128(DMA) 0 0 128 31 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-128 3840 4681 128 31 1 : tunables 120 60 > 8 : slabdata 151 151 0 > size-64(DMA) 0 0 64 61 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-64 7853 25620 64 61 1 : tunables 120 60 > 8 : slabdata 420 420 0 > size-32(DMA) 0 0 32 119 1 : tunables 120 60 > 8 : slabdata 0 0 0 > size-32 2233 20944 32 119 1 : tunables 120 60 > 8 : slabdata 176 176 30 > kmem_cache 210 210 256 15 1 : tunables 120 60 > 8 : slabdata 14 14 0 > local=77, remote=26, unknown=0 >