Jon-Eirik Pettersen
2006-Apr-09 17:04 UTC
[Xen-users] Slab memory usage on dom0 increases by 128MB/day
Hello.
I''m running Xen 3.0.1 on the following hardware:
Dell SC1425 Rack Server
1x Intel Xeon 2.8GHz (64bit on 32bit OS/Xen) Hyper-threading enabled
2GB memory
80+250GB SATA hard drives (sda, sdb)
Debian Sarge on dom0. Different Debian versions on virtual servers.
This is running as a virtualized web server. It''s hosting four virtual
servers. 256MB memory is reserved to dom0 and the reset to the four
different virtual servers. Root filesystems on dom0 and all four virtual
servers is separate software RAID1 arrays. (md0 -> md4). Each virtual
servers and dom0 has access to different swap-partitions on sda. Two of
the virtual servers has access to backup-partitions on sdb. All
filesystems are running ext3 file system.
The problem:
I have to reboot dom0 once every other day because high "slab" memory
usage. The server crashes ("Out of memory") when it reach aroind
210MB.
I did move all data fra loopback-files to RAID-arrays because it seems
this caused the issue. Now the slab-usage increases faster ever before.
I''m attaching a diagram showing the speed of the increasing slab-usage
Contents of /proc/meminfo 7 hours after last reboot:
MemTotal: 232448 kB
MemFree: 28796 kB
Buffers: 72756 kB
Cached: 20268 kB
SwapCached: 0 kB
Active: 41492 kB
Inactive: 66028 kB
HighTotal: 0 kB
HighFree: 0 kB
LowTotal: 232448 kB
LowFree: 28796 kB
SwapTotal: 506008 kB
SwapFree: 506008 kB
Dirty: 88 kB
Writeback: 0 kB
Mapped: 22724 kB
Slab: 83672 kB
CommitLimit: 622232 kB
Committed_AS: 43236 kB
PageTables: 468 kB
VmallocTotal: 696312 kB
VmallocUsed: 856 kB
VmallocChunk: 695416 kB
/dev/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize>
<objperslab>
<pagesperslab> : tunables <limit> <batchcount>
<sharedfactor> : slabdata
<active>
rpc_buffers 8 8 2048 2 1 : tunables 24 12
8 : slabdata 4 4 0
rpc_tasks 8 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
rpc_inode_cache 0 0 512 7 1 : tunables 54 27
8 : slabdata 0 0 0
bridge_fdb_cache 7 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
UNIX 87 105 512 7 1 : tunables 54 27
8 : slabdata 15 15 0
tcp_tw_bucket 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 8 226 16 226 1 : tunables 120 60
8 : slabdata 1 1 0
tcp_open_request 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
inet_peer_cache 18 122 64 61 1 : tunables 120 60
8 : slabdata 2 2 0
ip_fib_alias 16 226 16 226 1 : tunables 120 60
8 : slabdata 1 1 0
ip_fib_hash 16 119 32 119 1 : tunables 120 60
8 : slabdata 1 1 0
ip_dst_cache 451 720 256 15 1 : tunables 120 60
8 : slabdata 48 48 0
arp_cache 11 30 256 15 1 : tunables 120 60
8 : slabdata 2 2 0
RAW 3 7 512 7 1 : tunables 54 27
8 : slabdata 1 1 0
UDP 6 7 512 7 1 : tunables 54 27
8 : slabdata 1 1 0
TCP 8 8 1024 4 1 : tunables 54 27
8 : slabdata 2 2 0
flow_cache 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
dm-snapshot-in 128 162 48 81 1 : tunables 120 60
8 : slabdata 2 2 0
dm-snapshot-ex 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
dm_tio 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
dm_io 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
uhci_urb_priv 0 0 44 88 1 : tunables 120 60
8 : slabdata 0 0 0
scsi_cmd_cache 33 50 384 10 1 : tunables 54 27
8 : slabdata 5 5 0
blkif_cache 10 23 168 23 1 : tunables 120 60
8 : slabdata 1 1 0
cfq_ioc_pool 0 0 24 156 1 : tunables 120 60
8 : slabdata 0 0 0
cfq_pool 0 0 104 38 1 : tunables 120 60
8 : slabdata 0 0 0
crq_pool 0 0 52 75 1 : tunables 120 60
8 : slabdata 0 0 0
deadline_drq 0 0 48 81 1 : tunables 120 60
8 : slabdata 0 0 0
as_arq 127 195 60 65 1 : tunables 120 60
8 : slabdata 3 3 0
nfs_write_data 36 42 512 7 1 : tunables 54 27
8 : slabdata 6 6 0
nfs_read_data 32 35 512 7 1 : tunables 54 27
8 : slabdata 5 5 0
nfs_inode_cache 0 0 580 7 1 : tunables 54 27
8 : slabdata 0 0 0
nfs_page 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
isofs_inode_cache 0 0 348 11 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_inode_cache 0 0 432 9 1 : tunables 54 27
8 : slabdata 0 0 0
journal_handle 4 185 20 185 1 : tunables 120 60
8 : slabdata 1 1 0
journal_head 41 75 52 75 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_table 2 290 12 290 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
ext3_inode_cache 29746 29752 468 8 1 : tunables 54 27
8 : slabdata 3719 3719 0
ext3_xattr 0 0 44 88 1 : tunables 120 60
8 : slabdata 0 0 0
reiser_inode_cache 0 0 400 10 1 : tunables 54
27 8 : slabdata 0 0 0
dnotify_cache 0 0 20 185 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 0 0 36 107 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_epi 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
kioctx 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
kiocb 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
fasync_cache 0 0 16 226 1 : tunables 120 60
8 : slabdata 0 0 0
shmem_inode_cache 6 9 416 9 1 : tunables 54 27
8 : slabdata 1 1 0
posix_timers_cache 0 0 104 38 1 : tunables 120
60 8 : slabdata 0 0 0
uid_cache 3 61 64 61 1 : tunables 120 60
8 : slabdata 1 1 0
sgpool-128 32 33 2560 3 2 : tunables 24 12
8 : slabdata 11 11 0
sgpool-64 34 36 1280 3 1 : tunables 24 12
8 : slabdata 12 12 0
sgpool-32 32 36 640 6 1 : tunables 54 27
8 : slabdata 6 6 0
sgpool-16 36 40 384 10 1 : tunables 54 27
8 : slabdata 4 4 0
sgpool-8 86 135 256 15 1 : tunables 120 60
8 : slabdata 9 9 0
blkdev_ioc 35 135 28 135 1 : tunables 120 60
8 : slabdata 1 1 0
blkdev_queue 32 40 400 10 1 : tunables 54 27
8 : slabdata 4 4 0
blkdev_requests 149 216 148 27 1 : tunables 120 60
8 : slabdata 8 8 0
biovec-(256) 260 260 3072 2 2 : tunables 24 12
8 : slabdata 130 130 0
biovec-128 264 265 1536 5 2 : tunables 24 12
8 : slabdata 53 53 0
biovec-64 272 275 768 5 1 : tunables 54 27
8 : slabdata 55 55 0
biovec-16 315 315 256 15 1 : tunables 120 60
8 : slabdata 21 21 0
biovec-4 278 366 64 61 1 : tunables 120 60
8 : slabdata 6 6 0
biovec-1 377 678 16 226 1 : tunables 120 60
8 : slabdata 3 3 24
bio 365 527 128 31 1 : tunables 120 60
8 : slabdata 17 17 24
file_lock_cache 7 43 92 43 1 : tunables 120 60
8 : slabdata 1 1 0
xen-skb-65536 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
xen-skb-32768 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
xen-skb-16384 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
xen-skb-8192 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
xen-skb-4096 269 269 4096 1 1 : tunables 24 12
8 : slabdata 269 269 0
xen-skb-2048 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
xen-skb-512 54 64 512 8 1 : tunables 54 27
8 : slabdata 8 8 0
sock_inode_cache 115 140 384 10 1 : tunables 54 27
8 : slabdata 14 14 0
skbuff_head_cache 354 390 256 15 1 : tunables 120 60
8 : slabdata 26 26 0
proc_inode_cache 449 456 336 12 1 : tunables 54 27
8 : slabdata 38 38 0
sigqueue 27 27 148 27 1 : tunables 120 60
8 : slabdata 1 1 0
radix_tree_node 3508 3528 276 14 1 : tunables 54 27
8 : slabdata 252 252 0
bdev_cache 26 28 512 7 1 : tunables 54 27
8 : slabdata 4 4 0
sysfs_dir_cache 3389 3424 36 107 1 : tunables 120 60
8 : slabdata 32 32 0
mnt_cache 16 31 128 31 1 : tunables 120 60
8 : slabdata 1 1 0
inode_cache 978 1020 320 12 1 : tunables 54 27
8 : slabdata 85 85 0
dentry_cache 42325 42336 140 28 1 : tunables 120 60
8 : slabdata 1512 1512 0
filp 517 645 256 15 1 : tunables 120 60
8 : slabdata 43 43 0
names_cache 4 4 4096 1 1 : tunables 24 12
8 : slabdata 4 4 0
idr_layer_cache 110 145 136 29 1 : tunables 120 60
8 : slabdata 5 5 0
buffer_head 18944 18954 48 81 1 : tunables 120 60
8 : slabdata 234 234 0
mm_struct 60 60 640 6 1 : tunables 54 27
8 : slabdata 10 10 0
vm_area_struct 1266 1530 88 45 1 : tunables 120 60
8 : slabdata 34 34 0
fs_cache 50 122 64 61 1 : tunables 120 60
8 : slabdata 2 2 0
files_cache 51 63 512 7 1 : tunables 54 27
8 : slabdata 9 9 0
signal_cache 101 120 384 10 1 : tunables 54 27
8 : slabdata 12 12 0
sighand_cache 86 90 1408 5 2 : tunables 24 12
8 : slabdata 18 18 0
task_struct 97 102 1280 3 1 : tunables 24 12
8 : slabdata 34 34 0
anon_vma 480 870 12 290 1 : tunables 120 60
8 : slabdata 3 3 0
pgd 36 36 4096 1 1 : tunables 24 12
8 : slabdata 36 36 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 88 88 8192 1 2 : tunables 8 4
0 : slabdata 88 88 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 41 41 4096 1 1 : tunables 24 12
8 : slabdata 41 41 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 85 86 2048 2 1 : tunables 24 12
8 : slabdata 43 43 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 167 176 1024 4 1 : tunables 54 27
8 : slabdata 44 44 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 245 256 512 8 1 : tunables 54 27
8 : slabdata 32 32 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 161 165 256 15 1 : tunables 120 60
8 : slabdata 11 11 0
size-192(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-192 57 60 256 15 1 : tunables 120 60
8 : slabdata 4 4 0
size-128(DMA) 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
size-128 723 744 128 31 1 : tunables 120 60
8 : slabdata 24 24 0
size-96(DMA) 0 0 128 31 1 : tunables 120 60
8 : slabdata 0 0 0
size-96 1581 1643 128 31 1 : tunables 120 60
8 : slabdata 53 53 0
size-64(DMA) 0 0 64 61 1 : tunables 120 60
8 : slabdata 0 0 0
size-64 818680 818681 64 61 1 : tunables 120 60
8 : slabdata 13421 13421 0
size-32(DMA) 0 0 32 119 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 1796 1904 32 119 1 : tunables 120 60
8 : slabdata 16 16 0
kmem_cache 135 135 256 15 1 : tunables 120 60
8 : slabdata 9 9 0
Partition table sda:
Disk /dev/sda: 80.0 GB, 80000000000 bytes
255 heads, 63 sectors/track, 9726 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 1 9726 78124063+ 5 Extended
/dev/sda5 1 3647 29294464+ fd Linux raid
autodetect
/dev/sda6 3648 7294 29294496 fd Linux raid
autodetect
/dev/sda7 7295 7902 4883728+ fd Linux raid
autodetect
/dev/sda8 7903 8145 1951866 fd Linux raid
autodetect
/dev/sda9 8146 8511 2939863+ fd Linux raid
autodetect
/dev/sda10 8512 8574 506016 83 Linux
/dev/sda11 8575 8637 506016 83 Linux
/dev/sda12 8638 8700 506016 83 Linux
/dev/sda13 8701 8825 1004031 83 Linux
/dev/sda14 8826 8888 506016 83 Linux
/dev/sda15 8889 9013 1004031 83 Linux
/dev/sda16 9014 9726 5727141 83 Linux
sda10-16 i swap partitions.
Partition table sdb:
Disk /dev/sdb: 250.0 GB, 250000000000 bytes
255 heads, 63 sectors/track, 30394 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sdb1 1 20303 163083816 5 Extended
/dev/sdb5 1 3647 29294464+ fd Linux raid
autodetect
/dev/sdb6 3648 7294 29294496 fd Linux raid
autodetect
/dev/sdb7 7295 7902 4883728+ fd Linux raid
autodetect
/dev/sdb8 7903 8145 1951866 fd Linux raid
autodetect
/dev/sdb9 8146 8511 2939863+ fd Linux raid
autodetect
/dev/sdb10 8512 10944 19543041 83 Linux
/dev/sdb11 10945 13377 19543041 83 Linux
sdb10,11 is backup filesystems.
_______________________________________________
Xen-users mailing list
Xen-users@lists.xensource.com
http://lists.xensource.com/xen-users
Reasonably Related Threads
Wisdom of the Ancients
