thr3ads.net - Gluster users - [Gluster-users] New versions of gluster hanging on read / write [Dec 2009]

If this information is useful, please help other people find it:
Share via:

Ken

2009-Dec-23 23:06 UTC

[Gluster-users] New versions of gluster hanging on read / write

Good day.

We have been using glusterfs since verion 2.0.1-1 and just recently 
upgraded our  storage
servers to the new versions 3.0.0-1.

Before then we never noticed the problems we are experiencing now.

When trying to use the glusterfs share it seems to hang for a few 
seconds every time data is written into the file system. Also when 
running the command df it also hangs every time for 2-3 seconds.

The configuration is as follows.

4 servers running both the server and client
2 drives shared in each of the 4 server for a total of 8 drives striped.

glusterfsd.vol

volume posix-sdb1
  type storage/posix
  option directory /datadisk1
end-volume

volume locks1
  type features/locks
  subvolumes posix-sdb1
end-volume

volume brick1
  type performance/io-threads
  option thread-count 4
  subvolumes locks1
end-volume

volume posix-sdc1
  type storage/posix
  option directory /datadisk2
end-volume

volume locks2
  type features/locks
  subvolumes posix-sdc1
end-volume

volume brick2
  type performance/io-threads
  option thread-count 4
  subvolumes locks2
end-volume

volume server
type protocol/server
option transport-type tcp
option transport.socket.nodelay on
option auth.addr.brick1.allow *
option auth.addr.brick2.allow *
subvolumes brick1 brick2
end-volume

glusterfs.vol

volume n1-1
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.100
  option transport.socket.nodelay on
  option remote-subvolume brick1
end-volume

volume n1-2
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.100
  option transport.socket.nodelay on
  option remote-subvolume brick2
end-volume

volume n2-1
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.101
  option transport.socket.nodelay on
  option remote-subvolume brick1
end-volume

volume n2-2
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.101
  option transport.socket.nodelay on
  option remote-subvolume brick2
end-volume

volume n3-1
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.102
  option transport.socket.nodelay on
  option remote-subvolume brick1
end-volume

volume n3-2
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.102
  option transport.socket.nodelay on
  option remote-subvolume brick2
end-volume

volume n4-1
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.103
  option transport.socket.nodelay on
  option remote-subvolume brick1
end-volume

volume n4-2
  type protocol/client
  option transport-type tcp
  option remote-host 172.31.10.103
  option transport.socket.nodelay on
  option remote-subvolume brick2
end-volume


volume bricks
  type cluster/stripe
  subvolumes n1-1 n1-2 n2-1 n2-2 n3-1 n3-2 n4-1 n4-2
end-volume

volume readahead
  type performance/read-ahead
  option page-count 4
  subvolumes bricks
end-volume

volume writebehind
  type performance/write-behind
  option cache-size 1MB
  subvolumes readahead
end-volume

volume quick-read
  type performance/quick-read
  option cache-timeout 1
  option max-file-size 64Kb
  subvolumes writebehind
end-volume

volume io-cache
     type performance/io-cache
     option cache-size 64MB
     subvolumes quick-read
end-volume

volume stat-prefetch
  type performance/stat-prefetch
  subvolumes io-cache
end-volume


And here is a dump file for both the server and client if that might help.

[root at FELIX-N1 /]# more /tmp/glusterdump.5258

[mallinfo]
mallinfo_arena=528384
mallinfo_ordblks=2
mallinfo_smblks=56
mallinfo_hblks=1
mallinfo_hblkhd=266240
mallinfo_usmblks=0
mallinfo_fsmblks=1544
mallinfo_uordblks=521160
mallinfo_fordblks=7224
mallinfo_keepcost=4616

[iobuf.global]
iobuf.global.iobuf_pool=0x924e658
iobuf.global.iobuf_pool.page_size=131072
iobuf.global.iobuf_pool.arena_size=8388608
iobuf.global.iobuf_pool.arena_cnt=1

[iobuf.global.iobuf_pool.arena.1]
iobuf.global.iobuf_pool.arena.1.mem_base=0xb778c000
iobuf.global.iobuf_pool.arena.1.active_cnt=0
iobuf.global.iobuf_pool.arena.1.passive_cnt=64

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.1]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ptr=0xb7f6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.2]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ptr=0xb7f4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.3]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ptr=0xb7f2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.4]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ptr=0xb7f0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.5]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ptr=0xb7eec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.6]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ptr=0xb7ecc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.7]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ptr=0xb7eac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.8]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ptr=0xb7e8c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.9]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ptr=0xb7e6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.10]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ptr=0xb7e4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.11]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ptr=0xb7e2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.12]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ptr=0xb7e0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.13]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ptr=0xb7dec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.14]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ptr=0xb7dcc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.15]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ptr=0xb7dac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.16]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ptr=0xb7d8c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.17]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ptr=0xb7d6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.18]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ptr=0xb7d4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.19]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ptr=0xb7d2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.20]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ptr=0xb7d0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.21]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ptr=0xb7cec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.22]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ptr=0xb7ccc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.23]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ptr=0xb7cac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.24]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ptr=0xb7c8c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.25]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ptr=0xb7c6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.26]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ptr=0xb7c4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.27]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ptr=0xb7c2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.28]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ptr=0xb7c0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.29]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ptr=0xb7bec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.30]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ptr=0xb7bcc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.31]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ptr=0xb7bac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.32]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ptr=0xb7b8c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.33]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ptr=0xb7b6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.34]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ptr=0xb7b4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.35]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ptr=0xb7b2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.36]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ptr=0xb7b0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.37]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ptr=0xb7aec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.38]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ptr=0xb7acc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.39]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ptr=0xb7aac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.40]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ptr=0xb7a8c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.41]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ptr=0xb7a6c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.42]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ptr=0xb7a4c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.43]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ptr=0xb7a2c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.44]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ptr=0xb7a0c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.45]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ptr=0xb79ec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.46]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ptr=0xb79cc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.47]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ptr=0xb79ac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.48]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ptr=0xb798c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.49]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ptr=0xb796c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.50]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ptr=0xb794c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.51]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ptr=0xb792c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.52]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ptr=0xb790c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.53]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ptr=0xb78ec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.54]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ptr=0xb78cc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.55]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ptr=0xb78ac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.56]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ptr=0xb788c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.57]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ptr=0xb786c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.58]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ptr=0xb784c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.59]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ptr=0xb782c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.60]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ptr=0xb780c000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.61]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ptr=0xb77ec000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.62]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ptr=0xb77cc000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.63]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ptr=0xb77ac000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.64]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.64.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.64.ptr=0xb778c000

[global.callpool]
global.callpool=0x924e1c0
global.callpool.cnt=0
xlator.protocol.server.conn.1.bound_xl.brick2.hashsize=14057
xlator.protocol.server.conn.1.bound_xl.brick2.name=brick2/inode
xlator.protocol.server.conn.1.bound_xl.brick2.lru_limit=1048576
xlator.protocol.server.conn.1.bound_xl.brick2.active_size=0
xlator.protocol.server.conn.1.bound_xl.brick2.lru_size=1
xlator.protocol.server.conn.1.bound_xl.brick2.purge_size=0

[xlator.protocol.server.conn.1.bound_xl.brick2.lru.1]
xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.nlookup=0
xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.generation=0
xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.ref=0
xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.ino=1
xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.st_mode=16877
xlator.protocol.server.conn.2.bound_xl.brick1.hashsize=14057
xlator.protocol.server.conn.2.bound_xl.brick1.name=brick1/inode
xlator.protocol.server.conn.2.bound_xl.brick1.lru_limit=1048576
xlator.protocol.server.conn.2.bound_xl.brick1.active_size=0
xlator.protocol.server.conn.2.bound_xl.brick1.lru_size=1
xlator.protocol.server.conn.2.bound_xl.brick1.purge_size=0

[xlator.protocol.server.conn.2.bound_xl.brick1.lru.1]
xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.nlookup=0
xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.generation=0
xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.ref=0
xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.ino=1
xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.st_mode=16877
xlator.protocol.server.conn.3.bound_xl.brick1.hashsize=14057
xlator.protocol.server.conn.3.bound_xl.brick1.name=brick1/inode
xlator.protocol.server.conn.3.bound_xl.brick1.lru_limit=1048576
xlator.protocol.server.conn.3.bound_xl.brick1.active_size=0
xlator.protocol.server.conn.3.bound_xl.brick1.lru_size=1
xlator.protocol.server.conn.3.bound_xl.brick1.purge_size=0

[xlator.protocol.server.conn.3.bound_xl.brick1.lru.1]
xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.nlookup=0
xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.generation=0
xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.ref=0
xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.ino=1
xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.st_mode=16877
xlator.protocol.server.conn.4.bound_xl.brick2.hashsize=14057
xlator.protocol.server.conn.4.bound_xl.brick2.name=brick2/inode
xlator.protocol.server.conn.4.bound_xl.brick2.lru_limit=1048576
xlator.protocol.server.conn.4.bound_xl.brick2.active_size=0
xlator.protocol.server.conn.4.bound_xl.brick2.lru_size=1
xlator.protocol.server.conn.4.bound_xl.brick2.purge_size=0

[xlator.protocol.server.conn.4.bound_xl.brick2.lru.1]
xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.nlookup=0
xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.generation=0
xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.ref=0
xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.ino=1
xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.st_mode=16877
xlator.protocol.server.conn.5.bound_xl.brick1.hashsize=14057
xlator.protocol.server.conn.5.bound_xl.brick1.name=brick1/inode
xlator.protocol.server.conn.5.bound_xl.brick1.lru_limit=1048576
xlator.protocol.server.conn.5.bound_xl.brick1.active_size=0
xlator.protocol.server.conn.5.bound_xl.brick1.lru_size=1
xlator.protocol.server.conn.5.bound_xl.brick1.purge_size=0

[xlator.protocol.server.conn.5.bound_xl.brick1.lru.1]
xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.nlookup=0
xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.generation=0
xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.ref=0
xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.ino=1
xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.st_mode=16877
xlator.protocol.server.conn.6.bound_xl.brick2.hashsize=14057
xlator.protocol.server.conn.6.bound_xl.brick2.name=brick2/inode
xlator.protocol.server.conn.6.bound_xl.brick2.lru_limit=1048576
xlator.protocol.server.conn.6.bound_xl.brick2.active_size=0
xlator.protocol.server.conn.6.bound_xl.brick2.lru_size=1
xlator.protocol.server.conn.6.bound_xl.brick2.purge_size=0

[xlator.protocol.server.conn.6.bound_xl.brick2.lru.1]
xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.nlookup=0
xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.generation=0
xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.ref=0
xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.ino=1
xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.st_mode=16877

[xlator.protocol.server.conn]
xlator.protocol.server.conn.1.id=FELIX-N3-21745-2009/12/22-13:48:06:831120-n1-2
xlator.protocol.server.conn.1.ref=2
xlator.protocol.server.conn.1.bound_xl=brick2
xlator.protocol.server.conn.1.id.refcount=0
xlator.protocol.server.conn.1.id.maxfds=256
xlator.protocol.server.conn.1.id.first_free=0
xlator.protocol.server.conn.2.id=FELIX-N3-21745-2009/12/22-13:48:06:831120-n1-1
xlator.protocol.server.conn.2.ref=2
xlator.protocol.server.conn.2.bound_xl=brick1
xlator.protocol.server.conn.2.id.refcount=0
xlator.protocol.server.conn.2.id.maxfds=256
xlator.protocol.server.conn.2.id.first_free=0
xlator.protocol.server.conn.3.id=FELIX-N2-26592-2009/12/22-13:47:20:713834-n1-1
xlator.protocol.server.conn.3.ref=2
xlator.protocol.server.conn.3.bound_xl=brick1
xlator.protocol.server.conn.3.id.refcount=0
xlator.protocol.server.conn.3.id.maxfds=256
xlator.protocol.server.conn.3.id.first_free=0
xlator.protocol.server.conn.4.id=FELIX-N2-26592-2009/12/22-13:47:20:713834-n1-2
xlator.protocol.server.conn.4.ref=2
xlator.protocol.server.conn.4.bound_xl=brick2
xlator.protocol.server.conn.4.id.refcount=0
xlator.protocol.server.conn.4.id.maxfds=256
xlator.protocol.server.conn.4.id.first_free=0
xlator.protocol.server.conn.5.id=FELIX-N4-18731-2009/12/22-13:48:48:841760-n1-1
xlator.protocol.server.conn.5.ref=2
xlator.protocol.server.conn.5.bound_xl=brick1
xlator.protocol.server.conn.5.id.refcount=0
xlator.protocol.server.conn.5.id.maxfds=256
xlator.protocol.server.conn.5.id.first_free=0
xlator.protocol.server.conn.6.id=FELIX-N4-18731-2009/12/22-13:48:48:841760-n1-2
xlator.protocol.server.conn.6.ref=2
xlator.protocol.server.conn.6.bound_xl=brick2
xlator.protocol.server.conn.6.id.refcount=0
xlator.protocol.server.conn.6.id.maxfds=256
xlator.protocol.server.conn.6.id.first_free=0

[storage/posix.posix-sdc1]
storage/posix.posix-sdc1.base_path=/datadisk2
storage/posix.posix-sdc1.base_path_length=10
storage/posix.posix-sdc1.max_read=1
storage/posix.posix-sdc1.max_write=1
storage/posix.posix-sdc1.stats.nr_files=0

[storage/posix.posix-sdb1]
storage/posix.posix-sdb1.base_path=/datadisk1
storage/posix.posix-sdb1.base_path_length=10
storage/posix.posix-sdb1.max_read=1
storage/posix.posix-sdb1.max_write=1
storage/posix.posix-sdb1.stats.nr_files=0


And the client dump file

[root at FELIX-N1 /]# more /tmp/glusterdump.5412

[mallinfo]
mallinfo_arena=417792
mallinfo_ordblks=19
mallinfo_smblks=39
mallinfo_hblks=1
mallinfo_hblkhd=266240
mallinfo_usmblks=0
mallinfo_fsmblks=1560
mallinfo_uordblks=292288
mallinfo_fordblks=125504
mallinfo_keepcost=119744

[iobuf.global]
iobuf.global.iobuf_pool=0x8ef5638
iobuf.global.iobuf_pool.page_size=131072
iobuf.global.iobuf_pool.arena_size=8388608
iobuf.global.iobuf_pool.arena_cnt=1

[iobuf.global.iobuf_pool.arena.1]
iobuf.global.iobuf_pool.arena.1.mem_base=0xb7740000
iobuf.global.iobuf_pool.arena.1.active_cnt=1
iobuf.global.iobuf_pool.arena.1.passive_cnt=63

[iobuf.global.iobuf_pool.arena.1.active_iobuf.1]
iobuf.global.iobuf_pool.arena.1.active_iobuf.1.ref=1
iobuf.global.iobuf_pool.arena.1.active_iobuf.1.ptr=0xb7f20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.1]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ptr=0xb7f00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.2]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ptr=0xb7ee0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.3]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ptr=0xb7ec0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.4]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ptr=0xb7ea0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.5]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ptr=0xb7e80000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.6]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ptr=0xb7e60000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.7]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ptr=0xb7e40000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.8]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ptr=0xb7e20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.9]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ptr=0xb7e00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.10]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ptr=0xb7de0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.11]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ptr=0xb7dc0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.12]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ptr=0xb7da0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.13]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ptr=0xb7d80000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.14]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ptr=0xb7d60000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.15]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ptr=0xb7d40000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.16]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ptr=0xb7d20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.17]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ptr=0xb7d00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.18]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ptr=0xb7ce0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.19]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ptr=0xb7cc0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.20]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ptr=0xb7ca0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.21]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ptr=0xb7c80000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.22]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ptr=0xb7c60000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.23]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ptr=0xb7c40000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.24]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ptr=0xb7c20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.25]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ptr=0xb7c00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.26]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ptr=0xb7be0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.27]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ptr=0xb7bc0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.28]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ptr=0xb7ba0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.29]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ptr=0xb7b80000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.30]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ptr=0xb7b60000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.31]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ptr=0xb7b40000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.32]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ptr=0xb7b20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.33]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ptr=0xb7b00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.34]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ptr=0xb7ae0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.35]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ptr=0xb7ac0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.36]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ptr=0xb7aa0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.37]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ptr=0xb7a80000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.38]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ptr=0xb7a60000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.39]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ptr=0xb7a40000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.40]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ptr=0xb7a20000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.41]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ptr=0xb7a00000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.42]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ptr=0xb79e0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.43]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ptr=0xb79c0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.44]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ptr=0xb79a0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.45]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ptr=0xb7980000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.46]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ptr=0xb7960000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.47]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ptr=0xb7940000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.48]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ptr=0xb7920000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.49]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ptr=0xb7900000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.50]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ptr=0xb78e0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.51]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ptr=0xb78c0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.52]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ptr=0xb78a0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.53]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ptr=0xb7880000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.54]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ptr=0xb7860000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.55]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ptr=0xb7840000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.56]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ptr=0xb7820000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.57]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ptr=0xb7800000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.58]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ptr=0xb77e0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.59]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ptr=0xb77c0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.60]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ptr=0xb77a0000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.61]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ptr=0xb7780000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.62]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ptr=0xb7760000

[iobuf.global.iobuf_pool.arena.1.passive_iobuf.63]
iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ref=0
iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ptr=0xb7740000

[global.callpool]
global.callpool=0x8ef51e0
global.callpool.cnt=0

[xlator.mount.fuse.priv]
xlator.mount.fuse.priv.fd=6
xlator.mount.fuse.priv.proto_minor=10
xlator.mount.fuse.priv.volfile=None
xlator.mount.fuse.volfile_size=0
xlator.mount.fuse.mount_point=/test
xlator.mount.fuse.iobuf=149904688
xlator.mount.fuse.fuse_thread_started=1
xlator.mount.fuse.direct_io_mode=1
xlator.mount.fuse.entry_timeout=1.000000
xlator.mount.fuse.attribute_timeout=1.000000
xlator.mount.fuse.first_call=0
xlator.mount.fuse.strict_volfile_check=1

[xlator.mount.fuse.itable]
xlator.mount.fuse.itable.hashsize=14057
xlator.mount.fuse.itable.name=fuse/inode
xlator.mount.fuse.itable.lru_limit=0
xlator.mount.fuse.itable.active_size=1
xlator.mount.fuse.itable.lru_size=0
xlator.mount.fuse.itable.purge_size=0

[xlator.mount.fuse.itable.active.1]
xlator.mount.fuse.itable.active.1.nlookup=0
xlator.mount.fuse.itable.active.1.generation=0
xlator.mount.fuse.itable.active.1.ref=11
xlator.mount.fuse.itable.active.1.ino=1
xlator.mount.fuse.itable.active.1.st_mode=16877
xlator.protocol.client.n3-1.inode.1.par=1
xlator.protocol.client.n3-2.inode.1.par=1
xlator.protocol.client.n1-2.inode.1.par=1
xlator.protocol.client.n1-1.inode.1.par=1
xlator.protocol.client.n2-2.inode.1.par=1
xlator.protocol.client.n2-1.inode.1.par=1
xlator.protocol.client.n4-2.inode.1.par=1
xlator.protocol.client.n4-1.inode.1.par=1

[xlator.performance.quick-read.priv]
xlator.performance.quick-read.priv.max_file_size=65536
xlator.performance.quick-read.priv.cache_timeout=1

[xlator.performance.write-behind.priv]
xlator.performance.write-behind.priv.aggregate_size=131072
xlator.performance.write-behind.priv.window_size=1048576
xlator.performance.write-behind.priv.disable_till=1
xlator.performance.write-behind.priv.enable_O_SYNC=0
xlator.performance.write-behind.priv.flush_behind=0
xlator.performance.write-behind.priv.enable_trickling_writes=1

[xlator.performance.read-ahead.priv]
xlator.performance.read-ahead.priv.page_size=131072
xlator.performance.read-ahead.priv.page_count=4
xlator.performance.read-ahead.priv.force_atime_update=0

[xlator.protocol.client.n4-2.priv]
xlator.protocol.client.n4-2.priv.connecting=0
xlator.protocol.client.n4-2.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n4-2.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n4-1.priv]
xlator.protocol.client.n4-1.priv.connecting=0
xlator.protocol.client.n4-1.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n4-1.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n3-2.priv]
xlator.protocol.client.n3-2.priv.connecting=0
xlator.protocol.client.n3-2.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n3-2.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n3-1.priv]
xlator.protocol.client.n3-1.priv.connecting=0
xlator.protocol.client.n3-1.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n3-1.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n2-2.priv]
xlator.protocol.client.n2-2.priv.connecting=0
xlator.protocol.client.n2-2.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n2-2.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n2-1.priv]
xlator.protocol.client.n2-1.priv.connecting=0
xlator.protocol.client.n2-1.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n2-1.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n1-2.priv]
xlator.protocol.client.n1-2.priv.connecting=0
xlator.protocol.client.n1-2.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n1-2.priv.last_received=Wed Dec 23 14:22:31 2009


[xlator.protocol.client.n1-1.priv]
xlator.protocol.client.n1-1.priv.connecting=0
xlator.protocol.client.n1-1.priv.last_sent=Wed Dec 23 14:22:31 2009

xlator.protocol.client.n1-1.priv.last_received=Wed Dec 23 14:22:31 2009

We sure are desperate in getting this running. As it stands the lag is 
way to large to put this back into production.

Raghavendra G

2009-Dec-24 04:05 UTC

head link

[Gluster-users] New versions of gluster hanging on read / write

Hi Ken,

Do you experience same issues with all the performance translators
(readahead, writebehind, iocache, stat-prefetch, quick-read) removed, i.e.,
with only stripe in the configuration?

regards,
On Thu, Dec 24, 2009 at 3:06 AM, Ken <sales at pytecdesign.com> wrote:
> Good day.
>
> We have been using glusterfs since verion 2.0.1-1 and just recently
> upgraded our  storage
> servers to the new versions 3.0.0-1.
>
> Before then we never noticed the problems we are experiencing now.
>
> When trying to use the glusterfs share it seems to hang for a few seconds
> every time data is written into the file system. Also when running the
> command df it also hangs every time for 2-3 seconds.
>
> The configuration is as follows.
>
> 4 servers running both the server and client
> 2 drives shared in each of the 4 server for a total of 8 drives striped.
>
> glusterfsd.vol
>
> volume posix-sdb1
>  type storage/posix
>  option directory /datadisk1
> end-volume
>
> volume locks1
>  type features/locks
>  subvolumes posix-sdb1
> end-volume
>
> volume brick1
>  type performance/io-threads
>  option thread-count 4
>  subvolumes locks1
> end-volume
>
> volume posix-sdc1
>  type storage/posix
>  option directory /datadisk2
> end-volume
>
> volume locks2
>  type features/locks
>  subvolumes posix-sdc1
> end-volume
>
> volume brick2
>  type performance/io-threads
>  option thread-count 4
>  subvolumes locks2
> end-volume
>
> volume server
> type protocol/server
> option transport-type tcp
> option transport.socket.nodelay on
> option auth.addr.brick1.allow *
> option auth.addr.brick2.allow *
> subvolumes brick1 brick2
> end-volume
>
> glusterfs.vol
>
> volume n1-1
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.100
>  option transport.socket.nodelay on
>  option remote-subvolume brick1
> end-volume
>
> volume n1-2
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.100
>  option transport.socket.nodelay on
>  option remote-subvolume brick2
> end-volume
>
> volume n2-1
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.101
>  option transport.socket.nodelay on
>  option remote-subvolume brick1
> end-volume
>
> volume n2-2
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.101
>  option transport.socket.nodelay on
>  option remote-subvolume brick2
> end-volume
>
> volume n3-1
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.102
>  option transport.socket.nodelay on
>  option remote-subvolume brick1
> end-volume
>
> volume n3-2
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.102
>  option transport.socket.nodelay on
>  option remote-subvolume brick2
> end-volume
>
> volume n4-1
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.103
>  option transport.socket.nodelay on
>  option remote-subvolume brick1
> end-volume
>
> volume n4-2
>  type protocol/client
>  option transport-type tcp
>  option remote-host 172.31.10.103
>  option transport.socket.nodelay on
>  option remote-subvolume brick2
> end-volume
>
>
> volume bricks
>  type cluster/stripe
>  subvolumes n1-1 n1-2 n2-1 n2-2 n3-1 n3-2 n4-1 n4-2
> end-volume
>
> volume readahead
>  type performance/read-ahead
>  option page-count 4
>  subvolumes bricks
> end-volume
>
> volume writebehind
>  type performance/write-behind
>  option cache-size 1MB
>  subvolumes readahead
> end-volume
>
> volume quick-read
>  type performance/quick-read
>  option cache-timeout 1
>  option max-file-size 64Kb
>  subvolumes writebehind
> end-volume
>
> volume io-cache
>    type performance/io-cache
>    option cache-size 64MB
>    subvolumes quick-read
> end-volume
>
> volume stat-prefetch
>  type performance/stat-prefetch
>  subvolumes io-cache
> end-volume
>
>
> And here is a dump file for both the server and client if that might help.
>
> [root at FELIX-N1 /]# more /tmp/glusterdump.5258
>
> [mallinfo]
> mallinfo_arena=528384
> mallinfo_ordblks=2
> mallinfo_smblks=56
> mallinfo_hblks=1
> mallinfo_hblkhd=266240
> mallinfo_usmblks=0
> mallinfo_fsmblks=1544
> mallinfo_uordblks=521160
> mallinfo_fordblks=7224
> mallinfo_keepcost=4616
>
> [iobuf.global]
> iobuf.global.iobuf_pool=0x924e658
> iobuf.global.iobuf_pool.page_size=131072
> iobuf.global.iobuf_pool.arena_size=8388608
> iobuf.global.iobuf_pool.arena_cnt=1
>
> [iobuf.global.iobuf_pool.arena.1]
> iobuf.global.iobuf_pool.arena.1.mem_base=0xb778c000
> iobuf.global.iobuf_pool.arena.1.active_cnt=0
> iobuf.global.iobuf_pool.arena.1.passive_cnt=64
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.1]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ptr=0xb7f6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.2]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ptr=0xb7f4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.3]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ptr=0xb7f2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.4]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ptr=0xb7f0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.5]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ptr=0xb7eec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.6]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ptr=0xb7ecc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.7]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ptr=0xb7eac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.8]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ptr=0xb7e8c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.9]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ptr=0xb7e6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.10]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ptr=0xb7e4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.11]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ptr=0xb7e2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.12]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ptr=0xb7e0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.13]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ptr=0xb7dec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.14]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ptr=0xb7dcc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.15]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ptr=0xb7dac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.16]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ptr=0xb7d8c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.17]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ptr=0xb7d6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.18]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ptr=0xb7d4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.19]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ptr=0xb7d2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.20]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ptr=0xb7d0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.21]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ptr=0xb7cec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.22]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ptr=0xb7ccc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.23]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ptr=0xb7cac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.24]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ptr=0xb7c8c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.25]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ptr=0xb7c6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.26]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ptr=0xb7c4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.27]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ptr=0xb7c2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.28]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ptr=0xb7c0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.29]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ptr=0xb7bec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.30]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ptr=0xb7bcc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.31]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ptr=0xb7bac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.32]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ptr=0xb7b8c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.33]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ptr=0xb7b6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.34]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ptr=0xb7b4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.35]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ptr=0xb7b2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.36]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ptr=0xb7b0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.37]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ptr=0xb7aec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.38]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ptr=0xb7acc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.39]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ptr=0xb7aac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.40]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ptr=0xb7a8c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.41]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ptr=0xb7a6c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.42]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ptr=0xb7a4c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.43]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ptr=0xb7a2c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.44]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ptr=0xb7a0c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.45]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ptr=0xb79ec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.46]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ptr=0xb79cc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.47]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ptr=0xb79ac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.48]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ptr=0xb798c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.49]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ptr=0xb796c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.50]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ptr=0xb794c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.51]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ptr=0xb792c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.52]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ptr=0xb790c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.53]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ptr=0xb78ec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.54]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ptr=0xb78cc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.55]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ptr=0xb78ac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.56]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ptr=0xb788c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.57]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ptr=0xb786c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.58]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ptr=0xb784c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.59]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ptr=0xb782c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.60]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ptr=0xb780c000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.61]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ptr=0xb77ec000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.62]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ptr=0xb77cc000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.63]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ptr=0xb77ac000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.64]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.64.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.64.ptr=0xb778c000
>
> [global.callpool]
> global.callpool=0x924e1c0
> global.callpool.cnt=0
> xlator.protocol.server.conn.1.bound_xl.brick2.hashsize=14057
> xlator.protocol.server.conn.1.bound_xl.brick2.name=brick2/inode
> xlator.protocol.server.conn.1.bound_xl.brick2.lru_limit=1048576
> xlator.protocol.server.conn.1.bound_xl.brick2.active_size=0
> xlator.protocol.server.conn.1.bound_xl.brick2.lru_size=1
> xlator.protocol.server.conn.1.bound_xl.brick2.purge_size=0
>
> [xlator.protocol.server.conn.1.bound_xl.brick2.lru.1]
> xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.nlookup=0
> xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.generation=0
> xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.ref=0
> xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.ino=1
> xlator.protocol.server.conn.1.bound_xl.brick2.lru.1.st_mode=16877
> xlator.protocol.server.conn.2.bound_xl.brick1.hashsize=14057
> xlator.protocol.server.conn.2.bound_xl.brick1.name=brick1/inode
> xlator.protocol.server.conn.2.bound_xl.brick1.lru_limit=1048576
> xlator.protocol.server.conn.2.bound_xl.brick1.active_size=0
> xlator.protocol.server.conn.2.bound_xl.brick1.lru_size=1
> xlator.protocol.server.conn.2.bound_xl.brick1.purge_size=0
>
> [xlator.protocol.server.conn.2.bound_xl.brick1.lru.1]
> xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.nlookup=0
> xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.generation=0
> xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.ref=0
> xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.ino=1
> xlator.protocol.server.conn.2.bound_xl.brick1.lru.1.st_mode=16877
> xlator.protocol.server.conn.3.bound_xl.brick1.hashsize=14057
> xlator.protocol.server.conn.3.bound_xl.brick1.name=brick1/inode
> xlator.protocol.server.conn.3.bound_xl.brick1.lru_limit=1048576
> xlator.protocol.server.conn.3.bound_xl.brick1.active_size=0
> xlator.protocol.server.conn.3.bound_xl.brick1.lru_size=1
> xlator.protocol.server.conn.3.bound_xl.brick1.purge_size=0
>
> [xlator.protocol.server.conn.3.bound_xl.brick1.lru.1]
> xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.nlookup=0
> xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.generation=0
> xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.ref=0
> xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.ino=1
> xlator.protocol.server.conn.3.bound_xl.brick1.lru.1.st_mode=16877
> xlator.protocol.server.conn.4.bound_xl.brick2.hashsize=14057
> xlator.protocol.server.conn.4.bound_xl.brick2.name=brick2/inode
> xlator.protocol.server.conn.4.bound_xl.brick2.lru_limit=1048576
> xlator.protocol.server.conn.4.bound_xl.brick2.active_size=0
> xlator.protocol.server.conn.4.bound_xl.brick2.lru_size=1
> xlator.protocol.server.conn.4.bound_xl.brick2.purge_size=0
>
> [xlator.protocol.server.conn.4.bound_xl.brick2.lru.1]
> xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.nlookup=0
> xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.generation=0
> xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.ref=0
> xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.ino=1
> xlator.protocol.server.conn.4.bound_xl.brick2.lru.1.st_mode=16877
> xlator.protocol.server.conn.5.bound_xl.brick1.hashsize=14057
> xlator.protocol.server.conn.5.bound_xl.brick1.name=brick1/inode
> xlator.protocol.server.conn.5.bound_xl.brick1.lru_limit=1048576
> xlator.protocol.server.conn.5.bound_xl.brick1.active_size=0
> xlator.protocol.server.conn.5.bound_xl.brick1.lru_size=1
> xlator.protocol.server.conn.5.bound_xl.brick1.purge_size=0
>
> [xlator.protocol.server.conn.5.bound_xl.brick1.lru.1]
> xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.nlookup=0
> xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.generation=0
> xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.ref=0
> xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.ino=1
> xlator.protocol.server.conn.5.bound_xl.brick1.lru.1.st_mode=16877
> xlator.protocol.server.conn.6.bound_xl.brick2.hashsize=14057
> xlator.protocol.server.conn.6.bound_xl.brick2.name=brick2/inode
> xlator.protocol.server.conn.6.bound_xl.brick2.lru_limit=1048576
> xlator.protocol.server.conn.6.bound_xl.brick2.active_size=0
> xlator.protocol.server.conn.6.bound_xl.brick2.lru_size=1
> xlator.protocol.server.conn.6.bound_xl.brick2.purge_size=0
>
> [xlator.protocol.server.conn.6.bound_xl.brick2.lru.1]
> xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.nlookup=0
> xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.generation=0
> xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.ref=0
> xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.ino=1
> xlator.protocol.server.conn.6.bound_xl.brick2.lru.1.st_mode=16877
>
> [xlator.protocol.server.conn]
> xlator.protocol.server.conn.1.id
> =FELIX-N3-21745-2009/12/22-13:48:06:831120-n1-2
> xlator.protocol.server.conn.1.ref=2
> xlator.protocol.server.conn.1.bound_xl=brick2
> xlator.protocol.server.conn.1.id.refcount=0
> xlator.protocol.server.conn.1.id.maxfds=256
> xlator.protocol.server.conn.1.id.first_free=0
> xlator.protocol.server.conn.2.id
> =FELIX-N3-21745-2009/12/22-13:48:06:831120-n1-1
> xlator.protocol.server.conn.2.ref=2
> xlator.protocol.server.conn.2.bound_xl=brick1
> xlator.protocol.server.conn.2.id.refcount=0
> xlator.protocol.server.conn.2.id.maxfds=256
> xlator.protocol.server.conn.2.id.first_free=0
> xlator.protocol.server.conn.3.id
> =FELIX-N2-26592-2009/12/22-13:47:20:713834-n1-1
> xlator.protocol.server.conn.3.ref=2
> xlator.protocol.server.conn.3.bound_xl=brick1
> xlator.protocol.server.conn.3.id.refcount=0
> xlator.protocol.server.conn.3.id.maxfds=256
> xlator.protocol.server.conn.3.id.first_free=0
> xlator.protocol.server.conn.4.id
> =FELIX-N2-26592-2009/12/22-13:47:20:713834-n1-2
> xlator.protocol.server.conn.4.ref=2
> xlator.protocol.server.conn.4.bound_xl=brick2
> xlator.protocol.server.conn.4.id.refcount=0
> xlator.protocol.server.conn.4.id.maxfds=256
> xlator.protocol.server.conn.4.id.first_free=0
> xlator.protocol.server.conn.5.id
> =FELIX-N4-18731-2009/12/22-13:48:48:841760-n1-1
> xlator.protocol.server.conn.5.ref=2
> xlator.protocol.server.conn.5.bound_xl=brick1
> xlator.protocol.server.conn.5.id.refcount=0
> xlator.protocol.server.conn.5.id.maxfds=256
> xlator.protocol.server.conn.5.id.first_free=0
> xlator.protocol.server.conn.6.id
> =FELIX-N4-18731-2009/12/22-13:48:48:841760-n1-2
> xlator.protocol.server.conn.6.ref=2
> xlator.protocol.server.conn.6.bound_xl=brick2
> xlator.protocol.server.conn.6.id.refcount=0
> xlator.protocol.server.conn.6.id.maxfds=256
> xlator.protocol.server.conn.6.id.first_free=0
>
> [storage/posix.posix-sdc1]
> storage/posix.posix-sdc1.base_path=/datadisk2
> storage/posix.posix-sdc1.base_path_length=10
> storage/posix.posix-sdc1.max_read=1
> storage/posix.posix-sdc1.max_write=1
> storage/posix.posix-sdc1.stats.nr_files=0
>
> [storage/posix.posix-sdb1]
> storage/posix.posix-sdb1.base_path=/datadisk1
> storage/posix.posix-sdb1.base_path_length=10
> storage/posix.posix-sdb1.max_read=1
> storage/posix.posix-sdb1.max_write=1
> storage/posix.posix-sdb1.stats.nr_files=0
>
>
> And the client dump file
>
> [root at FELIX-N1 /]# more /tmp/glusterdump.5412
>
> [mallinfo]
> mallinfo_arena=417792
> mallinfo_ordblks=19
> mallinfo_smblks=39
> mallinfo_hblks=1
> mallinfo_hblkhd=266240
> mallinfo_usmblks=0
> mallinfo_fsmblks=1560
> mallinfo_uordblks=292288
> mallinfo_fordblks=125504
> mallinfo_keepcost=119744
>
> [iobuf.global]
> iobuf.global.iobuf_pool=0x8ef5638
> iobuf.global.iobuf_pool.page_size=131072
> iobuf.global.iobuf_pool.arena_size=8388608
> iobuf.global.iobuf_pool.arena_cnt=1
>
> [iobuf.global.iobuf_pool.arena.1]
> iobuf.global.iobuf_pool.arena.1.mem_base=0xb7740000
> iobuf.global.iobuf_pool.arena.1.active_cnt=1
> iobuf.global.iobuf_pool.arena.1.passive_cnt=63
>
> [iobuf.global.iobuf_pool.arena.1.active_iobuf.1]
> iobuf.global.iobuf_pool.arena.1.active_iobuf.1.ref=1
> iobuf.global.iobuf_pool.arena.1.active_iobuf.1.ptr=0xb7f20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.1]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.1.ptr=0xb7f00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.2]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.2.ptr=0xb7ee0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.3]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.3.ptr=0xb7ec0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.4]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.4.ptr=0xb7ea0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.5]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.5.ptr=0xb7e80000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.6]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.6.ptr=0xb7e60000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.7]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.7.ptr=0xb7e40000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.8]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.8.ptr=0xb7e20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.9]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.9.ptr=0xb7e00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.10]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.10.ptr=0xb7de0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.11]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.11.ptr=0xb7dc0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.12]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.12.ptr=0xb7da0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.13]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.13.ptr=0xb7d80000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.14]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.14.ptr=0xb7d60000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.15]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.15.ptr=0xb7d40000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.16]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.16.ptr=0xb7d20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.17]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.17.ptr=0xb7d00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.18]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.18.ptr=0xb7ce0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.19]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.19.ptr=0xb7cc0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.20]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.20.ptr=0xb7ca0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.21]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.21.ptr=0xb7c80000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.22]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.22.ptr=0xb7c60000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.23]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.23.ptr=0xb7c40000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.24]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.24.ptr=0xb7c20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.25]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.25.ptr=0xb7c00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.26]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.26.ptr=0xb7be0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.27]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.27.ptr=0xb7bc0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.28]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.28.ptr=0xb7ba0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.29]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.29.ptr=0xb7b80000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.30]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.30.ptr=0xb7b60000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.31]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.31.ptr=0xb7b40000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.32]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.32.ptr=0xb7b20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.33]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.33.ptr=0xb7b00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.34]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.34.ptr=0xb7ae0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.35]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.35.ptr=0xb7ac0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.36]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.36.ptr=0xb7aa0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.37]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.37.ptr=0xb7a80000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.38]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.38.ptr=0xb7a60000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.39]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.39.ptr=0xb7a40000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.40]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.40.ptr=0xb7a20000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.41]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.41.ptr=0xb7a00000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.42]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.42.ptr=0xb79e0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.43]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.43.ptr=0xb79c0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.44]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.44.ptr=0xb79a0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.45]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.45.ptr=0xb7980000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.46]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.46.ptr=0xb7960000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.47]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.47.ptr=0xb7940000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.48]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.48.ptr=0xb7920000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.49]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.49.ptr=0xb7900000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.50]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.50.ptr=0xb78e0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.51]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.51.ptr=0xb78c0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.52]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.52.ptr=0xb78a0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.53]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.53.ptr=0xb7880000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.54]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.54.ptr=0xb7860000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.55]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.55.ptr=0xb7840000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.56]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.56.ptr=0xb7820000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.57]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.57.ptr=0xb7800000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.58]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.58.ptr=0xb77e0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.59]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.59.ptr=0xb77c0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.60]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.60.ptr=0xb77a0000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.61]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.61.ptr=0xb7780000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.62]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.62.ptr=0xb7760000
>
> [iobuf.global.iobuf_pool.arena.1.passive_iobuf.63]
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ref=0
> iobuf.global.iobuf_pool.arena.1.passive_iobuf.63.ptr=0xb7740000
>
> [global.callpool]
> global.callpool=0x8ef51e0
> global.callpool.cnt=0
>
> [xlator.mount.fuse.priv]
> xlator.mount.fuse.priv.fd=6
> xlator.mount.fuse.priv.proto_minor=10
> xlator.mount.fuse.priv.volfile=None
> xlator.mount.fuse.volfile_size=0
> xlator.mount.fuse.mount_point=/test
> xlator.mount.fuse.iobuf=149904688
> xlator.mount.fuse.fuse_thread_started=1
> xlator.mount.fuse.direct_io_mode=1
> xlator.mount.fuse.entry_timeout=1.000000
> xlator.mount.fuse.attribute_timeout=1.000000
> xlator.mount.fuse.first_call=0
> xlator.mount.fuse.strict_volfile_check=1
>
> [xlator.mount.fuse.itable]
> xlator.mount.fuse.itable.hashsize=14057
> xlator.mount.fuse.itable.name=fuse/inode
> xlator.mount.fuse.itable.lru_limit=0
> xlator.mount.fuse.itable.active_size=1
> xlator.mount.fuse.itable.lru_size=0
> xlator.mount.fuse.itable.purge_size=0
>
> [xlator.mount.fuse.itable.active.1]
> xlator.mount.fuse.itable.active.1.nlookup=0
> xlator.mount.fuse.itable.active.1.generation=0
> xlator.mount.fuse.itable.active.1.ref=11
> xlator.mount.fuse.itable.active.1.ino=1
> xlator.mount.fuse.itable.active.1.st_mode=16877
> xlator.protocol.client.n3-1.inode.1.par=1
> xlator.protocol.client.n3-2.inode.1.par=1
> xlator.protocol.client.n1-2.inode.1.par=1
> xlator.protocol.client.n1-1.inode.1.par=1
> xlator.protocol.client.n2-2.inode.1.par=1
> xlator.protocol.client.n2-1.inode.1.par=1
> xlator.protocol.client.n4-2.inode.1.par=1
> xlator.protocol.client.n4-1.inode.1.par=1
>
> [xlator.performance.quick-read.priv]
> xlator.performance.quick-read.priv.max_file_size=65536
> xlator.performance.quick-read.priv.cache_timeout=1
>
> [xlator.performance.write-behind.priv]
> xlator.performance.write-behind.priv.aggregate_size=131072
> xlator.performance.write-behind.priv.window_size=1048576
> xlator.performance.write-behind.priv.disable_till=1
> xlator.performance.write-behind.priv.enable_O_SYNC=0
> xlator.performance.write-behind.priv.flush_behind=0
> xlator.performance.write-behind.priv.enable_trickling_writes=1
>
> [xlator.performance.read-ahead.priv]
> xlator.performance.read-ahead.priv.page_size=131072
> xlator.performance.read-ahead.priv.page_count=4
> xlator.performance.read-ahead.priv.force_atime_update=0
>
> [xlator.protocol.client.n4-2.priv]
> xlator.protocol.client.n4-2.priv.connecting=0
> xlator.protocol.client.n4-2.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n4-2.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n4-1.priv]
> xlator.protocol.client.n4-1.priv.connecting=0
> xlator.protocol.client.n4-1.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n4-1.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n3-2.priv]
> xlator.protocol.client.n3-2.priv.connecting=0
> xlator.protocol.client.n3-2.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n3-2.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n3-1.priv]
> xlator.protocol.client.n3-1.priv.connecting=0
> xlator.protocol.client.n3-1.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n3-1.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n2-2.priv]
> xlator.protocol.client.n2-2.priv.connecting=0
> xlator.protocol.client.n2-2.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n2-2.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n2-1.priv]
> xlator.protocol.client.n2-1.priv.connecting=0
> xlator.protocol.client.n2-1.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n2-1.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n1-2.priv]
> xlator.protocol.client.n1-2.priv.connecting=0
> xlator.protocol.client.n1-2.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n1-2.priv.last_received=Wed Dec 23 14:22:31 2009
>
>
> [xlator.protocol.client.n1-1.priv]
> xlator.protocol.client.n1-1.priv.connecting=0
> xlator.protocol.client.n1-1.priv.last_sent=Wed Dec 23 14:22:31 2009
>
> xlator.protocol.client.n1-1.priv.last_received=Wed Dec 23 14:22:31 2009
>
> We sure are desperate in getting this running. As it stands the lag is way
> to large to put this back into production.
> _______________________________________________
> Gluster-users mailing list
> Gluster-users at gluster.org
> http://gluster.org/cgi-bin/mailman/listinfo/gluster-users
>


-- 
Raghavendra G

Gluster users - Dec 2009 - New versions of gluster hanging on read / write

[Gluster-users] New versions of gluster hanging on read / write

[Gluster-users] New versions of gluster hanging on read / write