Frank Rothenstein
2015-Nov-26 15:34 UTC
[Gluster-users] NFS/RPC/Glusterd error on one brick
Today's cli.log:?http://pastebin.com/MjbxRkTj Last start of glusterd.service, etc-glusterfs-glusterd.vol.log:?http:// pastebin.com/21gDJZwb A lot of output from glustershd.log:?http://pastebin.com/rTXMqTPC Am Donnerstag, den 26.11.2015, 20:41 +0530 schrieb Atin Mukherjee:> Please attach the glusterd log of the faulty node. > -Atin > Sent from one plus one > On Nov 26, 2015 8:31 PM, "Frank Rothenstein" <f.rothenstein at bodden-kl > iniken.de> wrote: > > Hey @all, > > > > I'm having trouble on one of my gluster hosts/peers: > > glusterd is starting but won't connect properly to other peer(s).? > > > > I'm stuck, after reading Bugzilla/Google Groups/Gluster Users etc I > > still have no clue why Gluster won't start only on this particular > > machine. It's Centos 7, i have another machine (same hardware, same > > config) running with no problems. > > The weirdest part is that the cluster ran before and since the > > upgrade > > with only minor problems. Then i had to restart the machines and > > this > > one never came back properly. > > I'm can't find the cause and appreciate any help. > > > > rpcinfo -p > > ???program vers proto???port??service > > ????100000????4???tcp????111??portmapper > > ????100000????3???tcp????111??portmapper > > ????100000????2???tcp????111??portmapper > > ????100000????4???udp????111??portmapper > > ????100000????3???udp????111??portmapper > > ????100000????2???udp????111??portmapper > > ????100024????1???udp??48184??status > > ????100024????1???tcp??34779??status > > > > Then of course: > > > > showmount -e > > clnt_create: RPC: Program not registered > > > > > > No .socket-files > > > > ls /var/run/gluster > > snaps > > > > If I run glusterd in DEBUG I'm constantly getting: > > > > [2015-11-26 14:30:05.290866] D [socket.c:558:__socket_rwv] 0- > > socket.management: EOF on socket > > [2015-11-26 14:30:05.290886] D [socket.c:2355:socket_event_handler] > > 0- > > transport: disconnecting now > > [2015-11-26 14:30:05.290903] D [MSGID: 0] [event- > > epoll.c:591:event_dispatch_epoll_handler] 0-epoll: generation > > bumped on > > idx=4 from gen=382 to slot->gen=383, fd=10, slot->fd=10 > > > > > > ls -al /var/run/gluster > > total 0 > > drwxr-xr-x??3 root root???60 Nov 26 12:51 . > > drwxr-xr-x 37 root root 1180 Nov 26 15:30 .. > > drwxr-xr-x??2 root root???40 Nov 26 12:51 snaps > > > > Thanks in advance > > > > Frank > > > > > > > > > > > > ___________________________________________________________________ > > ___________ > > BODDEN-KLINIKEN Ribnitz-Damgarten GmbH > > Sandhufe 2 > > 18311 Ribnitz-Damgarten > > > > Telefon: 03821-700-0 > > Fax:? ? ? ?03821-700-240 > > > > E-Mail: info at bodden-kliniken.de? ?Internet: http://www.bodden-klini > > ken.de > > > > Sitz: Ribnitz-Damgarten, Amtsgericht: Stralsund, HRB 2919, Steuer- > > Nr.: 079/133/40188 > > Aufsichtsratsvorsitzende: Carmen Schr?ter, Gesch?ftsf?hrer: Dr. > > Falko Milski > > > > Der Inhalt dieser E-Mail ist ausschlie?lich f?r den bezeichneten > > Adressaten bestimmt. Wenn Sie nicht der vorge- > > sehene Adressat dieser E-Mail oder dessen Vertreter sein sollten, > > beachten Sie bitte, dass jede Form der Ver?f- > > fentlichung, Vervielf?ltigung oder Weitergabe des Inhalts dieser E- > > Mail unzul?ssig ist. Wir bitten Sie, sofort den > > Absender zu informieren und die E-Mail zu l?schen. > > > > > > ? ? ? ? ? ? ?Bodden-Kliniken Ribnitz-Damgarten GmbH 2015 > > *** Virenfrei durch Kerio Mail Server und Sophos Antivirus *** > > > > _______________________________________________ > > Gluster-users mailing list > > Gluster-users at gluster.org > > http://www.gluster.org/mailman/listinfo/gluster-users______________________________________________________________________________ BODDEN-KLINIKEN Ribnitz-Damgarten GmbH Sandhufe 2 18311 Ribnitz-Damgarten Telefon: 03821-700-0 Fax: 03821-700-240 E-Mail: info at bodden-kliniken.de Internet: http://www.bodden-kliniken.de Sitz: Ribnitz-Damgarten, Amtsgericht: Stralsund, HRB 2919, Steuer-Nr.: 079/133/40188 Aufsichtsratsvorsitzende: Carmen Schr?ter, Gesch?ftsf?hrer: Dr. Falko Milski Der Inhalt dieser E-Mail ist ausschlie?lich f?r den bezeichneten Adressaten bestimmt. Wenn Sie nicht der vorge- sehene Adressat dieser E-Mail oder dessen Vertreter sein sollten, beachten Sie bitte, dass jede Form der Ver?f- fentlichung, Vervielf?ltigung oder Weitergabe des Inhalts dieser E-Mail unzul?ssig ist. Wir bitten Sie, sofort den Absender zu informieren und die E-Mail zu l?schen. Bodden-Kliniken Ribnitz-Damgarten GmbH 2015 *** Virenfrei durch Kerio Mail Server und Sophos Antivirus ***
The logs seems to be normal, do you see any difference in peer status command output from different nodes? -Atin Sent from one plus one On Nov 26, 2015 9:04 PM, "Frank Rothenstein" < f.rothenstein at bodden-kliniken.de> wrote:> > Today's cli.log: http://pastebin.com/MjbxRkTj > Last start of glusterd.service, etc-glusterfs-glusterd.vol.log: http:// > pastebin.com/21gDJZwb > A lot of output from glustershd.log: http://pastebin.com/rTXMqTPC > > > Am Donnerstag, den 26.11.2015, 20:41 +0530 schrieb Atin Mukherjee: > > Please attach the glusterd log of the faulty node. > > -Atin > > Sent from one plus one > > On Nov 26, 2015 8:31 PM, "Frank Rothenstein" <f.rothenstein at bodden-kl > > iniken.de> wrote: > > > Hey @all, > > > > > > I'm having trouble on one of my gluster hosts/peers: > > > glusterd is starting but won't connect properly to other peer(s). > > > > > > I'm stuck, after reading Bugzilla/Google Groups/Gluster Users etc I > > > still have no clue why Gluster won't start only on this particular > > > machine. It's Centos 7, i have another machine (same hardware, same > > > config) running with no problems. > > > The weirdest part is that the cluster ran before and since the > > > upgrade > > > with only minor problems. Then i had to restart the machines and > > > this > > > one never came back properly. > > > I'm can't find the cause and appreciate any help. > > > > > > rpcinfo -p > > > program vers proto port service > > > 100000 4 tcp 111 portmapper > > > 100000 3 tcp 111 portmapper > > > 100000 2 tcp 111 portmapper > > > 100000 4 udp 111 portmapper > > > 100000 3 udp 111 portmapper > > > 100000 2 udp 111 portmapper > > > 100024 1 udp 48184 status > > > 100024 1 tcp 34779 status > > > > > > Then of course: > > > > > > showmount -e > > > clnt_create: RPC: Program not registered > > > > > > > > > No .socket-files > > > > > > ls /var/run/gluster > > > snaps > > > > > > If I run glusterd in DEBUG I'm constantly getting: > > > > > > [2015-11-26 14:30:05.290866] D [socket.c:558:__socket_rwv] 0- > > > socket.management: EOF on socket > > > [2015-11-26 14:30:05.290886] D [socket.c:2355:socket_event_handler] > > > 0- > > > transport: disconnecting now > > > [2015-11-26 14:30:05.290903] D [MSGID: 0] [event- > > > epoll.c:591:event_dispatch_epoll_handler] 0-epoll: generation > > > bumped on > > > idx=4 from gen=382 to slot->gen=383, fd=10, slot->fd=10 > > > > > > > > > ls -al /var/run/gluster > > > total 0 > > > drwxr-xr-x 3 root root 60 Nov 26 12:51 . > > > drwxr-xr-x 37 root root 1180 Nov 26 15:30 .. > > > drwxr-xr-x 2 root root 40 Nov 26 12:51 snaps > > > > > > Thanks in advance > > > > > > Frank > > > > > > > > > > > > > > > > > > ___________________________________________________________________ > > > ___________ > > > BODDEN-KLINIKEN Ribnitz-Damgarten GmbH > > > Sandhufe 2 > > > 18311 Ribnitz-Damgarten > > > > > > Telefon: 03821-700-0 > > > Fax: 03821-700-240 > > > > > > E-Mail: info at bodden-kliniken.de Internet: http://www.bodden-klini > > > ken.de > > > > > > Sitz: Ribnitz-Damgarten, Amtsgericht: Stralsund, HRB 2919, Steuer- > > > Nr.: 079/133/40188 > > > Aufsichtsratsvorsitzende: Carmen Schr?ter, Gesch?ftsf?hrer: Dr. > > > Falko Milski > > > > > > Der Inhalt dieser E-Mail ist ausschlie?lich f?r den bezeichneten > > > Adressaten bestimmt. Wenn Sie nicht der vorge- > > > sehene Adressat dieser E-Mail oder dessen Vertreter sein sollten, > > > beachten Sie bitte, dass jede Form der Ver?f- > > > fentlichung, Vervielf?ltigung oder Weitergabe des Inhalts dieser E- > > > Mail unzul?ssig ist. Wir bitten Sie, sofort den > > > Absender zu informieren und die E-Mail zu l?schen. > > > > > > > > > Bodden-Kliniken Ribnitz-Damgarten GmbH 2015 > > > *** Virenfrei durch Kerio Mail Server und Sophos Antivirus *** > > > > > > _______________________________________________ > > > Gluster-users mailing list > > > Gluster-users at gluster.org > > > http://www.gluster.org/mailman/listinfo/gluster-users > > > > > > > ______________________________________________________________________________ > BODDEN-KLINIKEN Ribnitz-Damgarten GmbH > Sandhufe 2 > 18311 Ribnitz-Damgarten > > Telefon: 03821-700-0 > Fax: 03821-700-240 > > E-Mail: info at bodden-kliniken.de Internet: http://www.bodden-kliniken.de > > Sitz: Ribnitz-Damgarten, Amtsgericht: Stralsund, HRB 2919, Steuer-Nr.: > 079/133/40188 > Aufsichtsratsvorsitzende: Carmen Schr?ter, Gesch?ftsf?hrer: Dr. Falko > Milski > > Der Inhalt dieser E-Mail ist ausschlie?lich f?r den bezeichneten > Adressaten bestimmt. Wenn Sie nicht der vorge- > sehene Adressat dieser E-Mail oder dessen Vertreter sein sollten, beachten > Sie bitte, dass jede Form der Ver?f- > fentlichung, Vervielf?ltigung oder Weitergabe des Inhalts dieser E-Mail > unzul?ssig ist. Wir bitten Sie, sofort den > Absender zu informieren und die E-Mail zu l?schen. > > > Bodden-Kliniken Ribnitz-Damgarten GmbH 2015 > *** Virenfrei durch Kerio Mail Server und Sophos Antivirus *** > >-------------- next part -------------- An HTML attachment was scrubbed... URL: <http://www.gluster.org/pipermail/gluster-users/attachments/20151126/5487c812/attachment.html>