thr3ads.net - Gluster users - [Gluster-users] Hundreds of duplicate files [Jan 2015]

If this information is useful, please help other people find it:
Share via:

tbenzvi at 3vgeomatics.com

2014-Dec-28 07:50 UTC

[Gluster-users] Hundreds of duplicate files

Hi Vijay,

Yes the files are still readable from the .glusterfs path.
There is no explicit error. However, trying to read a text file in python simply
gives me null characters:>>> open('ott_mf_itab').readlines()['\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00']
 And reading binary files does the same

--------- Original Message --------- Subject: Re: [Gluster-users] Hundreds of
duplicate files
From: "Vijay Bellur" <vbellur at redhat.com>
Date: 12/27/14 9:57 pm
To: tbenzvi at 3vgeomatics.com, gluster-users at gluster.org

On 12/28/2014 10:13 AM, tbenzvi at 3vgeomatics.com wrote:
 > Thanks Joe, I've read your blog post as well as your post regarding
the
 > .glusterfs directory.
 > I found some unneeded duplicate files which were not being read
 > properly. I then deleted the link file from the brick. This always
 > removes the duplicate file from the listing, but the file does not
 > always become readable. If I also delete the associated file in the
 > .glusterfs directory on that brick, then some more files become
 > readable. However this solution still doesn't work for all files.
 > I know the file on the brick is not corrupt as it can be read directly
 > from the brick directory.

 For files that are not readable from the client, can you check if the 
 file is readable from the .glusterfs/ path?

 What is the specific error that is seen while trying to read one such 
 file from the client?

 Thanks,
 Vijay
-------------- next part --------------
An HTML attachment was scrubbed...
URL:
<http://www.gluster.org/pipermail/gluster-users/attachments/20141228/bc53bec2/attachment.html>

Vijay Bellur

2014-Dec-28 11:23 UTC

head link

[Gluster-users] Hundreds of duplicate files

On 12/28/2014 01:20 PM, tbenzvi at 3vgeomatics.com
wrote:> Hi Vijay,
> Yes the files are still readable from the .glusterfs path.
> There is no explicit error. However, trying to read a text file in
> python simply gives me null characters:
>
>  >>> open('ott_mf_itab').readlines()
>
['\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00']
>
> And reading binary files does the same
>
Is this behavior seen with a freshly mounted client too?

-Vijay
>     --------- Original Message ---------
>     Subject: Re: [Gluster-users] Hundreds of duplicate files
>     From: "Vijay Bellur" <vbellur at redhat.com>
>     Date: 12/27/14 9:57 pm
>     To: tbenzvi at 3vgeomatics.com, gluster-users at gluster.org
>
>     On 12/28/2014 10:13 AM, tbenzvi at 3vgeomatics.com wrote:
>      > Thanks Joe, I've read your blog post as well as your post
>     regarding the
>      > .glusterfs directory.
>      > I found some unneeded duplicate files which were not being read
>      > properly. I then deleted the link file from the brick. This
always
>      > removes the duplicate file from the listing, but the file does
not
>      > always become readable. If I also delete the associated file in
the
>      > .glusterfs directory on that brick, then some more files become
>      > readable. However this solution still doesn't work for all
files.
>      > I know the file on the brick is not corrupt as it can be read
>     directly
>      > from the brick directory.
>
>     For files that are not readable from the client, can you check if the
>     file is readable from the .glusterfs/ path?
>
>     What is the specific error that is seen while trying to read one such
>     file from the client?
>
>     Thanks,
>     Vijay
>
>
>
> _______________________________________________
> Gluster-users mailing list
> Gluster-users at gluster.org
> http://www.gluster.org/mailman/listinfo/gluster-users
>

tbenzvi at 3vgeomatics.com

2015-Jan-01 02:07 UTC

head link

[Gluster-users] Hundreds of duplicate files

No, the files can be read on a newly mounted client! I went ahead and deleted
all of the link files associated with these duplicates, and then remounted the
volume. The problem is fixed!
Thanks again for the help, Joe and Vijay.
 
Tom
 
--------- Original Message --------- Subject: Re: [Gluster-users] Hundreds of
duplicate files
From: "Vijay Bellur" <vbellur at redhat.com>
Date: 12/28/14 3:23 am
To: tbenzvi at 3vgeomatics.com, gluster-users at gluster.org

On 12/28/2014 01:20 PM, tbenzvi at 3vgeomatics.com wrote:
 > Hi Vijay,
 > Yes the files are still readable from the .glusterfs path.
 > There is no explicit error. However, trying to read a text file in
 > python simply gives me null characters:
 >
 > >>> open('ott_mf_itab').readlines()
 >
['\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00']
 >
 > And reading binary files does the same
 >
 
 Is this behavior seen with a freshly mounted client too?
 
 -Vijay
 
 > --------- Original Message ---------
 > Subject: Re: [Gluster-users] Hundreds of duplicate files
 > From: "Vijay Bellur" <vbellur at redhat.com>
 > Date: 12/27/14 9:57 pm
 > To: tbenzvi at 3vgeomatics.com, gluster-users at gluster.org
 >
 > On 12/28/2014 10:13 AM, tbenzvi at 3vgeomatics.com wrote:
 > > Thanks Joe, I've read your blog post as well as your post
 > regarding the
 > > .glusterfs directory.
 > > I found some unneeded duplicate files which were not being read
 > > properly. I then deleted the link file from the brick. This always
 > > removes the duplicate file from the listing, but the file does not
 > > always become readable. If I also delete the associated file in the
 > > .glusterfs directory on that brick, then some more files become
 > > readable. However this solution still doesn't work for all files.
 > > I know the file on the brick is not corrupt as it can be read
 > directly
 > > from the brick directory.
 >
 > For files that are not readable from the client, can you check if the
 > file is readable from the .glusterfs/ path?
 >
 > What is the specific error that is seen while trying to read one such
 > file from the client?
 >
 > Thanks,
 > Vijay
 >
 >
 >
 > _______________________________________________
 > Gluster-users mailing list
 > Gluster-users at gluster.org
 > http://www.gluster.org/mailman/listinfo/gluster-users
 >
-------------- next part --------------
An HTML attachment was scrubbed...
URL:
<http://www.gluster.org/pipermail/gluster-users/attachments/20141231/6530304b/attachment.html>

Gluster users - Jan 2015 - Hundreds of duplicate files

[Gluster-users] Hundreds of duplicate files

[Gluster-users] Hundreds of duplicate files

[Gluster-users] Hundreds of duplicate files