Wuala Incorrect Folder Size Calculation?

Wuala did let me add a different folder.
Output from "du":
du -sh
676M .

I don't understand why Wuala thinks it is okay for me to add a larger folder, but not the smaller one... Any help would be great! Thank you.

Try using 'du --apparent-size', it will give a more accurate result.

One reason why Wuala could be reporting sizes much larger is because of "sparse files"; on Unix operating systems, long consecutive ranges of zero bytes are often not actually stored on disk. The implication is that the file size on disk can be less than the length of the file's content.

du --apparent-size -sh
289M .

The apparent size is smaller... Should the apparent size have shown the size that Wuala is seeing?

I've never heard of the "long consecutive zeros" not stored on disk in Unix.

What kind of content is in that "309 mb folder"? Do you have any symbolic links there that point to additional (big) files?

This could give us a hint where to look....

Hello Manuel,

No, there are not any symbolic links in the folder. The folder contains approximately 16 other folders, which do contain folders themselves; and, the files are source code in either C or Haskell, text files for documentation, and compiled/linked executables.

I can create an archive of the folder and send it to you if you want to test it.
Thank you.

Assuming 4kB file system block size, it seems like there are around 200 000 files there (very rough calculation). What's the per-file overhead of Wuala? Considering the 4GB size reported by Wuala, it comes to around 20 kilobytes per file.

What happens when you tar (or compress) the files and try to upload that?

I did "tar cvf projects.tar projects" to create the projects.tar archive of the projects folder.

ls -s projects.tar
298156 projects.tar

The projects.tar archive added with no problems to Wuala.

Hi donniejones18.

Could you upload and share the tar file of your "projects" with me so I can reproduce/investigate the issue?

So far I assume it really has to do with the huge amount of files.... and that is certainly something we should investigate!

Thanks!
madmat (alias manuel@wua.la)

Hello manuel,

I just shared the projects.tar archive with you.

The projects.tar file has completed the upload, so you may download it now.

I downloaded it and unpacked it using winrar 3.62. During the unpacking process several errors occured, some of which seemed to be related to symbolic links. Also folder 'House' could only be expanded partially.
I ended up with 284 MB in 7451 files and 931 folders. Afterwards I had no problem to upload this folder on an account that had only 500MB of free storage.

- Could you try to unpack projects.tar and see if you get similar errors?
- Could you check the symbolic links mentioned in the winrar error report below and check if they are really sym. links in your folder?

I suspect that you might have some circular references due to symbolic links to ancestor folders and that might indeed mess up the size computation. I'll do some tests myself with symbolic links.

PS.: I'll be on a long weekend starting from tomorrow so my feedback will only come by mid next week.

Winrar errors while unpacking projects.tar (unfortunately in Geman ;-):

! C:\Users\Manuel\Desktop\projects.tar: Konnte (hci-6.2 --> ) nicht öffnen
! C:\Users\Manuel\Desktop\projects.tar: Symbolischer Link zeigt auf nicht vorhandene Datei
! C:\Users\Manuel\Desktop\projects.tar: Konnte projects\House\ghc-6.2\ghc\driver\ghci\ghci (ghc-6.2 --> projects\House\ghc-6.2\ghc\driver\ghci\ghci) nicht öffnen
! C:\Users\Manuel\Desktop\projects.tar: Symbolischer Link zeigt auf nicht vorhandene Datei
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\prelude\TysWiredIn.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\DataCon.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\MkId.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\MkId.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\Module.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\DataCon.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\IdInfo.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\Name.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\DataCon.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\Name.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\IdInfo.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\Name.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\IdInfo.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\MkId.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\basicTypes\Module.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\profiling\CostCentre.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TyCon.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\PprType.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TypeRep.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TypeRep.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TypeRep.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\PprType.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TyCon.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\PprType.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\TyCon.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\Generics.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\types\Generics.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgExpr.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgBindery.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\ClosureInfo.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\ClosureInfo.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgExpr.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgBindery.hi-boot-4 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgUsages.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgUsages.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgUsages.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgBindery.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\ClosureInfo.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgRetConv.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgExpr.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\codeGen\CgBindery.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\hsSyn\HsExpr.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\hsSyn\HsExpr.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\hsSyn\HsExpr.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\rename\RnSource.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\rename\RnSource.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\rename\RnHiFiles.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\rename\RnHiFiles.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\StixPrim.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\MachMisc.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\MachMisc.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\Stix.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\MachMisc.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\StixPrim.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\nativeGen\StixPrim.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\Subst.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\Subst.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\CoreSyn.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\Subst.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\CoreSyn.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\coreSyn\CoreSyn.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcSplice.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcUnify.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcMatches.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcExpr.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcUnify.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcMatches.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcType.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcMatches.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcUnify.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcType.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcExpr.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcType.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\typecheck\TcExpr.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\DsExpr.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\Match.hi-boot-6 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\Match.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\DsExpr.hi-boot-5 nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\DsExpr.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte ..\..\deSugar\Match.hi-boot nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte stage1\ghc-inplace nicht erstellen
! C:\Users\Manuel\Desktop\projects.tar: Konnte projects\House\ghc-6.2\ghc\compiler\ghc-inplace (ghc-pkg-6.2 --> projects\House\ghc-6.2\ghc\compiler\ghc-inplace) nicht öffnen
! C:\Users\Manuel\Desktop\projects.tar: Symbolischer Link zeigt auf nicht vorhandene Datei
! C:\Users\Manuel\Desktop\projects.tar: Konnte
PK•1⁄4 nicht erstellen

Hello Manuel,

It seems that the output of winrar is correct that there are some symbolic links. The other files that winrar reports "nicht erstellen" (couldn't create) are not symbolic links; so, I am not sure why winrar was unable to reconstruct those files from the archive.

tar --version
tar (GNU tar) 1.19
The original projects.tar archive unpacks with tar just fine.
I downloaded the projects.tar archive from wuala and used tar to unpack it, which also worked fine. I think the problems you are seeing are related to winrar...

There are some symbolic links in the folders, so as you mentioned, that might cause the issues with wuala.