[Linux] filegröße ermitteln evt. auch auf Busybox?

pit234a · 16. Juli 2007

lass mich mal nachfragen:
ist das Verhalten der gezeigten Aufrufe innerhalb eines scripts anders, als wenn ich die direkt auf der Konsole durchführen lasse?

Ich habe nämlich nicht probiert, wie das im script wird, sondern nur den Befehl auf der Konsole entsprechend abgesetzt und bei mehrzeilen Eingaben (ich nutzte einfach ein ls -l > /tmp/testfile und sparte mir den Part mit tar...) bekam ich keine gescheite Ausgaben, in der regel nur die Auwertung einer Zeile, wenn ich die read Konstruktion nutzte und bei sed zwar mehrere Zeilen, aber keine Summe aus den Werten.
Ich probierte ausschließlich auf der Box.

barabas · 16. Juli 2007

Die Größe des TAR-Files ist nicht identisch mit der Größe der Ursprungsdaten.
Vermute das liegt daran das tar einzelne Dateien zu einer großen Datei zusammenfasst.
Deshalb liefert ls -ls(a) xxxx.tar nicht immer die zu erwartende Größe nach dem extrahieren.
( Der Unterschied wird umso größer je mehr Dateien/Verzeichnisse
das TAR File beinhaltet)

Bpsl. an Hand des ascha191 Skin TAR Files

Code

cd /tmp
ls -ls ascha191_skin_v100beta2.tar 
-rwxrwxrwx    1 root     root       208384 Jul 16 18:57 ascha191_skin_v100beta2.tar


Größe des TAR Files ca. 208 KB und nach dem extrahieren  


tar -cvf ascha191_skin_v100beta2.tar 


Größe des neu erzeugten var Ordners 
du -sh var 
484.0k  var

Alles anzeigen

pit234a
bexbier wertet ja auch nur eine Zeile nämlich die mit dem TAR-File aus

Code

ls -lsa /tmp/test.tar > /tmp/temp

Summe bilden:

Code

ls -l  | awk '{sum=sum+$5} END {print sum " Bytes"}'

bexbier · 16. Juli 2007

Siehste da meldet sich doch auch gleich einer zu wort

Das mit dem einzel auswerten und dann zusammenzählen hatte ich auch erst überlegt, war aber zufaul das in code umzusetzten, und der wäre bei mir bistimmt auch um einiges länger geworden als die zeile von dir barabas

Aber vergesst mal das mit dem zwischenschritt mit erst tar und dann gzip, hatte ja schon geschrieben das es ungefähr hin kommt, besser ist aber es gleich mit tar -tzvf auszulesen wie schon nen paar postings vorhergeschrieben. So:

Bash

#!/bin/sh


  #kompremierten tarball auslesen und ausgabe in datei speichern
  tar -tzvf tmp/test.tar.gz > /tmp/temp


  #temporäre datei auslesen und SIZE rausziehen
  read DUMMY1 DUMMY2 SIZE DUMMYREST < /tmp/temp


  #size in tmp/tarsize schreiben
  echo "$SIZE Bytes" > /tmp/tarsize


  #temporäre datei löschen
  rm /tmp/temp


exit

Alles anzeigen

das müsste eigentlich genau sein ...

EgLe · 16. Juli 2007

Hehe,

deine Lösung mit dem "erst taren", dann die größe ermitteln dann zippen habe ich aber schon eingebaut

Werde mir aber das mit "tar -tzvf" aber nöchmals genauer anschauen, nur nicht mehr heute.
Bin fertig von der Arbeit die ich heute absolviert habe und will nun nur noch auf die Couch

barabas · 16. Juli 2007

Zitat

Siehste da meldet sich doch auch gleich einer zu wort

hy bex

Also, kann ja sein mir macht die Hitze zu schaffen, aber irgendwie haut das
alles nicht so recht hin.....

Code

root@dreambox:/tmp> ls -l ascha191_skin_v100beta2.tar
-rwxrwxrwx    1 root     root       208384 Jul 16 18:57 ascha191_skin_v100beta2.tar


root@dreambox:/tmp> tar -tvf ascha191_skin_v100beta2.tar  | awk '{sum=sum+$3} END {print sum " bytes"}'
111915 bytes


root@dreambox:/tmp> du -sh ascha191_skin_v100beta2.tar
204.0k  ascha191_skin_v100beta2.tar


root@dreambox:/tmp> du -h var
128.0k  var/tuxbox/config/enigma/pictures/ascha191/csi
72.0k   var/tuxbox/config/enigma/pictures/ascha191/mainmenu
444.0k  var/tuxbox/config/enigma/pictures/ascha191
444.0k  var/tuxbox/config/enigma/pictures
40.0k   var/tuxbox/config/enigma/skins
484.0k  var/tuxbox/config/enigma
484.0k  var/tuxbox/config
484.0k  var/tuxbox
0       var/uninstall
484.0k  var


root@dreambox:/tmp> ls -lR var  | awk '{sum=sum+$5} END {print sum " bytes"}'
111915 bytes

Alles anzeigen

der Ausgabe von du -s(h) kann ich nicht so recht glauben
und dann bleibt da immer noch die Frage warum das TAR File fast doppelt so groß ist wie die extrahierten Dateien.....

@€gLe
Couch ist gut......

pit234a · 16. Juli 2007

barabas
weil nämlich, awk gibts nämlich leider auch nicht auf meiner Box und dann:

Code

root@dreambox:/var/mnt/hdd/akut/testet> tar -tzvf *
drwxr-xr-x 1001/0         0 2007-06-26 20:44:34 nfs
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/etc
-rwxr-xr-x 1001/0      2273 2007-06-26 20:44:34 nfs/etc/nfs-kernel-server
-rwxr-xr-x 1001/0      1164 2007-06-26 20:44:34 nfs/etc/portmap
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/lib
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/lib/modules
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/lib/modules/2.6.9
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/lib/modules/2.6.9/misc
-rw-r--r-- 1001/0      6719 2007-06-26 20:44:35 nfs/lib/modules/2.6.9/misc/exportfs.ko
-rw-r--r-- 1001/0    113624 2007-06-26 20:44:35 nfs/lib/modules/2.6.9/misc/nfsd.ko
-rw-r--r-- 1001/0   1177240 2007-06-26 20:44:34 nfs/lib/libc-2.3.2.so
-rw-r--r-- 1001/0   1177240 2007-06-26 20:44:35 nfs/lib/libc.so.6
drwxr-xr-x 1001/0         0 2007-06-26 18:33:00 nfs/sbin
-rwxr-xr-x 1001/0     34472 2007-06-26 20:44:34 nfs/sbin/exportfs
-rwxr-xr-x 1001/0      4464 2007-06-26 20:44:34 nfs/sbin/pmap_dump
-rwxr-xr-x 1001/0      4680 2007-06-26 20:44:34 nfs/sbin/pmap_set
-rwxr-xr-x 1001/0     12524 2007-06-26 20:44:34 nfs/sbin/portmap
-rwxr-xr-x 1001/0     51628 2007-06-26 20:44:34 nfs/sbin/rpc.mountd
-rwxr-xr-x 1001/0      5848 2007-06-26 20:44:34 nfs/sbin/rpc.nfsd
-rwxr-xr-x 1001/0     10400 2007-06-26 20:44:34 nfs/sbin/rpcinfo
-rwxr-xr-x 1001/0     17984 2007-06-26 20:44:34 nfs/sbin/start-stop-daemon
-rw-r--r-- 1001/0      3744 2007-06-26 20:44:34 nfs/nfs.txt
-rwxr-xr-x 1001/0       145 2007-06-26 20:44:34 nfs/startup.sh

Alles anzeigen

also, das ist zwar nur eine Zeile tar, doch viele Zeilen Ausgabe.
Nur im speziellen Fall bekomme ich da nur eine Zeile und das ist doch nicht, was ich mir vorstelle.
Allerdings schaffe ich es auch nicht, trotz klar vorliegender Zahlen für jede Zeile eine Summe aus diesen zu bilden. Doch, es täte mich wundern, wenn das nicht ginge. Nur, ich weiß nicht wie, ohne awk...

bexbier · 16. Juli 2007

nabend barabas

uhh man jetzt versteh ich auch erst die frage von cepheus wegen zusammenzählen, mit dem tarfile das ich zum testen benutzt hab war nur ein file drin, darum musst ich auch nix zusammen zählen

hatte natürlich unbewusst glück mit dem ls befehl *gg*

also is der beste weg der den barabas grad gepostet hat (awk geht auf meiner 7000), also :

Code

echo "`tar -tzvf tmp/test.tar.gz | awk '{sum=sum+$3} END {print sum " bytes"}'`" >tmp/tarsize

mensch barabas .... hast den vogel abgeschossen

schrotty · 16. Juli 2007

EgLe

Zitat

PS. Habe es getestet und soweit funktioniert das auch, aber leider auch nur die momentan verbrauchte Größe...

Ja da hatte ich mich wohl irgendwie falsch verlesen , sonst hätte ich das nicht geschrieben.
Na aber wenigstens hab ich beim lesen mal wieder was über Scripte gelernt.

Pit

Zitat

den tr -s hatte ich zunächst gar nicht verstanden, dachte dass cut auch so zurecht käme.

DAS habe ich auch gedacht bis ich es dann mal ausprobiert habe.

Gruss
Dirk

barabas · 17. Juli 2007

pit234a

eine mögliche Lösung ohne awk:

Bash

#!/bin/sh


sum=0


tar -tvf test.tar | while read sp1 sp2 size rest ; do


 [ "$size" != "" ] && sum=`expr $sum + $size`


done


echo "$sum bytes"

Alles anzeigen

EgLe · 17. Juli 2007

Hallo,

Zitat

Original von barabas

eine mögliche Lösung ohne awk:

Bash

#!/bin/sh


sum=0


tar -tvf test.tar | while read sp1 sp2 size rest ; do


 [ "$size" != "" ] && sum=`expr $sum + $size`


done


echo "$sum bytes"

Alles anzeigen

Hmm, nein das geht nicht, zumindest auf meinem Linuxrechner

Code

egle@amd64-3800:/media/hdb7/Gemini/test$ ./e1-test.sh
0 bytes
egle@amd64-3800:/media/hdb7/Gemini/test$

Wird kein Gößenwert angegeben.

Aber wie gesagt ich habe diese Variante nun in das Script integriert:

und funktioniert, werde da noch etwas experimentieren und wenn alles klappt,
wird es in allen Scripten mit Übernommen

Auszug aus dem Script

Code

.....
# die zusammengestellten rohdaten als tarball zusammenführen
  tar -cvf ${BASE_DIR}/e1-${TARNAME}.tar ./*


#tarballgroesse auslesen  
  ls -lsa ${BASE_DIR}/e1-${TARNAME}.tar > /tmp/temp
  read DUMMY1 DUMMY2 DUMMY3 DUMMY4 DUMMY5 SIZE DUMMYREST < /tmp/temp


#size in /tmp/tarsize schreiben
# echo "$SIZE" >/tmp/tarsize1


#tarball kompremieren
  gzip ${BASE_DIR}/e1-${TARNAME}.tar


#	tar -zcvf ${BASE_DIR}/e1-${TARNAME}.tar.gz ./*
	rm -rf ${BASE_DIR}/TMPWORK
fi


cd $BASE_DIR


LOG=e1-${TARNAME}-useraddon_info.txt
rm -rf ${LOG}
#du -cb $TMPLOG						>> ${LOG}
echo "$SIZE Bytes" 					>> ${LOG}
rm -rf /tmp/temp
......

Alles anzeigen

Habe die alte Variante nur mal auskomentiert damit Ihr seht wie das vorher gelöst wurde,
nur wie gesagt dies ging halt nicht auf den Busyboxen der Gemini-Images.

Will dem nächst dann das Fertige Script hier neu posten
http://www.i-have-a-dreambox.com/wbb2/board.php?boardid=257
incl. einer Erklärung dazu, damit die User (gerade auch die Skinbastler usw. Ihre Geminitarballs
recht bequem auf der Dreambox erstellen können incl. den Informationen die man für eine
eigene useradon.xml benötigt, und auch gleich einer Infodatei fürs BluePanel falls das Addon
dann ins BluePanel soll/kommt

Aber bitte nagelt mich nicht auf ein Datum fest wann es erscheint,
da hierbei noch ein paar andere Faktoren eine Rolle spielen...

[Linux] filegröße ermitteln evt. auch auf Busybox?

Wer ist / war online ?

Benutzer online 24

Wer war online 146