ich hab nen verzeichnisbaum

/baum/dir1/file1.1
/baum/dir1/file1.2
/baum/dir1/file1.3
...
/baum/dir2/dir2/file2.1
/baum/dir2/dir2/file2.2
/baum/dir2/dir2/file2.3
...
/baum/dir3/dir3/dir3/file3.1
/baum/dir3/dir3/dir3/file3.2
/baum/dir3/dir3/dir3/file3.3
...
...

er ist also komplett ungeordnet und in nicht "linear" zu erfassen
die verzeichnisse sind nicht immer gleichtief, und die files/dirs haben keine gehaltvollen namen.

das is zwar schlecht, aber ich koennte damit leben
wenn nicht div. files doppelt waeren, so ca 30% schaetze ich, ~10 gb
man kann also davon ausgehen, dass ich kein bock habe das mit hand zu uniq'en

deshalb dachte ich versuchst du das mal mit bash script
ich hab auf tldp geguckt, und ...
naja

md5sum $( find root ) | sort > md5sums.txt

so hab ich alle md5sums fuer alle files
identische files haben identische md5sums
sie stehen dann direkt untereinander

es sollte doch nun moeglich sein, das file einzulesen, und jeden bei jedem hash der mehr als einmal vorkommt, das file zu löschen ?

das zweite wäre alle leeren dateien zu entfernen

fuer hilfe wäre ich sehr dankbar

du könntest ein array nehmen und dann jede zeile durchlaufen und jedes hash reinschreiben, vor dem schreiben prüfst du noch obs schon drin ist, falls ja löscht du die datei zu dem das gehört
falls sowas nich mit bash geht, sollte das zumindest in perl (oso) im bereich des möglichen sein

fürs zweite:
man find:
Quellcode:.
     -empty  True if the current file or directory is empty.
     -delete
             Delete found files and/or directories.  Always returns true.
             This executes from the current working directory as find recurses
             down the tree.  It will not attempt to delete a filename with a
             ``/'' character in its pathname relative to ``.'' for security
             reasons.  Depth-first traversal processing is implied by this
             option. also:
Quellcode:find . -empty -delete

ich hab nen apfelbaum :)

Sieht so aus als wolle da jemand sein MP3-Archiv entrümpeln, oder lieg ich da falsch?

O o
/¯¯/_o___o___o___o____o__
\__\¯¯o¯¯¯o¯¯¯¯¯¯o¯¯¯¯¯¯o
i'm doctoroctogonnafuckinggonnapus blaaaaaaaaaaargggggg-

mv $( md5sum $(find -type f -size +16 | grep -E "(avi|mp)" ) | uniq -w 32 -d | awk ' { print $2 } ' ) /p0rn/uniq/

kannste mir mal deinen "/p0rn"-tree per copy & paste zum vergleichen schicken? ^^