Вот дописал программу FilterX v 1.0.10.270 Котороя ищет в файлах повторные строки и удаляет их программа тонко настраевается.
кому интерестно :
http://prays.narod.ru/filterx
написано на Delphi
скорость работы я считаю хорошая даже при обработке больших файлов