[ViLkiN]

повторы можно избежать удаляя строчку (явно не катит) или добавляя в начало строки какой либо символ, например * и добавить простейшее условие на наличие этого символа, вконце просто пробежаться по файлу и убрать метки