Все работает. Только не на WinXP.
Передача не проходит с Windows7
-> WindowsXP
, WindowsXP
-> WindowsXP.
Win7
-> Win7
, WinXP
-> Win7 - все работает !
Операции с брендмауэром, антивирусом, фэйрволом не предлагайте.
Все испробовано.
Пробовалось в локалке с доменом и на виртуальной машине.
Почему ? 
--------------------------------------------------------------
Добавил:
Код:
IdFTP.Connect; // Не вызывает ошибки
...
...
FTP.Put(StreamToSend, 'FileName', false); // Вот тут ошибка: Could not bind socket. Address and port are already in use.