Если ключ не известен - пользуемся стандартными методами взлома полиалфавитных шифров.
Например, те же
Метод Касиски, или же ИС Фридмана.
http://ru.wikipedia.org/wiki/Метод_Касиски
http://ru.wikipedia.org/wiki/Индекс_совпадений
И велосипед не понадобится.