[Страдалецъ]

Варианта два.
1. Добавить к таблице уникальный индекс по урлу и обрабатывать ошибку дубликата записи.
2. Всякий раз перед добавлением проверять запросом наличие имеющегося адреса в таблице.