Так как все ссылки имеют class="postlink" то можете попробовать следующее (сделайте бекап и никаких гарантий):
В файле viewtopic.php найдите текст:
$message = bbcode_nl2br($message);
$message = smiley_text($message);
и после него добавьте:
$message = preg_replace('/(class="postlink")/','class="postlink" rel="nofollow" target="_blank"',$message);
Этот код должен добавить nofollow, а target="_blank" позволит открывать ссылку в новой вкладке браузера. Т.е. не уходя с форума. Хотя это уже на ваше усмотрение.
Еще нашел
http://bb3x.ru/mods/info/59 - мод который вроде делает тоже самое, но отличает внутренние ссылки от внешних.