Хочется сделать, какой нить простой, просторный, красивый и функциональный шаблон, все формы (регистрация, вход, подписка на новости, контакты и поиск) засунуть в модальные окна, которые будут выводиться рядом с кнопкой по клику.

Вопрос к знатокам, какие могут быть косяки и минусы модальных окон?

Не совсем понятна задумка. Модальные окна на javascript с использованием допустим jquery? Что будет в модальных окнах?
Сложность только одна, написать чтобы все это работало в рамках этого движка. Если сделаешь хотя бы авторизацию как тут залогинивание soundcloud.com то это уже будет очень и очень классно.
В своих проектах мы часто используем окна.

Вот примерно, как в этих примерах http://prototype-window.xilinus.com/samples.html

7 пример залогивание, только затемнение убрать и вывести блок рядом с кнопкой.

В окнах будет: авторизация, обратная связь и т.д. Пока не знаю, как реализовать в престе, но буду ковыряться, вдруг получиться.

Зачем цеплять доп. библиотеки (пример выше на прототипе на 100КБ). есть jQuery пишите/подключайте.
Плагины можно найти здесь http://plugins.jquery.com/
А по теме - возьмите этот плагин http://plugins.jquery.com/project/lightbox_me

Алекс, спасибо за отличные ссылки, столько интересностей всяких, буду изучать.

Прототип просто для примера, показать, что хотел сказать, первая попавшаяся ссылка )

Да и ThickBox который по умолчанию в престу включен для модальных окон подойдет.