Проблема решилась кардинальными методами:
1. Полностью снес apache2-php5-mysql-server5.1
2. Зачистил все хвосты
3. С "нуля" установил apache2-php5-mysql-server5.1-phpmyadmin (когда устанавливал внимательно читал, что написано в сплывающих окнах и выполнял необходимые действия.
4. Создал db и пользователя joomla в mysql
5. Настроил apache и phpmyadmin - убедился, что все работает и через phpmyadmin я вижу и могу админить db.
6. Распаковал в созданный мной в /home/@user/ каталог joomla 5.20
7. В конфиге apache (000-default) прописал вместо /var/www - /home/@user/(мой каталог с joomla)
8. Запуск инсталлятора joomla прошел успешно.
9. Все работает!