Muito fácil. Há duas maneiras de fazer isso:
Dentro da administração.
Extensões -> Gerenciador de Temas.
Clique na guia Temas.
Encontre o nome do tema e abaixo do nome clique em Pré-Visualizar.
Se não aparece o link, pode ter sido desatilado nas configurações gerais. Para ativar:
Extensões -> Gerenciador de Temas
Superior direito clique no botão “Opções”.
Clique na aba “temas”.
Em “Pré-visualização Posições de Módulos”, marque “Ativar”.
2 – Adicionando “?tp=1” URL do seu site /index.php
Em casos raros, este método pode não funcionar. Neste caso, seguir o passo 1.