Eu costumo testar em 8 navegadores diferentes, e nas 3 últimas versões do IE.

Firefox + Opera + K-Meleon + Internet Explorer 8 + Netscape + Flock + Google Chrome + Safari

Como a maioria dos problemas de codificação são no IE e só é possivel ter uma versão instalada, vou dar duas dicas de programas que você pode usar para testar seus layouts nas demais versões.

Eu fiquei algum tempo procurando, pois a maioria dos programas não funcionava no Windows Vista, eu tinha sempre que testar em um computador com Windows XP.

Costumava usar o IE Tester, muito bom, ele verifica o site na versão 5.5 à 8 do IE.
Ele é leve, fácil de usar, em português e dá algumas informações extras sobre os sites.

Ontem descobri que a Microsoft criou o programa Microsoft Expression Web SuperPreview que além de mostrar como o site fica em todas as versões ainda mostra tamanho das divs, nome, e informa uma porção de coisas. Adorei! O design dele é super lindo!

Fica a dica!

1. Faça download do arquivo zip.
2. Descompacte.
3. Agora é só selecionar a imagem e arrastar ela para a tela do programa!
Se é .ICO arraste para o lado esquerdo, se é .png para o lado direto.
4. Convertida a imagem é só arrastar ela para fora do programa!

Existem também conversores online como por exemplo o ConvertIcon!