antes eu utilizava o plugin do Sysdeo para o Tomcat onde era bem fácil de achar e configurar o Tomcat, mas usando o WTP parar controlar a execução do Tomcat, para configurar mais memória fica em outro local.
ps.: Eclipse 3.3 (Europa) + WTP 2.0 usando Tomcat
vá no menu Run, nele vá no item : Open Run Dialog... veja a imagem abaixo:
ali onde indicado utilize a respectiva linha de comando como a deste exemplo:
-Xms > memória inicialmente alocada da RAM disponível
-Xmx > expansão máxima de memória
fica ae a dica ;)