Si eso depende de que quieras probar. Parece que queres usar php. Entonces tambien tenes que instalar su paquete php5.

En Ubuntu (ya que tampoco dijiste que distro usas, si no es Ubuntu buscaras en tu repositorio de paquetes) son los siguientes paquetes.

apache2
php5
mysql-server
phpmyadmin

Esa es la base. Despues si vas a usar algun framework tambien se puede instalar por paquete.

Ahi pones "http://localhost" en un browser y listo, ya te aparece una pagina con la leyenda "it works!"

Y si pones la ip de la maquina que instalaste el apache en el browser de cualquier otra maquina de la red de tu casa abren la pagina que esta en ese server casero.

La pagina que aparece en localhost, es la que esta en la carpeta:

/var/www

Saludos.