De origen modesto, Rabal adquirió una gran profesionalidad en escena, convirtiéndose en uno de los galanes jóvenes más solicitados por los directores de la postguerra, como Rafael Gil, José Luis Saénz de Heredia y Francisco Rovira. En 1936 llega a Madrid para trabajar como eléctrico en los estudios Chamartín.Tuvo papeles de poca importancia en el cine y se pasa al teatro trabajando en las compañías más importantes.
Su talento y sus afinidades políticas le acercaron a los elementos innovadores del cine español. La primera película que rodó fue La pródiga, en 1946 pero se consolidó con Hay un camino a la derecha (1953).
Fue lanzado definitivamente por el director aragonés Luis Buñuel. Galardonado con un Premio Nacional de Cinematografía y un premio al mejor actor en Cannes junto a Alfredo Landa por la película Los santos inocentes.
También ha trabajado con diferentes directores internacionales como Michelangelo Antonioni y Jacques Rivette. En 1990 trabajó a las órdenes de Pedro Alodóvar en la película Átame.
Es destacable también su incursión en el ámbito televisivo con la serie "Juncal". Aun hoy sigue en activo en esporádicas apariciones en diferentes producciones. Es uno de los pilares básicos del cine español contemporáneo.
Está casado con la actriz española Asución Balaguer y padre de la actriz-cantante Teresa Rabal, y del director Benito Rabal.