Desde muy joven trabajó en el campo con su padre hasta el momento en el que decide independizarse, y emigra a Salamanca. Permanece en esta ciudad durante tres años desempeñando los más diversos trabajos y colaborando en grupos de teatro semiprofesional.Su vocación artística va creciendo paulatinamente y se marcha a Madrid para ingresar, poco después, en la Escuela de Arte Dramático. Empezó en el teatro de la mano de Miguel Narros y será él quien lo ayude a ingresar en el Teatro Nacional. Más tarde trabajará también en la Compañía Nacional de Teatro Clásico donde consiguió gran prestigio como actor.
Su debut cinematográfico se produce en 1986, ejerciendo de figurante en la película de Fernando Fernán Gómez, "El viaje a ninguna parte"; del mismo modo apareció en "Bajarse al moro" de Fernando Colomo. Sin embargo, no será hasta 1992 cuando le llegue su verdadera oportunidad, cuando el director Julio Medem le ofreciese el papel protagonista de su opera prima "Vacas". A partir de entonces mantendrán una estrecha colaboración y Carmelo Gómez aparecerá en casi todas las películas de Medem. En 1993 vuelven a trabajar juntos en "La ardilla roja" pero será la temporada siguiente, entre los años 1994-1995 cuando se dé una de las mejores etapas profesionales del actor leonés. En ese tiempo rodó "Días Contados" de Imanol Uribe, una película que será premiada con la Concha de Oro del Festival Internacional del Festival de Cine de San Sebastián, además de otras dos películas en las que tenía papel protagonista.
También es destacable en sus colaboraciones con la desaparecida Pilar Miró y el tándem formado con la actriz Emma Suárez con la que ha trabajado en numerosas ocasiones.
Su labor televisiva alcanzó su máximo exponente con la serie "La Regenta" dirigida por Fernando Méndez Leite, y adaptación de la magistral obra de Leopoldo Alas "Clarín".
Asimismo ha dirigido algún que otro documental. Entre sus premios destacamos el Goya al mejor actor por la película "Días Contados" en 1994, por la misma película obtuvo el Fotogramas de Plata como mejor actor en 1994 y el Ondas, concedido por la SER, como mejor actor en 1994, y el premio al mejor actor en 1995 concedido por la Unión de Actores. Ha conseguido también el fotogramas de plata al mejor actor por las películas "El perro del hortelano", "Tu nombre envenena mis sueños" y "Tierra"; también le ha sido concedido el Premio Nacional de Cinematografía dado por el Ministerio de Cultura, en 1995.
