이 곡은 제3번 교향곡을 작곡한지 얼마 후인 52세 때에 쓴 것인데 노년기에 이른 브람스의 심경의 깊이가 나타나 있습니다. 그의 다른 3개 교향곡과 달리 곡의 성격도 퍽이나 고립되었고 애수에 잠긴 듯한 느낌을 주는 작품입니다. 그의 음악은 실제로 어디서고 찾아 볼 수 있듯이 그리 화려하지는 않습니다. 그러나 우리 인간의 혼에 깊이 호소 하는 듯한 느낌을 줍니다. 이 제4번 교향곡에는 제1번 교향곡에서 볼 수 있는 어둡고 비극적인 성격이라든가 제2번 교향곡에서와 같은 밝고 목가적인 기쁨이 별로 없습니다. 이 제4번 교향곡은 어둡고 내성적이며 체념에 가까운 분위기를 자아내는 작품이라 할 것입니다. 당시 브람스가 읽은 그리스의 비극과 다우마의 어두운 이야기들에 깊은 감명을 받았을지 모른다고 평하는 사람도 있습니다.
 
이 제4번 교향곡이 초기에는 일반에게는 물론 친구들에게 까지도 잘 이해되지 못하였으며 니만과 같은 이는 이 교향곡을 비탄적인 것이라고 까지 평했습니다. 그러나 그 후로 이 제4번 교향곡은 많이 연주되었으며 브람스가 죽기 25일 전에 한스 리히터의 지휘로 연주하여 크게 호평을 받았다고 합니다.
 
제1악장 Allegro non troppo E단조 2/2 박자 소나타 형식
서주부 없이 길고 느릿한 제1테마가 현악기로부터 시작되는데 목관과 자유롭게 교대하면서 전개되어 나갑니다 제2주제는 서정적 이면서도 로멘틱 하며 발전부는 부드러운 멜로디인데, 전개 되면서 즐겁게 또는 극적인 클라이맥스에 이르게 됩니다. 재현부는 탱고풍의 리듬을 거쳐 선율적으로 흘러가며, 코다는 힘차고 웅장합니다.
 
제2악장 Andante moderato E 장조 6/8 박자 소나타 형식
아름다운 꿈을 보는 것 같은 황홀한 세계로 이끌어 가는데 로멘틱한 애수는 브람스의 궁극적인 표현을 이루고 있습니다 옛날 프리기아 교회조를 생각케 하는 제1테마에 대해 첼로로 연주하는 극히 서정적인 면을 보입니다.

제3악장 Allegro giocoso C장조 3/4박자 론도 형식
익살스런 성격을 띄고 있으며 빠르면서도 즐거운 기분으로 연주하는 이 악장은 약동하는 힘과 긴장감이 감도는 듯한 느낌을 줍니다.
 
제4악장 Allegro energico e passionato E단조 3/4 박자 파사칼리아 형식
장엄하고 웅대한 감이 나는 일종의 변주곡으로써 고전 무곡의 형식입니다. 처음에는 트롬본을 사용했으며 거기에 목관과 호른이 첨가되는데 이같이 치밀한 대위법적 처리는 브람스의 음악가로서의 한모습을 보여줍니다.