Otwarcie linii Bielsko-Żywiec w 1878 roku zainicjowało rozwój dworca, co przyczyniło się do dynamicznego wzrostu tej okolicy, promując handel, rzemiosło i przemysł, szczególnie w rejonie ulicy Kolejowej, zamieszkałej w dużej mierze przez społeczność żydowską.
Początkowy budynek dworcowy wzniesiony w 1878 roku reprezentował typową architekturę austro-węgierskich dworców kolejowych. Późniejsza przebudowa autorstwa Roberta Fussgangera nadała mu charakterystyczny styl podhalański, z nowymi dachami, łukowymi oknami oraz rzeźbami sokołów nad wejściem.
Okres II wojny światowej przyniósł zniszczenia, ale po wojnie budynek został odbudowany