Имя города тесно связано с рекой Жёлтой, названной так в соответствии с цветом воды, окрашенной продуктами окисления железных руд. Долину реки Жёлтой в старину называли урочищем Жёлтые Воды. В 1648 году на Жёлтых Водах повстанческая армия под предводительством Богдана Хмельницкого разбила превосходящие силы польского войска, что послужило началом освободительной войны против польских завоевателей.

В городе повышен радиационный фон. Принято считать что в Желтых Водах чуть ли не Чернобыль, хотя добыча урана давно уже не ведётся. Судя по дозиметру, который установлен на фронтальной стене горсовета, фон составляет 12-14 микрорентген.