Родился 4-го апреля 1965-го года в Нью-Йорке, его отец Роберт Дауни старший был режиссером, продюсером и актером, мать также работала актрисой, так что младший Дауни дебютировал на экране в раннем возрасте и снимался уже с пяти лет. Когда Роберту исполнилось десять лет, семья переехала в Англию, где они прожили какое-то время, пока родители не развелись. После чего некоторое время юный Роберт прожил в Калифорнии вместе с отцом, а затем переехал в Нью-Йорк с целью продолжить там актерскую карьеру. В 1982-м ему достались небольшие роли в комедии «Америка» и успешной драме «Крошка, это ты!», а двумя годами позже он отметился в ленте «Перворожденный». Карьера Роберта постепенно развивалась, и он получал все более значимые роли.