Noe forferdelig skjedde med Agnes. Livet går videre — for alle rundt henne, i det minste. Filmen dykker inn i tomrommet som oppstår når en person forsvinner fra et fellesskap, og hvordan hverdagslige rutiner, småprat og praktiske gjøremål både skjuler og forsterker savnet.
Gjennom nærgående observasjoner og stille bilder skildrer Sorry, Baby hvordan skyld, likegyldighet og kjærlighet møtes i kjølvannet av tragedien. Det er en nøktern, rørende undersøkelse av hvor lett vi lar livet fortsette — og hvilke spor mennesker etterlater seg når ingen lenger ser dem.