Здесь очень четко это не прозвучало, поэтому, простите, повторюсь. Мэри-Энн сказала ему не то, что он не волнуется, а то, что он маленький. "You're way too little" значит "Ты (you're) way (очень уж - усилительная частица) too (слишком) little (маленький)".
Мн-да... Невысокие мужчины...
