Самые точные данные на этот счёт в Лостах. Увы, они противоречат друг другу.
Есть такая фраза: "In A is added: 'Men were almost of a stature at first with Elves, the fairies being far greater and Men smaller than now. As the power of Men has grown the fairies have dwindled and Men waxed somewhat.' Other early statements indicate that Men and Elves were originally of very similar stature, and that the diminishing in that of the Elves was closely related to the coming of, and the dominance of, Men. "(примечание Кристофера Толкиена к главе "О страдании Нолдоли и приходе Людей") - а в остальном тексте Лостов почти везде упоминается, что эльфы были ниже. С последующими текстами, мне кажется, больше вяжется именно приведённая цитата. В письме 144 (1952 год) сказано: «They[Quendi] are represented as a race similar in appearance (and more so the further back) to Men, and in former days of the same stature,» - видимо, имеется в виду, что в дальнейшем их stature(рост и телосложение) убывал.
Нуменорцы действительно были очень высокими (в среднем) – но не самыми, даже среди людей. «Нuor his brother was tall, the tallest of all the Edain save his own son Tuor only…»(Анфиништы, Нарн и хин Хурин). Кроме того, как абсолютно верно заметил Linden, Тингол описывается как «tallest of all the Children of Iluvatar»(Серые Анналы, год 1152), а Тургон – «tallest of all the Children of the World, save Thingol»(Анфиништы, примечание 31 к «О Туоре и его приходе в Гондолин)».
Кто был выше в Третью Эпоху, судить не берусь. И у тех, и у других рост сильно уменьшился...