А с чего ты взяла, что они "пали"?
Или, что Радагаст "отступился" ?
На самом деле, как я понимаю, все маги были "наместниками", и вряд ли они дублировали работу друг друга. Скорее всего, у каждого из них были свои обязанности, например у Радагаст занимался природой, Саруман - такой своеобразный мозговой центр, Гэндальф - странник, его работа как раз держать руку на пульсе у общественно-политической ситуации.
Когда Гэнальфу понадобилась информация он помчался к Саруману, а не в библиотеку