Hola!
Mira, yo llevo desde hace años trabajando tanto con jQuery como con Mootools y, aunque he probado otros frameworks Javascript, no tengo la experiencia suficiente para decirte si son mejores o peores que estos dos. De todos modos, creo que con limitarnos a discutir esas dos posibilidades que apuntas, tendríamos más que suficiente, pues todos hacen un poco de lo mismo.
En relación a por cuál decidirse, te comento que yo, después de mi experiencia, me quedaría con jQuery.
Ventajas que encuentro en jQuery con respecto a Mootools:
- Mayor facilidad para el uso de selectores
- Mayor facilidad para uso de efectos y encadenar efectos en colas
- Menos líneas de código para hacer lo mismo
- Más fácil de extender
- Más fácil de aprender y más documentación para consulta en Internet.
Ventajas que veo en Mootools:
- Más para programadores de alto nivel. Más robusto en las técnicas de programación y mejor uso de la programación orientada a objetos.
- Mayor coherencia en el uso de variables. Quizá más complicado, pero me siento más seguro del ámbito de mis variables y cómo alterarlo
- Posibilidad de creación de paquetes parciales con funcionalidades reducidas y por tanto menor peso.
Para que te hagas una idea, DesarrolloWeb.com está programado con Mootools, que fue el primero de los frameworks que investigué. A día de hoy, creo que lo haría con jQuery, por ser más sencillo y requerir menos código.
Usuarios: 
