А что, очень правильное, а главное, точное выражение. Те, кого называют бабами, действительно умом не блещут, а "мужики" - это такой определённый социальный слой (со всеми отсюда вытекающими). Не нравится выражение - не будьте "бабами" и "мужиками" (т.е. быдлом), и всё будет отлично :)