מפקד הלויים

מדוע מספרם של בני לוי קטן בהרבה ממספרם של כל שאר השבטים?