У древних евреев существовал обряд отпущения грехов. Священник возлагал обе руки на голову живого козла, тем самым как бы перекладывая на него грехи всего народа. После этого козла изгоняли в пустыню. Отсюда и пошло выражение «козел отпущения».
Выражение «всыпать по первое число» пришло из старой школы, где учеников пороли каждую неделю, независимо от того, было за что или нет. И если наставник переусердствует, то порки хватало надолго, до первого числа следующего месяца.
Оттуда же и выражение «прописать ижицу». Следы порки на известных местах нерадивых учеников были уж очень похожи на эту букву.
Выражение «шиворот-навыворот» связано с когда-то очень позорным наказанием: во времена Ивана Грозного провинившегося боярина сажали задом наперед на лошадь в вывернутой наизнанку одежде и в таком виде, опозоренного, возили по городу под свист и насмешки толпы.