Происхождение этого выражения очень древнее. Во времена правления императора Комнина Андроника (древняя Византия) было в обиходе такое правило: тем мужьям, с женами которых император имел любовную связь, разрешалось охотиться в зверинце императора, где тот держал много экзотических зверей. И надо сказать, эта привилегия тогда пользовалась большим спросом. Так вот, ворота домов, где жили такие семьи, украшали оленьими рогами — признаком особой почести.