歷史上的紀曉嵐遠沒有電視劇上演的那般灑脫自如，當時他不但得了個“娼優大學士”的外號，其本人很多事也經常被人引為笑談。
　　乾隆時期，北京達官貴人們都嗜好淡巴菰(煙草)，乾隆當時尤其如此，煙癮很大，一天都離不開。後來乾隆突然無故咳嗽，太醫診治後說：“病源在肺，恐怕是吸食淡巴菰所導致的。”乾隆聽後便命太監不准再拿這個東西進來。過了一段時間後，咳嗽病倒好了，乾隆於是對淡巴菰極為厭惡，並勸告其臣僚也不要嗜好此物。
　　煙草其實是輕微的毒品，一旦吸食也很難戒除。紀曉嵐當時為翰林大學士，煙癮最大，人稱“紀大煙袋”。他並不理會乾隆的勸告，每日仍舊拿個特大煙袋，裡面貯滿菸絲，張口就吸，毫不顧忌別人感受。
　　有一天，輪到紀大煙袋在館中當值，他工作忙完，便把煙點上，剛美美的吸上兩口，突然間太監宣他進見皇上，紀大煙袋一著急，便把煙袋插入靴筒，隨後入朝覲見。不巧這次乾隆問的事情多，沒多久，紀大煙袋覺得腳上發熱發燙，但正被皇上問話，又不敢亂動，不料，他的靴子突然冒煙，原來煙袋的火沒有熄滅，結果把襪子給燒著了。紀大煙袋痛得要命，眼淚鼻涕直流。乾隆大驚，問他怎麼回事，紀大煙袋說：“臣靴筒裡走水”。(當時北方人把失火叫走水)



乾隆大笑，讓他立刻出去解決。紀曉嵐忍著痛，疾步跑到門外，把靴子一脫，裡面早已是皮焦肉爛，好不淒慘!讓人發笑的是，紀曉嵐平時走路特快，同僚們戲稱他為“神行太保”，這次被燒了以後，紀曉嵐一個多月都走路一瘸一拐，人又送綽號“李鐵拐”。
　　據說，後來乾隆過問此事，讓他為這事寫檢討。紀曉嵐好文才，援筆立就，裡面有這麼幾句：“褲焚，帝退朝曰：'傷脛乎?不問鬥'”。這個馬屁拍得很到位，乾隆心頭一喜，便賜給他煙斗一枚，准其在館吸食，紀曉嵐也得意的說自己是“欽賜翰林院吃煙”云云。
　　紀曉嵐不但“欽賜吃煙”，而且還有一個“奉旨納妾”的故事。《棲霞閣野乘》中說，紀曉嵐自幼禀賦超於常人，能夜間視物，一日不禦女，則肌膚欲裂，腳要抽筋。《蟲鳴漫錄》裡也說，紀曉嵐自稱是野怪轉身，不吃米，光以肉為飯，一日須禦數女，五鼓入朝一次，歸寓一次，午間一次，薄暮一次，臨臥一次，一次也不能少，有時候乘興而幸，也是常有的事。
　　紀曉嵐在編輯《四庫全書》的時候，有幾天特別忙，一直在館中上班。由於幾天沒有碰女人，紀曉嵐兩眼暴赤，臉色血紅。乾隆皇帝在路上碰到他，見他這副模樣大吃一驚，便問他生了什麼病，紀曉嵐不敢隱瞞，便把實情托出。
　　乾隆大笑，後來派了兩個宮女給紀曉嵐伴宿。《四庫全書》編好後，又讓紀曉嵐把兩女帶回家中。紀曉嵐十分得意，經常在別人面前誇耀，自所謂“奉旨納妾”是也。



不過，乾隆也沒少戲弄紀曉嵐。乾隆有一次南巡來到金山寺，紀曉嵐也隨同在側。乾隆一時興起，想給金山寺題一個匾，但想了半天也沒想出什麼好名字，於是就取筆在紙上假裝寫了幾個字，便遞給紀曉嵐問：“你看這幾個字如何?”紀曉嵐拿過來一看，是無字天書，幸好他隨機應變得快，便說：“好一個'江天一覽'!”乾隆大悅，便重新拿起筆題了這四個字。(此是“江天一覽”故事的另一版本)
　　還有一次，紀曉嵐奉命在翰林院編纂《四庫全書》，因為工程浩大，紀曉嵐和同事們日夜趕工，時值盛夏，天氣酷熱，紀曉嵐身體肥胖又怕熱，往往汗流浹背，衣服盡濕。後來紀曉嵐乾脆把衣服除去納涼，同事的閣臣們也學他的樣子，脫了衣服在裡面工作。
　　後來這事被乾隆知道，便想去捉弄他一下。某天，乾隆有意走到翰林院，正好紀曉嵐和同事閣臣數人光著膀子在那裡談笑風生，大家見乾隆走了過來，慌忙穿衣不迭，紀曉嵐因為眼睛近視，一時間找不到自己的衣服，穿衣不及，慌忙中鑽到了椅子下面。
　　乾隆見了大樂，便一屁股坐在上面，紀曉嵐躲在下面喘息而又不敢動。乾隆在椅子上面坐了兩個時辰不說話，也不走。因為天氣酷熱，紀曉嵐不能忍耐，見過了那麼長的時間，便伸頭問同事們：“老頭子走了沒有啊?”

乾隆大笑，諸人也笑，乾隆讓紀曉嵐出來，故作不悅說：“ 紀昀無禮，何得出此輕薄之語?你要解釋得過去就放過你，要說不過去就殺你的頭。”紀曉嵐大為尷尬，說：“臣尚未穿衣。”乾隆便命內監代他穿上，又訓斥道：“你膽子不小，你為什麼叫稱朕為老頭子啊?”紀曉嵐眼睛一轉，說：'京城中人都是這麼稱呼皇上的啊，皇上叫'萬歲'，豈非老乎?君是'元首'，得非'頭'乎?皇上為天之子而子萬民，所以叫'子'啊。”乾隆見難他不住，便呵呵一笑走了。
　　紀曉嵐被乾隆捉弄，找到機會他也要捉弄捉弄和紳。有一次，和紳家修花園，建了個亭子，請紀曉嵐幫他寫個亭額，紀曉嵐揮筆而就，寫下“竹苞”二個大字，和紳見兩字寫得龍飛鳳舞，十分開心的把它給掛了起來。沒多久，​​乾隆臨幸和府參觀新花園，抬頭看見亭上的匾額，便問是誰寫的，和紳得意的說是請紀曉嵐寫的，乾隆大笑，說：“你上了他的當了!紀曉嵐這是在罵你家'個個草包'啊!”和紳氣得半死，又無可奈何。
　　紀曉嵐讀書多又天性詼諧，平時也愛講笑話故事，每次入宮當值沒事的時候，太監就喜歡纏著他講故事，紀曉嵐不勝其煩。有一次，紀曉嵐又被某太監纏上，讓他講個故事，紀曉嵐說最近沒故事，某太監非得讓他說一個，現在編也行。紀曉嵐便故作思索狀，說：“有了。說有一個人。”說完，便閉嘴盯著太監看。太監見他不說了，便催促道：“這個人下邊還有何事?”紀曉嵐說：“下邊沒有了。”太監知道被其揶揄，大笑而去。
　　紀曉嵐有一次為某詞林朋友的太夫人祝壽，朋友請他作首詩，紀曉嵐站了起來，清了清嗓子，眾人都作洗耳恭聽狀，​​紀曉嵐便道：“這個婆娘不是人。”眾人大驚，以為大不敬。紀曉嵐見效果達到，便從容續道：“九天神女下凡塵。”眾人一聽，贊這句說得好。紀曉嵐話鋒一轉，又道：“生下兒子去做賊。”眾人愕然，朋友也很是難堪。不料紀曉嵐笑道：“此子卻好，偷得蟠桃壽母親。”眾人聽後大樂，一時傳為佳話。
　　紀曉嵐是個聰明人，但他的聰明在當時往往被人視為可笑之物，這大概就是乾隆視紀曉嵐為娼優的緣故罷。