同治十二年鄉試，寶廷放了浙江的副考官。考官入闈之前，國防嚴密，摒絕酬酢，出闈以後就輕鬆了，尤其是鄉試，闈後正是「一年好景君須記，最是橙黃菊綠時」。浙江巡撫楊昌浚作東，請正副考官徐致祥和寶廷去游富春江，訪嚴子陵釣台的古跡，坐的是有名的「江山船」。
這「江山船」從明初以來，就歸「九姓」經營，叫做「九姓漁戶」。明載大清會典，元末群雄並起，明太祖大敗陳友諒於鄱陽湖，他的部下有九姓不肯投降，遠竄於浙南一帶。明太祖為懲罰叛逆，不准他們在岸上落腳，因而浮家泛宅在富春江上，以打漁為生，九姓自成部落，不與外人通婚。
水上生涯，境況艱苦，打漁以外，不能不另謀副業，好在船是現成的，不妨兼做載客的買賣。嚴子陵釣台所在地的「九里瀧」一帶，風光勝絕，騷人墨客，尋幽探勝，自然要講舒服，所以「江山船」也跟無錫的「燈船」，廣州的「紫洞艇」一樣，極其講究飲饌。久而久之，又成了珠江的「花艇」，別有一番旖旎風光。
江山船上的船娘，都是天足，一天兩遍洗船，自然不宜著襪，跟男子一樣，穿的是淺口蒲鞋，但製作特別講究，鞋頭繡花，所以浙江人稱這些船娘，叫做「花蒲鞋頭」。
寶廷是旗人，喜歡天足女子，所以一上了江山船便中意。那隻船的「花蒲鞋頭」名叫珠兒，有旗下大姑娘的婀娜，兼具江南女兒水樣的溫柔，寶廷色授魂與，將量才的贄敬，作為藏嬌的資斧，量珠聘了珠兒。只是這樁韻事，既玷官常，亦干禁例，所以跟船家約好，他自己由旱路進京，船家自水路送珠兒北上到通州，再由他出京來接。結果人船俱杳，是根本不曾北上，還是中道變計，化為黃鶴，根本無法究詰。更無法報官，算是吃個極大的啞巴虧。
這一年典試福建，闈中極其得意，解元鄭孝胥的詩筆，更為他所激賞。帶著門生的詩卷，取道浙江，由蒲城到衢州，歸浙江的地方官辦差，坐的自然是江山船，便遇見了這個長身玉立，有幾點白麻子的檀香，納之為妾。
由於上一次的教訓，寶廷這一次學得乖了，江山船到了杭州，另外換船循運河北上，帶著新寵一路同行。不過也不便明目張膽地同舟共宿，變通的辦法是，自己坐一號官船，另外備一條較小的船安置檀香。一大一小兩條船，銜尾而行，到了海寧地方遇上了麻煩。
麻煩是派在小船上照料的寶廷的聽差自己找的，辦差的驛丞不知道這條小船也算「官船」，不加理睬。那聽差仗著主人的勢，大打官腔，彼此起了衝突。等寶廷出來喝阻時，驛丞已經吃了虧回衙門申訴去了。
海寧知州是個「強項令」，聞報大怒，料知寶廷自己不敢出面來求情，便下令扣留小船。說主考回京覆命，決無中途買妾之理，冒充官眷，須當法辦。
這一下寶廷慌了手腳。他也知道平日得罪的人多，倘或一鬧開來，浙江巡撫據實參劾，丟官還丟面子。倒不如上奏自劾，還不失為光明磊落。
打定了主意，上岸拜客，見了知州，坦率陳述，自道無狀。海寧知州想不到他會來這麼一手。到底是現任的二品大員，不能不賣面子，不但放行，還補送了一份賀禮。
寶廷倒也言而有信，第二天就在海寧拜摺，共是一摺兩片，條陳福建船政，附片保舉福建鄉試落第的生員兩名，說他們精通算學，請召試錄用。這都是表面文章，實際上另外一個附片，才是主旨所在。
附片自劾，亦須找個理由，他是這樣陳述：「錢塘江有九姓漁船，始自明代。奴才典閩試婦，坐江山船，舟人有女，年已十八。奴才已故兄弟五人，皆無嗣，奴才僅有二子，不敷分繼，遂買為妾。」又說：「奴才以直言事朝廷，層蒙恩眷，他人有罪則言之，己有罪，則不言，何以為直？」
像這樣自劾的情事，慈禧太后前後兩度垂簾，聽政二十年還是第一遭遇見，召見軍機，垂問究竟，沒有人敢替寶廷說話。李鴻藻痛心他為清流丟臉之餘，為了整飭官常，更主張嚴辦，因此交部議處的逾旨一下，吏部由李鴻藻一手主持，擬了革職的處分。
這是光緒九年正月裏的一樁大新聞，其事甚奇，加以出諸清流，益發喧騰人口。當然，見仁見智，觀感不一，有人說他名士風流，也有人說他儇薄無行。已中了進士的李慈銘，除去張之洞以外，與李鴻藻一系的人，素來氣味不投，便斥之為「不學」，而且做了一首詩，大為譏嘲，用的是「麻」韻：
「昔年浙水載空花，又見船娘上使槎。宗室一家名士草，江山九姓美人麻。曾因義女彈烏柏，慣逐京倡吃白茶。為報朝廷除屬籍，侍郎今已婿漁家。」
這首詩中第二聯的上句，用的是彈劾賀壽慈的故事，下句是說寶廷在京裏就喜歡作狎邪游。這是「欲加之罪」，寶廷處之泰然，但檀香卻大哭了一場。說起來是為了「江山九姓美人麻」的一個「麻」字，唐突了美人，其實別有委屈。寶廷雖一直是名翰林，但守著他那清流的氣節，輕易不受饋遺，所以也是窮翰林。不善治生而又詩酒風流，欠下了一身的債。債主子原以為他這一次放了福建主考，是文風頗盛而又算富庶的地方，歸京覆命，必定滿載而歸。誰知道所收贄敬，一半作了聘金，一半為檀香脂粉之需，花得光光。
如果寶廷還是侍郎，倒也還可以緩一緩，不道風流罪過，竟致丟官，債主子如何不急？日日登門索債，敲台拍凳，口出惡言。檀香見此光景，不知後路茫茫，如何了局，自然是日夕以淚洗面了。
寶廷卻灑脫得很，雖革了職，頂著「宗室」這個銜頭，內務府按月有錢糧可關，本旗有公眾房屋可住，便帶著兩個兒子，攜著「新寵」遷往西山「歸旗」。山中歲月，清閒無比，每日尋詩覓句，他那部題名《宗室一家草》的詩稿，亦經常有人來借閱，最令人感興味的，自然是那首《江山船曲》：
「乘槎歸指浙江路，恰向個人船上住。鐵石心腸宋廣平，可憐手把梅花賦；枝頭梅子豈無媒？不語詼諧有主裁。已將多士收珊網，可惜中途不玉壺。」
但最後自道：「那惜微名登白簡，故留韻事記紅裙」，又說：「本來鐘鼎若浮雲，未必裙釵皆禍水」。隱然有「禍兮福所倚」之意，就大可玩味了。
於是有人參悟出其中的深意，認為寶廷是「自污」。清流已如明末的「東林」，涉於意氣，到處樹敵，而且搏擊不留餘地，結怨既多且深，禍在不遠，所以見機而作，彷彿唐伯虎佯狂避世似的，及早脫出是非的漩渦，免得大風浪一來，慘遭滅頂。此所以「故留」韻事，「不惜」微名，而裙釵亦「未必」都是「禍水」。