據Anne F . Thurston所撰的《A Chinese Odyssey》一書披露:著名異見人士劉賓雁曾經說倪育賢是一個“有問題”的人,當年他上過倪育賢的當,並對此深感內疚。
一向以“反共勇士”自詡的倪育賢,其實在國內從未從事過反對中共的活動,相反一直積極向黨表現“忠誠”,——從以上所引的上海海事學院原始檔案中可以清楚地看出,當時學院對他的問題的結論並不涉及“政治錯誤”。正因為如此,儘管倪育賢生活腐化,在“嚴打”期間還偷自行車,誘姦婦女,結果都被其所在單位上海海運學院保了下來,並未移交司法當局法辦。而且,倪育賢在出國前還分到了一套房子(詳見《A Chinese Odyssey》一書的第378頁至381頁)。在當時那個極左的保守年代,通常亂搞男女關係被公安抓獲,判勞動教養三年五載是很正常的事情,然而倪育賢在上海強姦女青年,居然未被追究法辦,也算網開一面、法外開恩了(詳見同書的第332頁)。