虞玩之作为东府的副手，只穿了一双木屐去登座席。高帝（萧道成）拿取了木屐亲自来看，那木屐已是被火所薰黑过，横斜的芒草扎脚，屐带断了用芒草接了起来。高帝问他："你这双屐已经穿了几年？"玩之回答："开始穿官服时，任征北将军的属官时买的，已穿了三十年，贫穷士人毕竟不容易置办它。"高帝为之感叹，于是赐他一双新屐。玩之不受。高帝问其缘故。他答道："今日的赐与，恩宠华物都很重，但是蓍草的发簪和破旧的座席，也不可以丢掉，所以不敢接受。"高帝认为他回答得很好。任他为骁骑谘议参军。高帝在东府起初开创时，宾客交往频繁，高帝注意简拔人才。玩之与乐安任遐，都因为在坐席上回答高帝言辞的佳美，两人齐名见被知遇。玩之升迁为黄门郎。