關于績溪牛的來歷，有兩種說法，一說古徽屬號原為山越圖騰，后演化成名縣屬號。在遠古時候，徽州這片區域居住的是山越人，越人結寨而居，以族為設，牛是當時績溪縣這片區域的越人的圖騰。古徽州六縣的象征性動物為：休寧蛇、歙縣狗、黟縣蛤蟆、績溪牛、祁門猴、婺源龍。還有一種說法是績溪縣域形狀如牛，古代徽人信風水，屬號多以縣治地形、山形或縣域形狀而得名。休寧縣治形如長蛇，故以蛇稱之；歙縣縣治附近有山如犬，黟縣縣治附近有山如蛤蟆，故以狗、蛤蟆稱之；績溪縣域形狀如牛，祁門縣域形態如猴，婺源縣域形狀如龍，故以牛、猴、龍稱之。后人又以休寧外出經商人多，諺稱“蛇出洞”，喻休寧人經營四方，精明能干；犬盡忠盡義，喻歙人重鄉誼，講團結；牛能吃苦耐勞，喻績溪人有實干精神；猴子靈活，喻祁門人善于隨機應變，適應性強；蛤蟆性靜，喻黟人長于勤儉守業；龍為靈獸，指婺源多出大儒。