曾经当地的农民在沟里发现了一尊石羊雕像，距现在已有数百年了。后来这尊石羊曾被文物专家鉴定为宋代石羊，1982年被列为安阳县的第三批重点文物。
古往今来，羊被人们视为一种吉祥如意的动物。寓意风调雨顺、吉祥如意，当地人俗称这个地方是小石羊沟。因此，石羊谷的名称就产生了。
昆玉山景区根据山谷形态规划进行建设、植树造景，不停地栽种绿植。现在的石羊谷早已经变得绿意盎然了，三季有花、四季有景，景色宛如江南水乡、世外桃源。