奇石文化源于距今4000-6000年的玉器時代。東漢許慎在《說文解字》中談到“玉，石之美”。這也就是將玉和石歸為一類。而賞石也的確是以賞玉為導引而展開的，而奇石文化的發展演變，可分為以下六大階段。

根據目前的考古發現來看，最早的玉器出土于內蒙古的興隆洼文化遺址中，距今約7000-8000千年。玉器最早為奴隸主階層擁有，是權力和身份的象征，他們用玉器來滿足自身的奢靡心態。

作為賞石的奇石，最早以貢品身份出現，而作為賞玩之物被列為“貢品”的，就是早期的石玩。

賞石文化發育階段上啟秦漢，下至魏晉南北朝。隨著社會經濟的進步以及早期園林的出現，賞石文化率先在造園實踐中得到發展。

賞石文化的成熟階段，上可追溯至隋唐，下可至兩宋。成熟的標志在于出現了清供石。該時期，介紹賞石風尚和奇石分類的典籍逐漸增多，形成了一些賞石的理論原則，相對科學地闡釋了奇石的成因。

明清兩朝是賞石文化之鼎盛期。首先，賞石理論產生質變。明代計成的《園冶》、文震亨的《長物志》等著作相繼問世。他們對園林中的堆山疊石有著相當精彩的論述。“一峰則太華千尋，一勺則江湖萬里”的說法乃“小中見大”之典型。明代萬歷年間，林有麟的專著《素園石譜》更是把賞石意境從單純的自然景觀和直觀形象，提升到了內涵更為豐富的哲學高度。清代以后，《怪石錄》《談石》《選石記》和《觀石錄》等著作的出現，把中國賞石文化推向了又一高峰。其次，景石的應用達到高峰，特別是清代園林之典范圓明園和頤和園等，其景石的選用和構造都達到登峰造極的地步。最后，人們在賞石的過程中，思考和總結了許多人與石、石與自然以及人與自然的關系。

建國以后，特別是改革開放以來，賞石文化進入全新階段。該時期，賞石真正與科學結緣，奇石的鑒賞開始具有考古學、地質學上的科研意義。奇石商品化已初露端倪，從單純的收藏和搜集走向了市場。同時奇石文化正在以加速度走向世界，其門戶已然敞開，國際間交流合作的橋梁已架起，形成一個嶄新的局面。此外，奇石文化步入網絡時代，全國已建成的奇石網站有上百家之眾，成為奇石文化發展的新亮點。