五彩石的位置位于内蒙古巴音戈壁滩，曾经是一个湖，它在 1970 年代和 1980 年代逐渐枯竭。 这时当地牧民也发现，干涸的湖底及周边布满了大大小小的石头。于是越来越多的当地人知道了这片色彩斑斓的石头土地，人们纷纷来到这里寻找美丽的石头来收集和玩耍。 这时候，人们只会觉得这些石头好看。此外这个原本干涸的湖也被称为仙女湖，因此人们开始猜测，这些散落的石头可能与传说中的仙女有关。 他们认为仙女们下地时被这个湖的景色所吸引，所以忘记了返回天堂的时间。

当他们发现为时已晚时，他们惊慌失措地将随身携带的珍贵珠宝丢到了湖底。虽然传说认为这些五颜六色的石头很有价值，但当地的牧民对这些石头没有具体的了解，他们只是认为它们很漂亮。 直到彩石的故事传到一些珠宝商和珍奇宝石收藏家的耳中，他们直观地告诉他们，这些彩石很可能不是普通的石头，所以他们在几经周折后才找到彩石的位置。
到戈壁滩，就能看到一片面积约六平方公里的地方，铺满了五颜六色的石头，让他们兴奋不已。 当他们拿起其中一块石头仔细观察时，他们的喜悦之情无法掩饰。 原来这些五彩缤纷的石头，其实是玛瑙石，而玛瑙石常用于首饰的制作和收藏，价值不菲。这也是为什么那么多人争先恐后在湖底翻找的原因。 当地的游牧民族怎么会知道，这片干涸的湖水里的“五彩石”，居然是名贵的玛瑙。 直到他们看到这些商人从湖底随意捡起并大量运来五颜六色的石头，他们才意识到这些石头可能价值更高，于是也加入了寻找玛瑙石的队伍。
  但是当地的牧民无法与处理金钱的商人进行平等的交易，曾经有商人卖玛瑙，以换取牧民收集的玛瑙石，一箱一箱。 近三年来，这些不平等的交易以及戈壁滩上商户的“掠夺”，导致价值20亿的玛瑙流出该地区。