成语的数目很多，一九五八年商务印书馆出版的《汉语成语小词典》就收有成语三千多条，实际上当然还有许多成语没有收进去，成语实有的数目，一定比这本小词典中所收的多得多。这些成语是怎样产生的呢？粗略地分析起来，主要有以下几个来源：
（1）历史事实
有些成语是从历史事实来的。其中有的是把某一历史事件，概括为成语的；有的是截取或改易历史里的著名文句为成语的。这里先举几个由历史事实而来的成语：
（A）完璧归赵《史记·蔺相如列传》记载：战国时候，赵国的国君惠文王得到一块璧玉，秦国的国君昭王写信给赵王，说他愿意给赵王十五座城，换取这块璧玉，赵国比秦国弱，它明明知道秦王的话靠不住，可是又不敢公然戳穿秦王的谎言。在这种情况下，赵国的大臣蔺相如到秦国去处理这件事。他临走的时候说“如果秦国把十五座城给了赵国，就把璧玉给秦国，如果拿不到城，就要使璧玉丝毫无缺地归回赵国《（史记》的原文是 完璧归赵。）”蔺相如到了秦国，把璧玉献给秦王，可是他看到秦王并没有真给赵国十五座城的意思，于是很机智地编造理由，从秦王手中把璧玉要回来，偷偷地让随从人员送回赵国。后来人们用“完璧归赵”这四个字，表示把原物完好地、原封不动地归还物主。这四个字也就成了成语。
（B）擢发难数《史记. 范睢列传》记载：战国时候，秦国的宰相范睢（魏人）责问他的仇人魏国的中大夫须贾说：“你知道你的罪过有多少吗？”须贾说：“拔我一根头发记载我一件罪过，头发还不够用的。”（《史记》的原文是“擢贾之发，以续贾之罪，尚未足。”）后来就用“擢发难数”比喻罪恶之多，数不胜数。“擢发难数”也就成为成语了。
以上这两个来自历史事实的成语“完璧归赵”、“擢发难数”都是截用或改易史书中文句而成的。这种成语，在全部成语中所占的数量不很多。成语中的“投笔从戎”、“退避三舍”、“唇亡齿寒”、“一鼓作气”、“门庭若市”等等，都是出自历史事实的。
（2）前人故事
有些成语是由前人的故事来的，这类故事也是确有其人其事，只是其人其事在历史上不是很重要的。这类成语有的比较有风趣，有的有比较好的修辞效果，所以也被人们广泛地使用。现在举几个例子，并说明它们的来源。
（A）胸有成竹宋朝有一位画家叫文同，字与可，擅长画竹。当时有位文学家晁补之作诗说：“与可画竹时，胸中有成竹。”后来“胸有成竹”就成了一个广泛使用的成语，用它来称赞处理事情很有定见有把握的人。
（B）满城风雨宋朝谢无逸尝问潘大临近来有没有作诗。潘大临写给他一封回信说：秋天以来的景物，样样都是好诗句。昨天清闲地躺着，听到树林子里响起风雨声，我高兴地起来，在墙上写到：“满城风雨近重阳”，忽然催我缴纳租赋的人来了，于是大为败兴，只有这一句寄给你。后来“满城风雨”这四个字就成了广泛使用的成语，比喻对新发生的某一件事许多人都在到处议论。
此外如“威武不屈”、“尾大不掉”、“抱薪救火”、“门可罗雀”都是由前人故事而来的成语。
（3）寓言传说
古书里边也有些含议深刻的寓言，也是成语的来源。这类成语，往往有教训或讽喻的意味。现在举几个例子并加以说明。
（A）杞人忧天《列子·天瑞》说：“周朝时候，杞国有一个人怕天崩地坠，自身无处寄托，因此连睡觉吃饭都没有心思了。”后来就把“杞人忧天”用为成语，比喻毫无必要的忧虑。
（B）邯郸学步《庄子·秋水》说：“燕国寿陵地方有一个青年，到赵国的国都邯郸去学走路（赵国人善于走路）。他没有把本领学到手，反而把自己原来走路的步法也丢掉了，只好用
两只手爬着回家。”后来把“邯郸学步”用为成语，比喻摹仿别人不到家，反而连自己原有的本领也丢掉了。
（C）掩耳盗铃《吕氏春秋.自知》有一个故事说：晋国的大夫范氏灭亡的时候，有个老百姓得到一只钟，想要把它背走。只是钟太大，没法背。于是就用锤去把它打碎，这样钟又轰轰地响起来，那个老百姓怕别人听到响声来抢这只钟，赶忙把自己的耳朵堵起来，以为自己听不见，别人也就听不见了。《淮南子·说山训》也有这个故事。成语 “掩耳盗铃”就是这样来的，只是把“钟”改为“铃”了。这个成语比喻骗人的人所用的办法非常笨拙，他自己却以为能骗得了人。成语里边还有一个“掩目捕雀 ”，出于《三国志·陈琳传》，跟“掩耳盗铃”的意思差不多，但是众基础较差，使用的人比较少。
由寓言故事来的成语，往往含有幽默感和深刻的教育意义。如“守株待兔”、“刻舟求剑”、“画蛇添足”等。这类成语，在全部成语中，所占的比重不算大。
（4）古人原句
成语里面有一些是全用古人语句而不作改动的，例如：
（A）“醉翁之意不在酒”见宋朝文学家欧阳修《醉翁亭记》：“醉翁之意不在酒，在乎山水之间也。”意思是：醉翁的心思并不在饮酒上，而在于赏玩这里的山水。后代把“醉翁之意不在酒”用为成语，表示“别有用心”、“另有目的”等意思。
（B）水落石出见宋朝文学家苏轼的《赤壁赋》：“山高月小，水落石出。”、“水落石出”本来是纯粹写景的文句，后代用为成语，比喻真实的情况终于显露出来。
（C）更上一层楼成语不仅有完全用前人文章里的语句的，也有完全用前人诗句的“更上一层楼”就是处于唐朝诗人王之焕的《登鹳雀楼》诗。原诗是：“白日依山尽，黄河入海流。欲穷千里目，更上一层楼。”“更上一层楼”这个成语，比喻在某一已有的基础上更加提高，更为扩大之类的意思。
成语里面的“ 一笑千金”、“咄咄怪事”、“下笔成章”、“一鸣惊人”等，都是全用前人的语句。这类成语在全部成语中所占的比重比较大。偶然被人们引用的前人名言警句，即使它明显地具有成语的特点，也不能把它看做成语，而只能认为那是引语。可是如果后来时常有人使用它，众逐渐对它熟悉，那就要把它看做成语了。
（5）截用或改易古人语句
含有成语的诗句有些成语不是直接使用古人的语句，而是截用或者把古人的语句略加改变，然后使用的。截用或改变的原因，主要是为了使其符合成语的结构形式。（参阅前文《成语的四字性》）例如：
（A）舍生取义《孟子·告子》上篇里有两句话是：“生，亦我所欲也；义，亦我所欲也。二者不可得兼，舍生而取义者也。”后人从这两句话里，取出“舍生取义”这四个字作为成语，表示为了维护正义不惜牺牲生命的崇高品质。
（B）一曝（pù）十寒《孟子·告子》上篇里有几句话是“虽有天下易生之物也，一日曝之，十日寒之，未有能生者也。”（意思是：虽然有天下容易生长的东西，但是晒它一天，冷它十天，也没有能生长成的。）后人从这几句话里摘出“一曝十寒”四个字用为成语，比喻一个人没有恒心，努力的时间少，荒废的时间多。
（C）一毛不拔《孟子·尽心》上篇里有一句话是：“杨子取为我，拔一毛而利天下不为也。”（意思是：杨子极端自私，即使从他身上取下一根细微的毛发就能够有利于天下，那他也是不肯干的。）后人把这句话里的“拔一毛不为”改成“一毛不拔”四个字，作为成语，形容极端自私和非常吝啬的人。
（D）近水楼台宋朝苏麟有两句诗：“近水楼台先得月，向阳花木易为春。”后来截用“近水楼台”四个字为成语，比喻在条件便利的情况下就能比一般人先得到好处。
成语里面的“知名之士”、“一日之长”、“一丘之貉”、“一日三秋”、“一字千金”都属于这一类。这类成语，在全部成语中所占的比重也比较大。
（6）人民众用过的精炼词组
谈到成语的来源，人们总会先想到上边所说的那些所谓有出处的成语。其实在成语里边占比重较大的，还是那些现在已经不到真正原始出处的成语，这类成语，绝大部分是人民众创造的。其中有一些具有浓厚的口语彩和生活气息。例如：“大海捞针”、“指桑骂槐”、“另起炉灶”、“三三两两”、“大刀阔斧”、“囫囵吞枣”等等。这类成语，因为修辞手法和表达效果都比较好，所以历来就被人们广泛地使用着，而且不仅使用于书面上，也使用于口语中，甚至很早就使用于口语中。如果有人在古书中看到了这类成语，认为某书的作者就是这个成语的创作者，这恐怕未必可靠，譬如见于宋人语录里边的一些成语，见于元人杂剧里边的一些成语，未必就是产生于宋朝或元朝，可能都还早。
（7）谚语俗语
有些成语，在两三千年之前就已经被人们写在书里。虽然用的是文言，看起来很典雅，其实本来是众口头中使用的谚语或俗语。例如，“亡羊补牢”、“敝帚千金”等等，都属于这一类。为什么知道这些成语本来是谚语或俗语呢？因为使用这些成语的古人，在古书里边已经说了。如：《战国策·楚策》说：“臣闻鄙语曰：亡羊补牢，未为迟也。”（意思是：养在羊圈里的羊跑掉了，赶快把圈修补起来，免得别的羊再跑掉，也还不算晚。）曹丕《典论·论文》说：“里语曰，家有敝帚，享之千金”（意思是：俗语说，家里有一把破扫帚，自己以为宝贵得可以同千金相比。享就是“当”或“当做”。）《史记·白起王剪传》说：“鄙语云，尺有所短，寸有所长。”所谓鄙语、里语或谚语、俗谚，就是民间的谚语或俗语的意思。实则有些来自谚语或俗语的成语，在古书上，也还有并不一定标明是“ 里语”、“鄙语”的。
另外还有些谚语和俗语，从文字上看，不像一般成语那样整齐典雅，很明显是人民大众的口语。可是因为它们通俗易懂。具有很好的表达效果，因此广泛地被人们所使用，也成了成语。例如“牛头不对马嘴”、“坐山观虎斗”、“众人拾柴火焰高”、“天下乌鸦一般黑”都是属于这一类的。
（8）外来的成语
我们使用的成语，也有来自外国的。例如魏、晋、六朝、隋、唐时候，我国翻译了不少流行于西域和印度的佛经。佛经里边的语句和典故，不少从早就成了我国的成语。例如：“一尘不染”、“现身说法”、“心花怒放”、“不可思议”、“不即不离”、“回头是岸”皆是。明、清以来，我国跟西洋各国的文化交流逐渐频繁，西方的典故、格言以及西洋著作的汉文译本中的精炼语句，有的也就变成了我国人使用的成语。例如：“时者金也”、“以眼还眼，以牙还牙”、“旧瓶装新酒”、“火中取栗”、“新陈代谢”、“物竞天择”、“弱肉强食”、“拿原则来做交易”、“按劳取酬 ”等等都是。
（9）改造的成语
前边说过，成语是固定词组或固定的句子，一般不能随便改变。但是有时候为了表达上或行文上的需要，也可以更换一两个字，巧妙地把它加以改造使用。这种改造的成语，表达的效果往往比较强，因为把成语改了一两个字，特别能引起读者的注意。这种办法，古代就有的。例如“物极则反”这个成语出于《鹖冠子·环流篇》。意思是事物发展到极点，一定要转到它的反面。后代有人把它改为“物极必反”，就觉得更为肯定有力。南北朝时，北周有名的文学家瘐信作《哀江南赋》就把这的成语改为“物极不反”，表达他那无可奈何的愤慨情绪。又
如“事半功倍”这个成语，出于《孟子·公孙丑》，意思是说用力小而效果大。后来有人把这个成语里的“半”、“倍”两个字的位置一换，改为“事倍功半”，来说明工作费劲大，收效小。但是在古代，这样使用成语的例子比较少。现在我们进入了伟大的社会主义时代，前人某些思想意识的错误性和局限性，显露得很清楚。因此把成语加以改造而表达新思想的，用得也就比较多了。例如把“欲速则不达”改为“欲速必达”；把“一举两得”改为“一举三得”、“一举多得”；把“一箭双雕”改为“一箭三雕”、 “一箭多雕”；把“知难而退”改为“知难而进”等等。