佛陀创教，虽不主张以苦行来求解脱之道，一味的苦行，终亦无从求得解脱之道。但是，佛陀鼓励弟子们的头陀行，并亦赞叹弟子们的头陀行，也是无可否认的事实。其实，佛陀是既不主张苦行，更不主张生活得富裕的。 所以佛陀成道后的最初数年，没有住处，在何处坐下说法，何处便是道场，乃 至连茅棚都没有的，印度的气候，印度的热带树林，使人能在树下居住而不以为苦。故在弟子们求度出家时，比丘有四依止：①粪扫衣；②常乞食；③树下住；④陈弃药。人不能离了衣食住药而活命，但以最低的要求来达到活命的目的，所以规定依此四事，称为四圣种。比丘尼的形体太弱，所以不许树下住，而只有三依止。
由于树下住的规定之中，可以见出佛教生活的基本精神。然到后来，僧团中的人数多了，分子也复杂了，尤其是释迦族的许多贵族子弟出了家，就有些人过不惯经常在树下露宿的生活了。第一所房子，是阐陀比丘造的，但被佛陀命令阿难尊者捣毁了。可是，终究未能坚持下去，因为有人病了，所以佛陀准许比丘可以造房。有的自己作，有的则由信施作。不过有规定，那就是长不过佛的十手，广不过佛的七手（佛的每手约为二尺）。并且还要求得僧团的审察通过。
至于规模宏大的寺院，是从竹林精舍及祗园精舍开始，此后的大寺院，也就陆续地建起来了，舍利弗、目犍连、大迦叶、都是有名的督建大寺院的营事比丘。
于是，也有造寺的建筑规定了，例如根本说一切有部杂事卷十中说：“如佛所说，造苾刍寺，僧房应作五层，佛殿应作七层，门楼七层；若造尼寺，房应三层，佛殿五层,门楼五层。”
不但建筑大寺院，并且许可在寺中的壁上作画。杂事卷十七中说：“佛许给孤独长者于寺中壁上画。并示于门两颊作执杖药叉，次傍一面作大神通变，又于一面作五趣生死之轮，檐下作本生事，佛殿门傍作持鬘药叉，讲堂处画老宿苾刍说法，食堂画持饼药叉，库房门傍画持宝药叉，安水堂处画龙持水瓶著妙璎珞，浴室火堂画多少地狱变，瞻病堂画如来像躬自看病，大小行处画死尸形容可畏，若于房内，应画白骨骷髅。”这是寺院有壁画的最初记载。
因此，在比丘四依止中，树下住的规定之下，又有开缘了：比丘应在树下住，若有庄严宏伟的寺院可住者，也可受住，不算违犯。
有了建寺的风气之后，又为僧团中带来了一项纠纷：僧制是以戒猎的先后而序长幼的，一些戒长而又不愿营建寺舍的比丘，便找机会，见到戒小的比丘建好寺舍，便去占居，弄得一些下座比丘辛苦不堪，而竟无寺可住。于是佛陀制定，营事比丘有住寺的优先权。在五分律卷二十六中有这样的记载：“佛言：应量其工夫多少，极多听至十二年住。应白二羯磨与之……若治房工夫，极少三分之一，听从僧求随意住。”也就是说：对于营建寺舍的负责比丘，寺院建成后，仍不属己，仍须向僧团中求索，大众通过后，最多不得优先住过十二年 。
这与中国比丘负责建寺之后，即以开山祖师自居，且有权终身支配乃至左右以至后代者，便不能同日而语了。佛制僧产公有却多变质了。至于一般俗人建寺而后成为董事长或管理人者，更是佛法之所不容的事。建寺的目的，不外两种：第一是为安众修持，第二是为弘法度众。
所以，寺院的是否壮丽雄伟，可以说明此一地区精神生活的高下。大家重视宗教精神的道德生活，宗教的寺院必定建筑得富丽堂皇，否则便可说明那是一个道德堕落的社会。至于寺院，虽有很多人在募款建筑，但皆小家子气，故有人说，大陆 最小的寺院，也比台湾最大的寺院大。这虽不是绝对的事实，但也并未夸张了多少，原因是没有人才。古来高僧避处山林，虽不广事募化，仍能感得龙天拥护，信施源源不绝而来。由于道风的感召，一天天地人众多了起来，人多了必须加建房舍，于是寺院的规模也就日渐宏大起来。只要发心成就人众，便自然有饭吃，自然有房舍居住。故于高僧驻锡之地，每每皆是从荒山平地中兴起伟大的建筑物来，他们虽然人众事多，仍有修持学习的机会。所以越化越多，也越化越大。
在今日，发心建寺者，未必皆为安众与化众着想，特别是一些出家不到一年半载，不知佛法为何物的人，他们募化建寺，只凭一股热心而已。
当然，佛教的寺院能够日益多起来，总是好的，最低限度，寺里供的有佛菩萨圣像，能让人家礼拜生信，总是好的。不过，寺院的建筑，总也不能与其本来而应有的作用完全脱节。如果寺院建好之后，既不安众修持，也不化众弘法，那就无异是多余的浪费了。可叹的，现在的建寺者，多半是为安他自己而非安众，住众而使之修持或指导修持者，那就更加少了。至于弘法度众，除了以经忏应赴，也多无法可弘。
因此在今日谈建寺，建寺者的精神是可佩的，在其目标或宗旨上，则应该要提高一层。也就是说：除了安己也要安众，除了自修也要化众。