临沂历史悠久，是中华文明的重要发祥地之一。早在三四十万年前，人类的祖先就在这块土地上创造了远古文明，旧石器时代早期的文化遗存在境内有多处发现，沂河和沭河流域发现的近百处细石器文化遗存，是一、二万年前的人类所创造。5000年以前，这里的人类就开始使用文字符号，掌握了酿酒技术，制造出精美的黑陶器物，并已使用砭石治病等。

上古时期，传说天下分为九州。《尚书·禹贡》记载：“海、岱及淮惟徐州。”即大海、泰山和淮河之间的地域是九州中的徐州，今临沂市域（即今临沂市3区9县的范围内，以下简称“市域”）基本属于徐州。

商代，市域内有郯、鄪、缯（鄫）等方国。

周代，市域除西北部属鲁国、东北部属齐国外，尚有颛臾、鄅、鄫、鄟、阳、向、郯、根牟、於馀丘等方国，以及启阳、中丘、祝丘、鄪、祊、台、东阳、南武城、丘舆、向、次室、蒙、郓、堂阜、密、鄢陵等城邑。战国时期，市域内诸国渐被齐、楚两国兼并。到战国末期，市域北部属齐，南部属楚。

秦代，实行郡县制。市域大部分属琅邪郡，西部小部分属薛郡，南部小部分属郯郡。

西汉时期，在较长的时间里，市域分属徐州刺史部琅邪郡、东海郡，兖州刺史部泰山郡和城阳国。这一时期，东海郡下置临沂县，这是“临沂”成为行政区划名称之始。

东汉光武帝建武十三年（公元37年），城阳国并入琅邪郡。建武十七年（公元41年），光武帝之子刘京受封琅邪王，琅邪郡因改为琅邪国，都于东武。永平五年（公元62年），琅邪国迁都于莒；建初五年（公元80年），又迁开阳（即启阳，汉景帝名启，启阳因避讳而改名），市域成为琅邪国的核心地域。

三国时期，市域为魏国领土。至魏末，市域分属魏之徐州东海国、琅邪国、东莞郡，兖州泰山郡等郡国。

两晋时期，市域分属兖州泰山郡，徐州东海郡、东莞郡。

南朝宋，市域分属东安郡、东莞郡、琅邪郡、东海郡。

北魏，市域分属南青州东安郡、东莞郡，徐州兰陵郡，北徐州东泰山郡、琅邪郡，东徐州郯郡。

北周时，改北徐州为沂州，这是“沂州”成为行政区划名称之始。

隋代，市域绝大部分属徐州刺史部，为琅邪、彭城、下邳、东海，以及青州刺史部高密郡等郡分治。

唐代，市域属河南道。武德四年（公元621年）置沂州（天宝元年至乾元元年曾改称琅邪郡，后又改回），市域在较长时间内大部分属沂州，小部分属徐州（彭城郡）。

北宋，市域大部分属东京东路之沂州。

金时，市域大部分属山东东路的沂、莒二州，小部分属山东西路之邳州。

元代，实行行省制。大都附近的地域设置中书省，市域分属中书省下辖的益都路之沂、莒、峄诸州。

明洪武元年，撤临沂县，并入沂州。沂州一开始直隶京师，不久改属济宁府。洪武五年，改属济南府。洪武十八年，改属兖州府。沂州除本州外，还辖领郯城、费县两县。

清代初期，沿袭明朝区划，市域分属兖州府之沂州、青州府之莒州。雍正年间，沂州、莒州先后被升格为直隶州。雍正十二年（公元1734年），沂州升格为府，新设附郭兰山县，莒州成为沂州府属州。次年，莒州降为散州，所领县均归沂州府。沂州府形成六县（兰山、费县、郯城、沂水、蒙阴、日照）一州（莒州）的基本区划格局。

民国时期，1913年撤沂州府，改兰山县为临沂县，莒州为莒县。1914年分山东省为四道，临沂各县均属济宁道。1925年置琅琊道，旧属沂州府之县划归琅琊道。1928年撤销琅琊道，所属县直属省。1936年，设山东省第三行政区，置督察专员公署于临沂，辖临沂、莒县、郯城、费县、沂水、蒙阴、日照、峄县八县。1938年4月，日寇侵占临沂。之后，中国共产党在此创建了抗日根据地，市域基本分属滨海、鲁南、鲁中三个行政区。1948年，三个行政区合并为鲁中南行政区，市域分属鲁中南区第二、四、五、六专区。次年7月，第二、四、五、六专区分别改称沂蒙、尼山、台枣、滨海专区。

中华人民共和国成立后，1950年5月，胶东、渤海、鲁中南3个行政区被撤销，只保留专署作为省人民政府的派出机关。新中国成立初期，市域分属沂水、临沂、滕县3个专区。1953年7月，沂水专区被撤销，下属各县除日照划归胶州专区外，其余均划归临沂专区；滕县专区下辖的平邑县也被划归临沂专区。1956年2月，胶州专区被撤销，其下属的日照县划归临沂专区。1967年1月，临沂地区革委会成立，临沂专区也随之改称临沂地区。1978年7月，临沂地区革委会改为临沂地区行政公署，临沂地区辖临沂、郯城、苍山、临沭、莒南、沂南、沂水、沂源、蒙阴、平邑、费县、日照、莒县13个县，公署驻临沂城。

1983年9月，临沂县撤销，改为临沂市（县级）。1985年3月，日照县撤销，设立日照市（县级）。1989年6月，日照市（县级）升格为地级市，沂源县于1989年12月划归淄博市，莒县于1992年12月划归日照市。

1994年12月，临沂地区被撤销，设立临沂市（地级）。同时，临沂市（县级）被析为兰山、河东、罗庄3个区。此外，临沂市还辖郯城、苍山、莒南、沂水、蒙阴、平邑、费县、沂南、临沭9个县。2013年12月27日，经国务院批准，苍山县更名为兰陵县。至2024年年底，全市共有156个乡、镇、街道，4206个行政村。