政治风云变幻，世事翻覆莫测。崇宁四年（1105年）暮春，赵挺之始除尚书右仆射兼中书侍郎。六月，“（因）与（蔡）京争权，屡陈其奸恶，且请去位避之”，遂引疾乞罢右仆射（《宋史？赵挺之传》）。仅仅过了半年多，崇宁五年（1106年）二月，蔡京罢相，赵挺之复授尚书右仆射兼中书侍郎。与此同时，朝廷毁《元祐党人碑》，继而大赦天下，解除一切党人之禁，李格非等“并令吏部与监庙差遣”（《续资治通鉴拾补》卷二十六），李清照也得以返归汴京与赵明诚团聚。但是，宋徽宗大观元年（1107年）正月，蔡京又复相，无情的政治灾难又降到了赵氏一家头上。三月，赵挺之被罢右仆射后五日病卒。卒后三日，即被蔡京诬陷。家属、亲戚在京者被捕入狱，因无事实，七月狱具，不久即获释。但赵挺之赠官却被追夺，其子的荫封之官亦因而丢失，赵家亦难以继续留居京师。李清照只好随赵氏一家回到在青州的私第，开始了屏居乡里的生活。
李清照、赵明诚屏居青州，始于宋徽宗大观元年（1107年）秋。次年李清照25岁，命其室曰“归来堂”，自号“易安居士”。
“归来堂”，取义于陶渊明《归去来兮辞》。其时，曾对清照极为称赏的文学家晁补之与李清照之父同以党籍罢官归隐，自号“归来子”。晁补之在故乡缗城（今山东金乡）修“归去来园”，园中的堂、亭、轩皆以《归去来兮辞》中之词语命名（见晁补之《归来子名缗城所居记》）。李清照、赵明诚以“归来堂”名其书房，盖出于对晁补之的仰慕，步其后而模仿之。《归去来兮辞》中有“倚南窗以寄傲，审容膝之易安”句，清照自号“易安居士”，当亦取其中之雅意。“归来堂”中，李清照与赵明诚虽然失掉了昔日京师丞相府中的优裕生活，然而却得到了居于乡里平静安宁的无限乐趣。他们相互支持，研文治学创作；他们节衣缩食，搜求金石古籍，度过了一段平生少有的和美日月。在《金石录后序》中，李清照对此作了较为详尽纺叙述：
后屏居乡里十年，仰取俯拾，衣食有余。连守两郡，竭其俸入，以事铅椠。每获一书，即同共勘校，整集签题。得书、画、彝、鼎，亦摩玩舒卷，指摘疵病，夜尽一烛为率。故能纸札精致，字画完整，冠诸收书家。
青州古城是古齐国的腹心地区，是古老的文物之邦，丰碑巨碣，所在多有，三代古器，时有出土。赵明诚夫妇在当地收集到《东魏张烈碑》、《北齐临淮王像碑》、唐李邕撰书《大云寺禅院碑》等一大批石刻资料。益都出土的有铭古戟，昌乐丹水岸出土的古觚、古爵，陆续成为他们的宝藏。
政和四年（1114年）新秋，赵明诚题“易安居士三十一岁之照”，云：“清丽其词，端庄其品，归去来兮，真堪偕隐。政和甲午新秋，德父题于归来堂。”（《易安居士画像》及赵明诚题词，近人多判其伪。但据《上海师范大学学报》1987年第二期吴金娣《有关赵明诚、李清照夫妇的一份珍贵资料》一文介绍，上海博物馆藏《欧阳修（集古录）跋尾》赵明诚墨迹与《画像》题词墨迹相比较，许多字的字形结构与运笔都甚相似。以此该文认为《画像》题词确为赵明诚手迹。）
政和七年（1117年），在李清照的襄助下，赵明诚大体上完成了《金石录》的写作。除自作序言外，还特请当时著名学者刘跂题写了一篇《后序》。史称，赵明诚撰《金石录》，李清照“亦笔削其间”（张端义《贵耳集》卷上）。
宋徽宗宣和三年（1121年），李清照38岁。春、夏两季仍在青州。四月二十五、二十六日，赵明诚尝游仰天山水帘洞并题名刻洞内石壁。不久即知莱州。初，李清照未同行。至秋八月，清照才由青州赴莱州。途经昌乐，宿于驿馆，作《蝶恋花·晚止昌乐馆寄姊妹》，表达对青州姊妹的惜别之情。八月十日，清照到达莱州，又作《感怀》诗一首。诗前有小序云：“宣和辛丑八月十日到莱，独坐一室，平生所见，皆不在目前。几上有礼韵，因信手开之，约以所开为韵作诗。偶得‘子’字，因以为韵，作感怀诗云。”
在莱州期间，李清照继续帮助赵明诚辑集整理《金石录》，且“装卷初就，芸签缥带，束十卷为一帙。每日晚更散，辄校勘二卷，跋题一卷”《金石录后序》。
宣和七年（1125年），李清照42岁。赵明诚改守淄州。赵明诚曾得唐白居易所书《棱严经》与李清照共赏。
宋钦宗靖康元年（1126年），李清照43岁，仍随赵明诚居淄州。是年，赵明诚因平定地方逃兵扰乱有功转一官。
颠离漂泊
宋钦宗靖康二年、高宗建炎元年（1127年），李清照44岁。金人大举南侵，俘获宋徽宗、钦宗父子北去，史称“靖康之变”，北宋朝廷崩溃。五月，康王赵构即位于南京应天府（今河南商丘），改元建炎，是为高宗，南宋开始。是年三月赵明诚因母亲死于江宁（今南京市），南下奔丧。八月，起知江宁府，兼江东经制副使。北方局势愈来愈紧张，李清照着手整理遴选收藏准备南下：“既长物不能尽载，乃先去书之重大印本者，又去画之多幅者，又去古器之无款识者。后又去书之监本者，画之平常者，器之重大者。凡屡减去，尚载书十五车，至东海，连舻渡淮，又渡江，至建康。”（《金石录后序》）十二月，青州兵变，杀郡守曾孝序，青州剩余书册被焚。（李清照在《金石录后序》中曾这样记载此事：“青州故第，尚锁书册用屋十余间，期明年再具舟载之。十二月，金人陷青州。”此处文字当因在传抄中或夺或衍而臻误。史实应为“青州兵变”。）