我国从唐朝开始设置学士院，宋朝称翰林学士院，元朝称翰林兼国史院。明朝将修史、著作、图书等事务归并于翰林院，正式成为外朝官署。清朝承明制设翰林院，职掌编修国史、记载皇帝起居注、选讲经史以及草拟有关典礼的文件等，其长官为掌院学士，由朝廷大臣担任。所属职官有侍读学士、侍讲学士、侍读、侍讲、修撰、编修、检讨和庶吉士，统称为翰林。在清代，翰林院是培养和储备高级官吏的场所。翰林院庶吉士以上出身的人，其升迁速度比直接外放知县的进士要快，机会要多。清代大学士、军机大臣多出身于翰林院；六部九卿以及各省总督巡抚，大多数也出身翰林院，故士子都以能进翰林院为荣。
翰林院靠近外国使馆林立的东交民巷。嘉庆皇帝曾在翰林院赋诗赐宴，御诗后被勒石成碑，诗云：
东鲁曾登夫子堂，初来翰苑谒门墙。
赋诗赐宴典重举，偃武修文颂曼场。
端本储才为国宝，特躬励志胜词章。
我朝取士皆真学，天禄瀛洲陋汉唐。
翰林院的藏书十分丰富，著名的《永乐大典》就庋藏于院内，这部修撰于明朝永乐年间的大型类书原有 22900余卷，11095册，是一部真正的鸿篇巨制。但这部书修成后历尽劫难，到乾隆三十八年（1773）只剩下 9000余册，已经散佚 2000余册。清朝纂修《四库全书》时就在翰林院进行，翰林院修撰、编修、检讨和庶吉士等参与其事。咸丰十年（1860）英法联军侵占北京，《永乐大典》遭侵略者劫夺，流出国门。光绪元年（1875）重修翰林院署时，《永乐大典》已不足 5000册。到光绪二十六年（1900）六月，八国联军入侵北京时，翰林院《永乐大典》再次遭受劫难，现在国内外仅有 370余册、810卷尚存于世。翰林院还庋藏有乾隆御赐的《古今图书集成》一部。至于一般的经史子集图籍和历朝档案文书则更多。
在张元济等新点的翰林进院以前，光绪皇帝已经钦派刑部尚书贵恒、都察院左都御史孙家鼐教习新点的翰林院庶吉士。
然而，张元济到翰林院后，家中的坏消息却接踵而来。五月间，母亲来信，张元济点翰林的喜报到乡，家中已不名一文，为打发报喜使者，四弟元瀛外出借钱不幸跌伤了腿，雪上加霜，延至七月十二日，元瀛即病故，年仅 20岁。四弟比张元济小 5岁，自幼不爱习文，敬慕汉代班超的为人，爱听人讲武术、弓箭的故事。有几年张元济亲自教四弟读书，管教极严，稍有松懈，就毫不留情地打手板子。四弟挨板子后不敢告诉母亲，有时悄悄告诉姐姐元淑。元淑出嫁后，便无人可以说。张元济感到这是四弟患病的根源。他自己原本只想“教弟以有成，光大我门闾，显扬我宗祖”，不料却造成今天这样的悲剧结果，自责已为时过晚。10多年来，手足情深，而今顿失，张元济于万分悲痛之中，告假回乡祭奠。
在南归的路上，张元济脑海中反复浮现出四弟的音容笑貌，默默地打着祭文的腹稿，到家后，写下了《祭四弟文》，这是张元济一生中写下的最为哀痛伤感的祭文，全文如下：
维光绪十有八年秋七月，弟丧之十九日，兄济归自京师，谨致祭而成服焉。因述其悲悼之怀曰：嗟夫天地，胡为而生汝哉 ?既生汝不畀汝以年，而又阨以艰难困苦之遇。呜呼！天何酷乎？弟少不得于父，出居姨氏，年十岁遭父丧。家贫，布衣蔬食几不给。婢仆去，炊汲事亦时时任之。读无师，一灯荧然，尝独学焉，如是者几十年。今少舒其困，而天又夺弟以去。呜呼！天何酷乎？弟少余五岁，余幼好弄，难就外傅，暇辄从弟戏，弟亦暱就余。余知弟之可与同乐，而不谓此乐之不可终也。呜呼痛哉！余年十四侍母归于乡，兄弟三人师榴生舅氏。师责余，弟辄为余泣，盖手足之谊，有发乎天性之挚者。呜呼！余何不幸而不能有是弟耶？明年吾父殁，又明年，余学于查师，不获与弟偕。弟亦出就学，睽隔二三里，朝夕不相见，余甚痛父方殁而即弃弟如遗也。冬，吾母偕父丧归自粤，伯兄从余三人聚处者又数年。弟始学于兄，旋不怿，愿就余，余严于兄而弟不怨也。又三年，兄去粤，余益严，弟益惮。读少懈，余辄箠楚焉。入又畏吾母，有所欲悉不敢言，余默窥之，询再四，终不答。时大妹在室，犹稍稍告之。又明年，大妹适冯氏，弟更无可言，而弟之病即在是矣。呜呼！是谁之过欤？夫人未及冠而有童心，宜也，余独何责于弟乎？夫弟受余责而余得教弟以有成，光大我门闾，显扬我宗祖，余犹可自解也。而余已悔之不暇矣，而况其至于此乎？诚早知其如此而又何忍焉？且弟何不才而余责之若此也？余又何能而竟责弟若此也？而弟至死不怨焉。呜呼！余何不幸而不能有是弟耶？弟少有大志，不屑于文字，慕汉班超之为人，有述弓矢拳勇事者，闻之终日无倦容。余不忍遏其志，夫不遏其志诚是也。不惟不范之，而又且纵之，是即所以死弟矣！呜呼！是谁之过欤？前年弟得咯血疾，其始也不敢言，继又作，母奔告于余，余哀之曰：“是足以丧弟之命矣！”而孰料其如此其速也。呜呼痛哉！初弟之未病也，尝与余侍母侧。母指弟而言曰：“是子也，吾不能望其成立。”余闻言牵母衣泣，而弟独谈笑自若，若为弗闻者。呜呼！弟其知命耶？余犹幸母言之不中而不谓其竟效也。呜呼痛哉！余与兄拙于言辞，尤寡断。有相欺侮者，初不觉也，弟辄抗拒之。辩论千言，无少屈，故人多惮焉。吾父之殁至今十一年矣，其中疑难挫折之事不可以偻指计也。余每踌躇，计无出，商诸弟，弟一言而决。己丑冬，母为余娶妇。时余举于乡，以事至省，内外事悉以委弟，弟处之绰绰有余裕焉。自今以往，其御我侮而决我疑，足以代我之劳者，又将谁恃也？呜呼！余何不幸而不能有是弟耶？前年余公车北上，去年又应花农学使聘去粤，皆出北郭而登舟焉。弟送予，予携弟手行，曰：“余兄弟暂别，终当久处也。”呜呼！孰谓其竟不然耶。今年春，余又就礼部试，弟已羸弱不能远行，送余出门外，曰：“兄此去，毋以母为忧，弟当侍膝下不稍离；若家事，更无虑，弟犹能任之也。”回首至再，郑重而别。呜呼！孰谓余与弟竟不相见乎？五月，得吾母书曰：“汝捷音至，家用竭，弟为贷于人，致伤足。”然则斯时病犹未增剧也。六月，得弟病剧书。闰月，尧臣至京，询之，曰已行坐如常矣。余固知弟之病之不起，而不谓其如此其速也。余何不早归而必至今始归耶？余命已如此，余又何功名之足云 ?春，予妇殁，余悼之。时兄未归也，弟亟慰予曰：“兄毋然。兄万一以悲恸伤其身，吾家又谁恃也？”呜呼！弟其自知不久于世耶？余哭妇，弟慰余；今余哭弟，弟能慰余否也？呜呼痛哉！吾不知天之生人，其必畀以逆境，何也？夫生者犹可解，而死者长赍恨以殁矣。呜呼！其余兄弟之命耶？而命又何至如此耶？且吾不知人之既死，其犹有知否也？其有知，余犹克见弟；倘无知，吾与弟终无相见之日矣。呜呼痛哉！呜呼痛哉！
张元济在翰林院研习二年。光绪二十年（1894）春参加散馆考试后，改派刑部任贵州司主事，六品衔。六品衔虽不算太低，但月薪却只有白银数两，待遇菲薄。
光绪二十一年三月十九日（1895年 4月 13日），张元济又完成人生的另一件大事，即与许子宜结婚。许子宜，号宜春，是军机大臣、兵部尚书许庚身的女儿。《张元济年谱》称：
“许（庚身）为壬辰会试朝考评卷官，阅先生卷，极赏之，拟以幼女相许。”著者查阅有关资料，并无许庚身担任该科朝考阅卷大臣的记载，因此笔者怀疑此说可能不确。据笔者估计，张、许联姻可能还有别的途径，但现无任何资料提到这点，暂且存疑。
许庚身（1825 —1894），浙江仁和（今杭州）人，字星叔，又字吉珊。同治朝进士出身，历任鸿胪寺少卿，太常寺卿，礼部侍郎。中法战争起，任军机大臣兼总理各国事务大臣。1888年任兵部尚书。许庚身在清廷枢垣近 30年，为人通达谙练，仕途畅通无阻。许庚身十分赏识这位浙江家乡子弟的文采和见解。后来，他了解到张元济的元配夫人已经去世，就有意将幼女的终身许配于他。从张元济这一方来说，青年丧妻，在刚走上科举仕途之际，能得到军机大臣兼兵部尚书的垂青，自然没有拒绝的道理。于是，许、张两家开始谈婚论娶。不幸的是，许庚身于光绪二十年十二月初二（1894年 1月8日）病故，婚礼只好推迟到第二年举行。结婚仪式完成后，许府把京城西皇城根灵清宫的住宅腾出一部分，供新婚的张元济、许子宜夫妇居住。此前，张元济已将老母从浙江海盐接到了京城，随后，张元济夫妇又将母亲接进了许家官邸，一起居住。
正当张元济踏上仕途，准备大干一番之际，发生了甲午中日战争。这场战争以腐朽的清政府惨败而结束，清政府在战败后屈辱求和，派李鸿章、李经方父子到日本马关，与日本首相伊藤博文、外相陆奥宗光签订了中日《马关条约》，其主要内容是中国割让辽东半岛（后在俄、法、英三国的干涉下，由清政府出2000万两白银赎回）、台湾和澎湖列岛割给日本；中国赔偿日本军费 2亿两白银；中国开放沙市、重庆、苏州、杭州为通商口岸；允许日本在中国通商口岸设立工厂等。
《马关条约》的签订，对中国来说是一次空前未有的大出卖。消息传开后，引起中国各阶层人民的极大愤慨。人们纷纷声讨日本侵略者的罪行，谴责清政府的卖国行径，掀起了一个反对割台赔款的抗议高潮。许多报纸竞相发表文章，反对投降，要求继续抵抗，并发出了“我君可欺，而我民不可欺；我君可玩，而我民不可玩”的呼声。正在北京参加会试的康有为联络来自全国 18省的 1300多名举人联名上书，要求清政府拒和、迁都、变法，以挽救危机。
甲午战争惨败的严酷事实，无情地宣布了以“中学为体、西学为用”为理论指导的洋务运动的彻底失败。中国士大夫阶层中有不少人认识到，单纯的引进西方科学与工艺，不可能使古老的中国走上富国强兵的道路；要使中国富强，就必须从政治制度的改革入手。60年后，张元济回忆说：“甲午中日战争，结果我们被日本打败，大家从睡梦里醒过来，觉得不能不改革了。”
康有为在发动“公车上书”后，在北京组织强学会，同时创办《万国公报》，强学会的成员除了康有为、梁启超外，还有麦孟华、陈炽、沈曾植、沈曾桐、文廷式、汪大燮、徐世昌等人。不久，又在上海成立了强学会及分会，定期讲演，印行书刊，介绍西学，为变法制造舆论，并聚集力量。强学会会长陈炽，书记员梁启超。陈炽时任户部主事，是一名具有维新思想的低级官吏，甲午中日战争前就发表过宣传维新变法的言论，在社会上有一定的影响。强学会每十天集会一次，每次都有人讲“中国自强之学”。康有为在《强学会叙》一文中指出：中国当时的形势犹如“寝于火薪之上”，“俄北瞰，英西晱，法南暽，日东眈，处四强邻之中而为中国，岌岌哉！”
强学会活动的地点一是在北京城南的松筠庵，在今宣武区达智桥胡同内，原是明代因弹劾权奸严嵩而遭杀害的杨继盛的故宅；另一处在今陶然亭公园内的慈悲庵。张元济虽然没有列名为强学会会员，但他与强学会不少会员都有频繁的交往，常常参加他们的集会，议论时政。
在时代潮流的激荡之中，张元济的思想已明显地发生了变化，倾向西学和维新。光绪二十二年七月（1896年 8月），张元济参加总理各国事务衙门章京考试，他以第一名的成绩与唐文治、李审之、汪大燮等同时录取为总理各国事务衙门章京，但到次年 10月才正式到总理各国衙门任职。张元济在写给同乡好友、上海《时务报》发行人汪康年的信中曾经谈及他此番“跳槽”的动机：“凡鸟固不可与伍，而择木亦不可不慎。 ”可见，张元济把刑部的那一班守旧不化的同僚看作是“凡鸟”，自己耻于与他们为伍，他要寻找一个更能发挥自己才干的地方。而总理各国事务衙门则不仅是专门与外国人打交道的外交机关，而且主管铁路、开矿、造船、练兵、学堂等一切新政，这样的机关，对于有志于西学和维新的张元济来说，显然更对口一些。
然而，当张元济进入这个衙门后才发现，这又是一处臃肿低效的封建官僚衙门，光是总理王大臣就有八九位，其中包括大名鼎鼎的恭亲王奕訢和文华殿大学士、直隶总督李鸿章。总理各国事务衙门人员庞杂，管理却毫无章法，显得懒散而又混乱，大小官员办起事来漫不经心，满足于歌舞升平醉生梦死的生活。有一次，德国公使觐见光绪皇帝，竟从文华殿中门进出，总理衙门官员敬子斋想阻止，便拉了一下这位公使的衣袖，这位公使大为不悦，拂袖而去。第二天竟提出抗议，指责总理衙门无礼，总理衙门被迫负荆请罪了事。这事让张元济感叹不已，对帝国主义列强使节在华的横行无礼有了切身的感受，但张元济同时又认为，德国公使固然横行无礼，但负责接待的总理衙门也不能辞其咎，他在写给汪康年的信中说：“德使之事，虽是无礼，然其咎仍当归诸译署（即总理衙门）。盖事前并未送仪注单，田贝为领班，向译署索之，乃仅复以照旧一言，一署数十人不知所办何事也。现诸使并欲于东华门栅栏内下轿，向译署力争，而恭邸（恭亲王奕訢）乃曰：此吾侪下轿之地也，彼辈何能至此？人之待我若此，而我之自待又若此，何夜之长而梦之沈乎？”张元济认为：“今日已为列国之世界，而在朝诸人胸中横梗一统二字，宜其措置之乖也。”
张元济的工作是管理文件。总理衙门有一个大木橱，里面存放着清政府与外国订立的条约，张元济很惊异地发现，这样重要的外交文件竟不注意保管，任何人都可以随便翻阅。还有一次，俄国沙皇尼古拉二世给光绪皇帝的电报，竟在总理事务衙门搁置两天无人过问，张元济学过一点俄文，发现后才请同文馆翻译后得以呈送到光绪皇帝手中。面对这种人浮于事、管理混乱的衙门，张元济不禁感叹：“这样腐败的国家哪能不亡国？”
张元济到任后，拟定了一套管理文件的办法，使重要文件档案得到系统的清理，为此受到上司张荫桓的称赞。
张荫桓（1837 —1900），字樵野，广东南海人。早年纳资为知县，历任道员、按察使。1885年充出使美国、西班牙、秘鲁三国大臣。中日甲午战争失败后，奉命与湖南巡抚邵友濂以全权大臣的身份前往日本议和。骄横的日寇以张、邵二人地位太低“全权不足”为由，对张、邵恣意侮辱一番后，将他们两人赶回中国。1897年，张荫桓又出使英、美、法、德、俄诸国。归国后曾数次上疏，条陈在国外之所见。不久，升任总理衙门大臣、户部左侍郎。他地位虽不是很高，但他是光绪皇帝所信赖的重臣。王照说：“张荫桓蒙眷最隆，虽不入枢府，而朝夕不时得参密笏，权在军机大臣之上。”
张荫桓在总理衙门任职多年，又多次出使国外，见闻较广，对世界潮流有所了解，对维新派寄予同情，是清政府中较为开明的大吏之一。张荫桓对比他年轻30多岁的张元济相当器重；而张元济对这位开明的上司也有很好的评价，认为张荫桓与其他大臣相比，还算是晓事之人，由于彼此都有好感，两人成为忘年之交，关系融洽。时人称年龄、官阶相差很大的张荫桓与张元济为总理衙门的“二张”。经张荫桓引见，张元济又得以结识李鸿章这位晚清的重臣。李鸿章也很器重张元济这位年轻的章京，后来在张元济被“革职”处于最困难的时候，李鸿章及时向他伸出了援手。
光绪二十一年（1895），康有为第三次上书到达光绪皇帝手中，引起光绪的共鸣，光绪皇帝命阁臣将康有为的上书抄录副本三份，一份呈送慈禧太后，一份留乾清宫，一份发各省总督、巡抚、将军议处。年轻的光绪皇帝生逢清朝衰世，又处在慈禧太后的淫威之下，缺乏乾纲独断的大权，但他本质上不是一个无道昏君，而是一个想有所作为的青年明君。他从康有为的上书中受到启发，为了掌握新知识，他亲自用朱笔开列书单，让总理衙门负责进呈。向光绪进呈新书的任务最后落到了张元济头上。这时偌大的京城书肆，充斥的都是经、史、子、集之类传统的国学书籍，有关西方新知识的书籍不多见。张元济只好以自己所藏的书 籍，连同向亲友借来的新书，呈送光绪阅览，每次进呈书籍都要署上“总理各国事务衙门章京臣张元济呈”的字样。张元济前后给光绪送呈了多少书籍，已无法考证。张元济晚年还清楚地记得其中有一部黄遵宪编著的《日本国志》，这是光绪皇帝指名要看的书。这部书是张元济托好友汪康年从上海书肆购到的。因为送书的关系，光绪皇帝牢牢记住了张元济这名章京的名字。张元济后来有幸受到光绪亲自召见，恐怕也与此有关系。