全部德式装备的中国士兵——头盔， 防毒面具和毛瑟手枪在1930年代后期的德国政界中，老牌政治人物如国防部长勃洛姆堡和外交部长牛赖特多采取亲华态度，而新进纳粹党高官如里宾特洛甫，则采取亲日态度。在德国政府内部亲华与亲日两大阵营的交锋中，亲日派的地位逐渐上升。1936年11月25日，德国与日本签订了《反共产国际协定》，该协定还附有一份补充议定书和一份秘密协定，规定两国结成共同反对苏联的军事同盟。日本从此取代中国，成为德国在远东最重要的合作伙伴。
德日签署防共协定后，蒋介石对德日合作的前景感到担忧，并担心日本据此干涉中国的“剿共”战争，于是在1936年12月1日令驻德大使程天放拜访德国国防部和外交部，向其转达国民政府对德日协定的疑虑。德方官员对程天放表示，德国政府非常了解中国的处境，以及蒋介石的坚定反共立场，因此在与日本缔约当初就已屡次声明，德国对中国毫无恶意，在将来也绝对不会让日本把《反共产国际协定》当作压迫中国的工具[23]。
1937年6月9日，参加英国国王乔治六世加冕典礼后归国的中国财政部长孔祥熙顺道访问了柏林，同沙赫特、戈林、勃洛姆堡、马肯森（外交部副部长）举行了会晤，商讨中德易货贸易问题和德日同盟问题。6月13日，希特勒会见孔祥熙，表示德国和中国的贸易将使两国互惠双赢，德国在远东既没有政治目的，也没有领土意图，唯一的想法就是做生意。希特勒还希望中国和日本友好合作，不要发生问题。6月18日，日本驻德大使武者小路公共拜访马肯森，询问孔祥熙此行有没有提到军火输送问题，马肯森表示否定。7月7日，中日战争爆发。
这场战争极大地损害了1927～1937年间一直处于密切合作中的中德两国关系。希特勒的亚洲政策是毁掉中德合作关系的主要原因。由于日本军事实力的优势，希特勒选择日本作为其对抗苏联的战友。[24] 尽管中国政府官员和德国投资者在不断的游说纳粹政府，但希特勒一意孤行。他虽然同意合步楼公司将中国已订购的货物运往中国，但禁止任何人从中国进口货物。另外，中苏两国于1937年8月21日签订的中苏互不侵犯条约和希特勒的战略完全相背。
中日战争爆发初期，德国外交部希望采取完全中立的立场，既不得罪日本，也不疏远中国。虽然武者小路公共要求德国采取对华军火禁运措施，但在1937年7月仍有7艘德国商船离开汉堡前往上海，向中国运去大批军用物资，另有3艘商船准备起航。为稳住日本政府，德国外交部在7月25日谎称已对中国实施军火禁运，德国驻日武官奥特同时指责日本在华北的行动严重影响了德中经济关系[25] 。
中国方面，在1937年7月21日至1937年7月28日的一周内，蒋介石先后会见了英国驻华大使许阁森、美国大使詹森、德国大使陶德曼、意大利大使柯莱、苏联大使波格莫洛夫和法国大使那齐雅等人，要求各国出面调停中日战争。但日方态度强硬，宣布不欢迎任何第三国的调停。1937年7月26日，陶德曼对蒋介石表示，虽然德国愿意调停，但日本已声明不愿第三国干涉，因此调停不会收到成效。蒋介石指出，中日战争的继续发展必将导致中国在中苏关系上发生转变，以此来要挟德国出面调停。
这一谈话传回柏林后，德国政府不得不慎重考虑苏联插手的问题。1937年7月28日，希特勒指示狄克逊，要求他设法通过外交途径阻止日本把中日冲突升级为战争。由于害怕苏联恢复对华影响，德国的对日态度逐渐变得生硬。德国外交部要求狄克逊向日本政府表明，日本企图利用反共产国际协定来为其进犯中国找一个体面的借口是不合适的。德国认为“日本（对中国的）进犯违背反共产国际协定精神，妨碍中国稳定，促使共产主义在中国蔓延，并最终使中国投入苏联的怀抱”。同时表示拒绝终止对华军火输出，拒绝召回在华军事顾问。
淞沪会战中的国民党军队，其头盔与枪枝皆为德军制式。1937年8月13日，日本军队进攻上海，淞沪会战爆发。日本本企图速战速决，在击败中国军队后强迫对方订立城下之盟。但是日军在淞沪战役中直接面对中国最精锐的部队，即德械师和德训师，因此在战事中失利，迟迟不能攻占南京。
淞沪会战的爆发使德国认识到中日战争不可能只是华北的局部冲突，而将是一场长期的战争，因此在对日立场上有所改变，在新闻报导中对日本采取偏袒态度。8月21日《中苏互不侵犯条约》的签订尤其使德国震惊，冲击了德国外交部中对中日战争采取中立态度的传统派势力。
1937年10月中旬，戈林和里宾特洛甫要求德国国防部终止向中国供应军火，并要求外交部采取鲜明的亲日立场。这一要求引起了国防部和外交部的强烈不满。德国一旦调整其东亚政策，就将在中国失去许多重要的经济利益，而日本方面却不能保证德国在华贸易的优势。在这样的考虑下，戈林又改变了立场，指示德国供应商可以继续向中国提供军火，但需由丹麦货船运送，并通过新加坡的一家英国公司中转。
1937年9月以后，中日战争的形势已经明朗化，这场战争不可能是一场短期的冲突，而必将成为一场长期的、耗费巨大的战争。经过多次反复，德国在中日战争的立场问题上逐渐采取了现实主义的态度。一方面，纳粹党中的亲日派不希望日本的实力消耗在中国战场上；另一方面，德国军政界和工业界的保守派势力也不希望日本完全占领中国、垄断中国市场和战略原料。因此德国在1937年10月初表示，希望中日双方通过谈判尽快停战。此时日本也出台了《处理支那事变纲要》，表示愿意促使中国重新考虑中日关系问题，结束事变，恢复邦交。在这种情况下，德国驻华大使陶德曼展开了调停工作。
1937年11月2日，德国驻日大使狄克逊致电陶德曼，转达了日本外务省提出的七项和平条件：一、内蒙古自治；二、在华北建立一个沿满洲国国境线的非军事区；三、扩大上海的非武装地带，由日本控制公共租界的巡捕队；四、停止抗日政策；五、共同反对共产主义；六、降低对日关税；七、尊重外国权益。1937年11月4日，陶德曼将日方条件转达给蒋介石。蒋表示，只要日本不恢复到七七事变以前的原状，他就不会接受日本的任何条件。
1937年12月13日，南京沦陷，次日日本在北平成立了“中华民国临时政府”，即“华北临时政府”。由于取得了攻克南京的战果，日本国内主战派势力抬头，1937年12月20日，日本政府与大本营召开联络会议，修改了原来的条件，提出了四项更苛刻的和平条件，包括“日满华合作”（即承认满洲国）和“向日本作必要的赔偿”。
虽然德国希望充当调解人促成中日和平，但南京的失守让日本军部的主战势力变得强大，日本政府已彻底丧失对军方的控制力量，中日之间已不存在任何媾和的可能。德国先前的努力也化作了泡影。1937年12月28日，国民政府召开非正式会议，讨论日本的第二次和平条件，最后一致认为中国无法接受如此屈辱的条款。当日，蒋介石通知陶德曼，中国拒绝接受日本的条件。
1938年1月14日，日本内阁会议达成了“不以国民政府为谈判对手”的一致意见，并在1月17日下午发表了《对华政策声明》，即第一次近卫声明，彻底终结了中日媾和的一切可能。陶德曼调停以失败告终。
调停失败后，德国决定改变对华政策。1938年初，德国政府进行了一系列改组，国防部长勃洛姆堡和外交部长牛赖特均被撤换，亲日的里宾特洛甫上台。此后德国采取了一系列措施，来解决德日关系中的几大障碍——承认满洲国问题、在华军事顾问问题和军火出口问题。1938年2月21日，德国承认满洲国为独立的国家。同年3月3日，德国决定在中日战争结束前不再接收中国军事学员，并遣散现有的中国在德军事学员。4月22日，陶德曼通知在华的德国军事顾问返回德国。
在日本的坚持下，德国政府于1938年5月3日下令禁止一切战争物资发往中国。中国向德国订购的2艘IIB型潜艇、8艘大型鱼雷快艇和“戚继光”号鱼雷艇供应舰也遭扣押。滞留在德国的中国军事订货总额达2.82亿帝国马克。德国国防部认为，这对德国的军火工业是一个致命的打击。
1938年6月24日，里宾特洛甫命令陶德曼大使立即回国。他在6月25日向蒋介石辞行，于26日从汉口乘飞机前往香港，从那里返回德国。此后德国在中国只保持了代办级的外交官员（中国则仍保留驻德大使），直至1941年中德宣战。
此外，里宾特洛甫还通知在华的德国军事顾问，如有不遵元首指令、拒绝回国者，则被视为公然叛国，将遭受取消国籍及没收财产之处分。在这种最后通牒下，国民政府只得同意无条件放回德国军事顾问。冯·法肯豪森将军在启程回国之际，曾向蒋介石允诺绝不会向日本人透露任何他在中国期间的工作内容。7月5日，德国军事顾问乘坐中国政府安排的专车离开汉口，经香港回国。
