W Konferencji Biskupów Austriackich bp Weber był referentem ds. młodzieży, a następnie kierował komisją „Kościół i społeczeństwo”. Funkcję przewodniczącego episkopatu objął w maju 1995 r. w trudnym czasie dla Kościoła Austrii. Zrezygnował bowiem dotychczasowy przewodniczący, kard. Hans Hermann Groër po tym, jak dwa miesiące wcześniej ujawniono, że jako wychowawca w seminarium wykorzystywał seksualnie kleryka. Informacja ta wywołała kryzys w Kościele katolickim w Austrii. Ponad pół miliona osób podpisało się pod „ankietą Ludu Bożego”. W reakcji na to bp Weber powołał platformę „dialogu dla Austrii”, której zwieńczeniem było zgromadzenie delegatów tej inicjatywy oraz przedstawicieli Kościoła w październiku 1998 r. w Salzburgu. Wprawdzie nie rozwiązało to całkowicie głębokich podziałów wywołanych „sprawą Groëra”, ale z pewnością znacznie je zmniejszyło, a to dzięki autorytetowi, jakim cieszył się bp Weber.

„To było szczęściem dla Kościoła w Austrii, że w trudnym czasie 1995 r. bp Weber stał na czele episkopatu”, wspominał swego zmarłego poprzednika obecny przewodniczący Konferencji Biskupów Austrii kard. Christoph Schönborn. Podkreślił, że w bolesnych dla wspólnoty Kościoła latach tamtego okresu bp Weber sprawdził się jako „biskup mądry, taktowny, szukający porozumienia, a jednocześnie zaangażowany i odważny”.

Także prezydent Austrii Alexander Van der Bellen podkreślił zasługi bp. Webera dla Kościoła katolickiego w kraju. „Wraz ze śmiercią emerytowanego biskupa Grazu Kościół traci człowieka wielkich zasług, skromności i bliskiego kontaktu z ludźmi”, stwierdził prezydent Austrii. Przypomniał, że niewątpliwie punktem kulminacyjnym jego posługi była wizyta papieża Jana Pawła II w leżącym w diecezji Graz sanktuarium maryjnym Mariazell w 1983 r. oraz objęcie przewodnictwa w Konferencji Episkopatu Austrii w trudnym okresie dla Kościoła i kraju.

Johann Weber urodził się 26 kwietnia 1927 r. w Grazu, stolicy austriackiej Styrii. Tam także uczęszczał do szkoły oraz tzw. małego seminarium diecezjalnego, zamkniętego w 1938 r. po zajęciu Austrii przez niemieckich nazistów. Po służbie wojskowej w czasie drugiej wojny światowej Weber rozpoczął studia teologiczne na uniwersytecie w Grazu. Święcenia kapłańskie przyjął 2 lipca 1950 r. Od 1956 r. przez sześć lat był duszpasterzem młodzieży pracującej, od 1962 r. – proboszczem parafii św. Andrzeja w Grazu, gdzie rozwijał szereg inicjatyw socjalnych. 10 czerwca 1969 r. papież Paweł VI mianował ks. Webera biskupem diecezji Graz-Seckau. Sakrę biskupią otrzymał 28 września 1969 r. w katedrze w Grazu.

W duchu Soboru Watykańskiego II bp Weber był przekonany, że dialog jest istotną cechą wiary chrześcijańskiej i starał się wprowadzać w życie tę zasadę życia Kościoła. Był on inicjatorem wielu ważnych wydarzeń dla życia Kościoła w Austrii, poczynając od Synodu Krajowego w latach 1973-74, przez Katholikentag – zjazd katolików w 1981 r. w Grazu, „Pielgrzymkę różnorodności” w 1966 r., Drugie Europejskie Zgromadzenie Ekumeniczne w 1997 r. w Grazu, po „Dialog dla Austrii” w 1983 r.