The Bavli (Bava Kamma 60b) states that when a plague is in the city one should stay inside and when a famine is in the city one should leave. However, it is worth noting the words of the Arukh HaShulchan (576:12):
כתבו הגדולים דכשאבעבועות שקורין פקי"ן פורחים בתינוקות ומתים – יש לגזור תענית. וכל אחד מחוייב להרחיק מן העיר בניו ובנותיו הקטנים, ואם לא עשה כן – הרי זה מתחייב בנפשם (מגן אברהם סעיף קטן ג בשם השל"ה). ובגמרא איתא: דבר בעיר – כנס רגליך (בבא קמא ס ב). אך האבעבועות הוי מחלה מתדבקת, ולכן החוב להרחיקם מן העיר.
ועכשיו אין זה מצוי, כי זה כמאה וחמשים שנים המציאו הרופאים להעמיד לכל קטן וקטנה בני שנה או יותר קו"י פאקי"ן, ועל ידי זה נמלטים ממחלה זו כידוע. ועכשיו שכיחי בילדים מחלה שקורין דיפטערי"ט, והוא מין אסכרה שמחניק הגרון. ונראה לי שאם חלילה המחלה מתרבה בעיר – יש לגזור תענית.
The rabbis wrote that when the sores which are called Pocks are spreading among infants and they are dying, one should enact a fast day. And everyone is obligated to distance his young sons and daughters from the city, and if he doesn't do so he is obligated like killing them. And [even though] in the Gemara it says "Sickness in the city -- gather your feet," but these sores are a contagious disease and therefore the obligation is to distance them from the city.
But now this is not common because already for about 150 years the doctors discovered to give each young boy and girl of at least one year Coy Pocks, and because of this they are saved from the disease, as is known. And now it is common among children the disease known as Diptarit, which is a kind of choking disease. And it seems to me that if, God forbid, this disease would become preponderant in the city, one should enact a fast day.
Accordingly, it seems one must follow the best medical advice known at the time and always supplement with supplications to God.