Indeed, some rabbinic travelers identified the tower:
R. Benjamin of Tudela
ומשם ארבעה מילין למגדל שבנו דור הפלגה והוא בנוי מלבנים הנקראים אגור ואורך יסודו כשני מילין וברחבו כארבעי' אמה וארכו כמו מאתים אמה ובין עשרה עשרה אמות דרכים ובהם שם עולים בעיגול מסבבין עד למעלה ורואין ממנו מהלך עשרים מילין כי הארץ מישור ובתוכו נפלה אש מן השמים ובקעה אותו עד התהום
[From Hillah, which is five parsangs from Babylon] it is four miles to the Tower of Babel, which the generation whose language was confounded built of the bricks called Agur. The length of its foundation is about two miles, the breadth of the tower is about forty cubits, and the length thereof two hundred cubits. At every ten cubits' distance there are slopes which go round the tower by which one can ascend to the top. One can see from there a view twenty miles in extent, as the land is level. There fell fire from heaven into the midst of the tower which split it to its very depths.
(Adler translation)
R. Petachia of Ratisbon
וכשהלך רבי פתחיה על קבר יחזקאל ראה מגדל של דור הפלגה וכלו נפל והוא הר גבוה (מאד) תל עולם והעיר לפניו הרבה
When Rabbi Petachia visited the grave of Ezekiel he saw the tower of the generation of the dispersed; it is fallen in, forming a high mountain, a mound for ever.
(Benisch translation p. 49)