I think it means that they cried because they saw that the building was going to be smaller than the Temple that Shlomo HaMelech built, which is something that you can see from the size of the foundation.
See Rashi, 3:12 sv זה הבית:
כשהיו רואין בניין בית זה היו בוכין מתוך שהיו זוכרים אותו בניין גדול
של בית ראשון
When they saw the construction of this (Second) Temple they cried,
because they recalled the large building of the First Temple.
They may have been tipped off to the smaller size of the building due to the size of the stones that they saw being used. See Ralbag (3:12 sv ביסדו):
ביסדו זה הבית בעיניהם בוכים בקול גדול: ידמה שהיסוד הזה לא היה נעשה מאבנים גדולות כל כך כמו שהיה בבנין
שלמה שהיו בשעור עשר אמות או שמנה אמות וזה כי לולא זה הנה לא היה הבדל
בין יסוד זה הבית ליסוד הבית הראשון כי שיעור ההיכל היה מסכים לשיעורו
הראשון
It would appear that this foundation was not made with as large
stones as Solomon's Temple (the First Temple) was made; those were
built with stones that were 10 or 8 amos (cubits) in size. If not
for this, there would not have been any difference between the
foundation of this (Second) Temple to that of the First, because the
size of the Heichal (in the Second Temple) was the same as that of
the First.
( all translations are mine )