The Gemara in Bava Kamma 91b discusses this:
אמר רב דיקלא דטען קבא אסור למקצציה מיתיבי כמה יהא בזית ולא יקצצו רובע שאני זיתים דחשיבי א"ר חנינא לא שכיב שיבחת ברי אלא דקץ תאינתא בלא זמנה אמר רבינא ואם היה מעולה בדמים מותר תניא נמי הכי (דברים כ, כ) רק עץ אשר תדע זה אילן מאכל כי לא עץ מאכל הוא זה אילן סרק וכי מאחר שסופו לרבות כל דבר מה ת"ל כי לא עץ מאכל להקדים סרק למאכל יכול אפילו מעולה בדמים ת"ל רק
The Gemara discusses a certain amount of fruit that the tree must produce in order to prohibit its being cut down. The Gemara concludes that a tree which is worth more as wood (for building) than the fruit it produces is not prohibited to cut down. This is understood to mean that you can only not cut down a fruit tree when it is wasteful (Rambam Melachim 6:8). Therefore, if it is not a waste, as in this case where it is costing more for its upkeep than it is worth, it would not be prohibited (Rambam ibid halacha 9).