The Ramban (Vayikra 27:29) describes the behavior of Yaveish Gilead as a transgression of the commandment to follow the leaders of Israel:
ומצינו אנשי יבש גלעד שעברו על שבועת הקהל ולא באו אל המצפה וכתיב (שופטים כא י) וישלחו שם העדה שנים עשר אלף איש מבני החיל ויצוו אותם לאמר לכו והכיתם את יושבי יבש גלעד לפי חרב ואין הסברא נותנת שעשו כל העדה רעה כזאת להמית אנשים רבים מישראל שאינם חייבים מיתה ופנחס היה שם ועל פיו נעשה כל הענין ההוא ועוד מצאתי באגדה בילמדנו תניא רבי עקיבא אומר החרם הוא השבועה והשבועה הוא החרם אנשי יבש עברו על החרם ונתחייבו מיתה ולכך אני אומר כי מן הכתוב הזה יצא להם הדין הזה שכל מלך בישראל או סנהדרי גדולה במעמד כל ישראל שיש להם רשות במשפטים אם יחרימו על עיר להלחם עליה וכן אם יחרימו על דבר העובר עליו חייב מיתה והוא חיובן של אנשי יבש גלעד
Thus we find in the case of the men of Jabesh-gilead who transgressed the oath of the assembly by not coming to Mitzpah [to take part in the battle against Gibeah for the outrage they had committed], that it is written, And the congregation sent thither ten thousand men of the valiantest, and commanded them saying: ‘Go and smite the inhabitants with the edge of the sword’. And common sense does not allow [us to say] that the whole congregation perpetrated such an evil deed, killing many people of Israel who were not guilty of death! And Phinehas was there, and by word of his mouth the whole affair was done! I have further found in the Agadah, in the [Midrash] Yelamdeinu: “We have been taught: Rabbi Akiba says, Cheirem (‘doomed to destruction’) is an oath, and an oath is cheirem. The men of Jabesh transgressed the cheirem, and thus they became liable to the death penalty.”Therefore I say that it was from this verse [before us] that they deduced this law — that if any king of Israel, or the Great Sanhedrin [of seventy-one judges] in the presence of all Israel, who have the authority to institute ordinances [for the good of the people], if they declare a certain city cheirem, to be warred on, and likewise if they declare a certain matter cheirem, he who violates it is liable to the death-penalty. This indeed was the guilt of the men of Jabesh-gilead.
The Ibn Ezra takes a different approach, placing it under the prohibition of taking G-d’s name in vain. In Shemos 20:7 he writes:
והנה ראינו בעבור שנשבעו בנ"י ברבים על דבר פלגש בגבעה. ושם היה פינחם הכהן. ומצאנו שנהרגו העוברים על השבועה. וכן אנשי יבש גלעד. אנשים ונשים וטף. וכן לא יעשה אפילו במחללי שבת…
Now Scripture tells us that Israel publicly took an oath because of the incident involving the concubine at Gibeah. We find that those who violated the oath were put to death. It should be noted that Phineas the priest was there. Similarly with the people of Jabesh-gilead, men, women, and children. Even those who desecrate the Sabbath are not dealt with in this manner.
He goes on to explain why the sin of swearing falsely is more severe than other sins.