Perhaps it stems from Shir Hashirim Rabbah 7:2:
דָּבָר אַחֵר, מַה יָּפוּ פְעָמַיִךְ בַּנְּעָלִים, בִּשְׁנֵי נְעָלִים, אָמַר רַבִּי חָמָא בְּרַבִּי חֲנִינָא לִשְׁנֵי פְּרַגְמָטִיטִין שֶׁנִּכְנְסוּ לִמְדִינָה, עָנָה אֶחָד מֵהֶם וְאָמַר לַחֲבֵרוֹ אִם פּוֹתְחִין אָנוּ שְׁנֵינוּ כְּאֶחָד בַּמְּדִינָה, אָנוּ עוֹשִׂין אַפְרַגְיֵיס בַּמְּדִינָה, אֶלָּא פְּתַח אַתָּה שַׁבַּתְּךָ וַאֲנִי שַׁבַּתִּי. רַבִּי חֲנַנְיָא בְּרֵיהּ דְּרַבִּי אַיְּבִי אָמַר מַה יָּפוּ פְעָמַיִךְ בַּנַּעַל, אֵין כְּתִיב כָּאן, אֶלָּא בַּנְּעָלִים, שְׁתֵּי נְעָלִים, נְעִילָה בְּפֶסַח וּנְעִילָה בֶּחָג, אָמַר לָהֶם הַקָּדוֹשׁ בָּרוּךְ הוּא לְיִשְׂרָאֵל, אַתֶּם נוֹעֲלִים לְפָנַי בַּחַג וַאֲנִי נוֹעֵל לִפְנֵיכֶם בַּפֶּסַח. אַתֶּם נוֹעֲלִים לְפָנַי בַּחַג, וַאֲנִי פּוֹתֵחַ וּמַשִּׁיב רוּחוֹת וּמַעֲלֶה עֲנָנִים וּמוֹרִיד גְּשָׁמִים וּמַזְרִיחַ חַמָּה וּמְגַדֵּל צְמָחִים וּמְדַשֵּׁן פֵּרוֹת וְעוֹרֵךְ שֻׁלְחָן לִפְנֵי כָל אֶחָד וְאֶחָד צְרָכָיו, וּלְכָל גְּוִיָּה וּגְוִיָּה כְּדֵי מַחְסוֹרָהּ, וַאֲנִי נוֹעֵל לִפְנֵיכֶם בְּפֶסַח, וְאַתֶּם יוֹצְאִים וְקוֹצְרִים וְדָשִׁין וְזוֹרִים וְעוֹשִׂים כָּל צָרְכֵיכֶם בַּשָֹּׂדֶה וּמוֹצְאִין אוֹתָהּ מְלֵאָה בְּרָכוֹת. אָמַר רַבִּי יְהוֹשֻׁעַ בֶּן לֵוִי רְאוּיָה הָיְתָה הָעֲצֶרֶת שֶׁל חַג שֶׁתְּהֵא רְחוֹקָה חֲמִשִּׁים יוֹם כְּנֶגֶד הָעֲצֶרֶת שֶׁל פֶּסַח, אֶלָּא עֲצֶרֶת שֶׁל חַג עַל יְדֵי שֶׁהֵן יוֹצְאִים מִן הַקַּיִץ לַחֹרֶף לֵית בְּיוֹמַיְהוּ דְּיֵיזְלוּן וְיֵיתוּן, מָשָׁל לְמָה הַדָּבָר דּוֹמֶה לְמֶלֶךְ שֶׁהָיוּ לוֹ בָּנוֹת הַרְבֵּה, מֵהֶן נְשׂוּאוֹת בְּמָקוֹם קָרוֹב, וּמֵהֶן נְשׂוּאוֹת לְמָקוֹם רָחוֹק, יוֹם אֶחָד בָּאוּ כֻּלָּם לִשְׁאֹל שְׁלוֹם הַמֶּלֶךְ אֲבִיהֶם, אָמַר הַמֶּלֶךְ אֵלּוּ שֶׁנְּשׂוּאוֹת בְּמָקוֹם קָרוֹב אִית בְּעוֹנָתָהּ לְמֵיזַל וּלְמֵיתֵי, וְאִלֵּין שֶׁנְּשׂוּאוֹת בְּמָקוֹם רָחוֹק לֵית בְּעוֹנָתָהּ לֵיזֵיל וּלְמֵיתֵי, אֶלָּא עַד דְּאִינוּן כֻּלְּהוֹן אֶצְלִי הָכָא נַעֲבֵד כֻּלָּן חַד יוֹם טַב וְנֶחְדֵּי עִמָּן. כָּךְ עֲצֶרֶת שֶׁל פֶּסַח עַד דְּאִינוּן נָפְקִין מֵהַחֹרֶף לַקַּיִץ אָמַר הַקָּדוֹשׁ בָּרוּךְ הוּא אִית בְּיוֹמָא לְמֵיזַל וּלְמֵיתֵי, אֲבָל עֲצֶרֶת שֶׁל חַג עַל יְדֵי שֶׁהֵן יוֹצְאִין מֵהַקַּיִץ לַחֹרֶף, וַאֲבַק דְּרָכִים קָשֶׁה, וְיָדוֹת דְּרָכִים קָשׁוֹת, לְפִיכָךְ אֵינָהּ רְחוֹקָה חֲמִשִּׁים יוֹם, אָמַר הַקָּדוֹשׁ בָּרוּךְ הוּא לֵית בְּיוֹמַיָא לְמֵיזַל וּלְמֵיתֵי, אֶלָּא עַד דְּאִינוּן הָכָא נַעֲבֵד כֻּלָּן חַד יוֹם טַב וְנֶחְדֵּי, לְכָךְ משֶׁה מַזְהִיר לְיִשְׂרָאֵל וְאוֹמֵר לָהֶם (במדבר כט, לה): בַּיּוֹם הַשְּׁמִינִי עֲצֶרֶת תִּהְיֶה לָכֶם, הֱוֵי אוֹמֵר: מַה יָּפוּ פְעָמַיִךְ בַּנְּעָלִים.