diff --git a/src/stopwords_ukr.js b/src/stopwords_ukr.js index e5e6dfe..f9f13bc 100644 --- a/src/stopwords_ukr.js +++ b/src/stopwords_ukr.js @@ -21,22 +21,30 @@ OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. */ const ukr = [ + 'а', 'авжеж', 'адже', + 'аж', 'але', + 'ані', 'б', 'без', + 'би', + 'бо', 'був', 'була', 'були', 'було', 'бути', 'більш', + 'в', 'вам', 'вас', 'весь', + 'вже', 'вздовж', 'ви', + 'від', 'вниз', 'внизу', 'вона', @@ -51,48 +59,121 @@ const ukr = [ 'давай', 'давати', 'де', + 'десь', 'дещо', 'для', 'до', + 'є', + 'ж', + 'же', 'з', + 'за', 'завжди', 'замість', + 'і', + 'із', + 'інших', + 'її', + 'їй', + 'їм', + 'їх', 'й', + 'його', + 'йому', 'коли', 'ледве', + 'лиш', 'майже', + 'мене', + 'мені', 'ми', + 'між', + 'мій', + 'мною', + 'мов', + 'моєї', + 'моє', + 'може', + 'мої', + 'моїх', + 'моя', + 'на', + 'над', 'навколо', 'навіть', 'нам', + 'нами', + 'нас', + 'наче', + 'наш', + 'не', + 'неї', + 'нема', + 'немов', + 'неначе', + 'нею', + 'ним', + 'ними', + 'них', + 'ні', + 'ніби', + 'ніщо', + 'нього', + 'о', + 'ось', 'от', 'отже', 'отож', + 'під', + 'по', 'поза', 'про', 'під', + 'сам', + 'свій', + 'свої', + 'своя', + 'свою', + 'себе', + 'собі', 'та', + 'там', 'так', 'такий', 'також', + 'твій', + 'твої', + 'твоя', 'те', + 'тебе', 'ти', + 'ті', + 'тільки', + 'то', + 'тобою', 'тобто', + 'тоді', 'тож', + 'той', 'тощо', + 'тут', + 'у', + 'хіба', + 'хоч', 'хоча', 'це', 'цей', + 'ці', + 'ця', 'чи', 'чого', + 'ще', 'що', + 'щоб', + 'щось', + 'я', 'як', 'який', 'якої', - 'є', - 'із', - 'інших', - 'їх', - 'її' ] export { ukr } diff --git a/test/test.cjs.js b/test/test.cjs.js index aeef56e..dc4bbfc 100644 --- a/test/test.cjs.js +++ b/test/test.cjs.js @@ -2397,7 +2397,6 @@ test('remove ukrainian stopwords', t => { 'росія', 'відкрито', 'напала', - 'на', 'україну', 'військова', 'кампанія', @@ -2423,7 +2422,6 @@ test('remove ukrainian stopwords', t => { 'неприховане', 'перекидання', 'військ', - 'на', 'окуповані', 'території', 'донбасу' diff --git a/test/test.esm.mjs b/test/test.esm.mjs index de7ab1c..a973215 100644 --- a/test/test.esm.mjs +++ b/test/test.esm.mjs @@ -507,7 +507,7 @@ test('remove ukrainian stopwords', (t) => { t.plan(1) const oldString = '24 лютого 2022 року Росія відкрито напала на Україну. Військова кампанія почалася після тривалого військового нарощування, визнання Росією терористичних квазідержав «ДНР» та «ЛНР» як державних утворень 21 лютого. Практично одночасно ЗС РФ почали неприховане перекидання військ на окуповані території Донбасу.' const newString = removeStopwords(extract(oldString, { regex: [words], toLowercase: true }), ukr) - t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'на', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'на', 'окуповані', 'території', 'донбасу']) + t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'окуповані', 'території', 'донбасу']) }) test('remove lithuanian stopwords', (t) => {