Update stopwords_ukr.js

Manually selected top frequency pronounces, conjunctions, adpositions, grammatical particles and adverbs from Ukrainian corpus and added them to stopwords_ukr.js . Also moved some stopwords from the end of the to their alphabetical position: now whole list is more or less in alphabetical order (first letter for sure, second letter I think is also fine, but I did not check all existing words and did not use automatic sorting to minimize the changes)
fergiemcdowall · Dec 3, 2024 · 13dda6f · 13dda6f
1 parent ff60f73
commit 13dda6f
Show file tree

Hide file tree

Showing 3 changed files with 87 additions and 8 deletions.
diff --git a/src/stopwords_ukr.js b/src/stopwords_ukr.js
@@ -21,22 +21,30 @@ OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
 SOFTWARE. */
 
 const ukr = [
+  'а',
   'авжеж',
   'адже',
+  'аж',
   'але',
+  'ані',
   'б',
   'без',
+  'би',
+  'бо',
   'був',
   'була',
   'були',
   'було',
   'бути',
   'більш',
+  'в',
   'вам',
   'вас',
   'весь',
+  'вже',
   'вздовж',
   'ви',
+  'від',
   'вниз',
   'внизу',
   'вона',
@@ -51,48 +59,121 @@ const ukr = [
   'давай',
   'давати',
   'де',
+  'десь',
   'дещо',
   'для',
   'до',
+  'є',
+  'ж',
+  'же',
   'з',
+  'за',
   'завжди',
   'замість',
+  'і',
+  'із',
+  'інших',
+  'її',
+  'їй',
+  'їм',
+  'їх',
   'й',
+  'його',
+  'йому',
   'коли',
   'ледве',
+  'лиш',
   'майже',
+  'мене',
+  'мені',
   'ми',
+  'між',
+  'мій',
+  'мною',
+  'мов',
+  'моєї',
+  'моє',
+  'може',
+  'мої',
+  'моїх',
+  'моя',
+  'на',
+  'над',
   'навколо',
   'навіть',
   'нам',
+  'нами',
+  'нас',
+  'наче',
+  'наш',
+  'не',
+  'неї',
+  'нема',
+  'немов',
+  'неначе',
+  'нею',
+  'ним',
+  'ними',
+  'них',
+  'ні',
+  'ніби',
+  'ніщо',
+  'нього',
+  'о',
+  'ось',
   'от',
   'отже',
   'отож',
+  'під',
+  'по',
   'поза',
   'про',
   'під',
+  'сам',
+  'свій',
+  'свої',
+  'своя',
+  'свою',
+  'себе',
+  'собі',
   'та',
+  'там',
   'так',
   'такий',
   'також',
+  'твій',
+  'твої',
+  'твоя',
   'те',
+  'тебе',
   'ти',
+  'ті',
+  'тільки',
+  'то',
+  'тобою',
   'тобто',
+  'тоді',
   'тож',
+  'той',
   'тощо',
+  'тут',
+  'у',
+  'хіба',
+  'хоч',
   'хоча',
   'це',
   'цей',
+  'ці',
+  'ця',
   'чи',
   'чого',
+  'ще',
   'що',
+  'щоб',
+  'щось',
+  'я',
   'як',
   'який',
   'якої',
-  'є',
-  'із',
-  'інших',
-  'їх',
-  'її'
 ]
 export { ukr }
diff --git a/test/test.cjs.js b/test/test.cjs.js
@@ -2397,7 +2397,6 @@ test('remove ukrainian stopwords', t => {
     'росія',
     'відкрито',
     'напала',
-    'на',
     'україну',
     'військова',
     'кампанія',
@@ -2423,7 +2422,6 @@ test('remove ukrainian stopwords', t => {
     'неприховане',
     'перекидання',
     'військ',
-    'на',
     'окуповані',
     'території',
     'донбасу'

diff --git a/test/test.esm.mjs b/test/test.esm.mjs
@@ -507,7 +507,7 @@ test('remove ukrainian stopwords', (t) => {
   t.plan(1)
   const oldString = '24 лютого 2022 року Росія відкрито напала на Україну. Військова кампанія почалася після тривалого військового нарощування, визнання Росією терористичних квазідержав «ДНР» та «ЛНР» як державних утворень 21 лютого. Практично одночасно ЗС РФ почали неприховане перекидання військ на окуповані території Донбасу.'
   const newString = removeStopwords(extract(oldString, { regex: [words], toLowercase: true }), ukr)
-  t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'на', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'на', 'окуповані', 'території', 'донбасу'])
+  t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'окуповані', 'території', 'донбасу'])
 })
 
 test('remove lithuanian stopwords', (t) => {