Merge pull request #329 from imposeren/patch-1

Update stopwords_ukr.js
fergiemcdowall · Dec 3, 2024 · a6d8fac · a6d8fac
2 parents ff60f73 + 13dda6f
commit a6d8fac
Show file tree

Hide file tree

Showing 3 changed files with 87 additions and 8 deletions.
diff --git a/src/stopwords_ukr.js b/src/stopwords_ukr.js
@@ -21,22 +21,30 @@ OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
 SOFTWARE. */
 
 const ukr = [
+  'а',
   'авжеж',
   'адже',
+  'аж',
   'але',
+  'ані',
   'б',
   'без',
+  'би',
+  'бо',
   'був',
   'була',
   'були',
   'було',
   'бути',
   'більш',
+  'в',
   'вам',
   'вас',
   'весь',
+  'вже',
   'вздовж',
   'ви',
+  'від',
   'вниз',
   'внизу',
   'вона',
@@ -51,48 +59,121 @@ const ukr = [
   'давай',
   'давати',
   'де',
+  'десь',
   'дещо',
   'для',
   'до',
+  'є',
+  'ж',
+  'же',
   'з',
+  'за',
   'завжди',
   'замість',
+  'і',
+  'із',
+  'інших',
+  'її',
+  'їй',
+  'їм',
+  'їх',
   'й',
+  'його',
+  'йому',
   'коли',
   'ледве',
+  'лиш',
   'майже',
+  'мене',
+  'мені',
   'ми',
+  'між',
+  'мій',
+  'мною',
+  'мов',
+  'моєї',
+  'моє',
+  'може',
+  'мої',
+  'моїх',
+  'моя',
+  'на',
+  'над',
   'навколо',
   'навіть',
   'нам',
+  'нами',
+  'нас',
+  'наче',
+  'наш',
+  'не',
+  'неї',
+  'нема',
+  'немов',
+  'неначе',
+  'нею',
+  'ним',
+  'ними',
+  'них',
+  'ні',
+  'ніби',
+  'ніщо',
+  'нього',
+  'о',
+  'ось',
   'от',
   'отже',
   'отож',
+  'під',
+  'по',
   'поза',
   'про',
   'під',
+  'сам',
+  'свій',
+  'свої',
+  'своя',
+  'свою',
+  'себе',
+  'собі',
   'та',
+  'там',
   'так',
   'такий',
   'також',
+  'твій',
+  'твої',
+  'твоя',
   'те',
+  'тебе',
   'ти',
+  'ті',
+  'тільки',
+  'то',
+  'тобою',
   'тобто',
+  'тоді',
   'тож',
+  'той',
   'тощо',
+  'тут',
+  'у',
+  'хіба',
+  'хоч',
   'хоча',
   'це',
   'цей',
+  'ці',
+  'ця',
   'чи',
   'чого',
+  'ще',
   'що',
+  'щоб',
+  'щось',
+  'я',
   'як',
   'який',
   'якої',
-  'є',
-  'із',
-  'інших',
-  'їх',
-  'її'
 ]
 export { ukr }
diff --git a/test/test.cjs.js b/test/test.cjs.js
@@ -2397,7 +2397,6 @@ test('remove ukrainian stopwords', t => {
     'росія',
     'відкрито',
     'напала',
-    'на',
     'україну',
     'військова',
     'кампанія',
@@ -2423,7 +2422,6 @@ test('remove ukrainian stopwords', t => {
     'неприховане',
     'перекидання',
     'військ',
-    'на',
     'окуповані',
     'території',
     'донбасу'

diff --git a/test/test.esm.mjs b/test/test.esm.mjs
@@ -507,7 +507,7 @@ test('remove ukrainian stopwords', (t) => {
   t.plan(1)
   const oldString = '24 лютого 2022 року Росія відкрито напала на Україну. Військова кампанія почалася після тривалого військового нарощування, визнання Росією терористичних квазідержав «ДНР» та «ЛНР» як державних утворень 21 лютого. Практично одночасно ЗС РФ почали неприховане перекидання військ на окуповані території Донбасу.'
   const newString = removeStopwords(extract(oldString, { regex: [words], toLowercase: true }), ukr)
-  t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'на', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'на', 'окуповані', 'території', 'донбасу'])
+  t.deepEqual(newString, ['лютого', 'року', 'росія', 'відкрито', 'напала', 'україну', 'військова', 'кампанія', 'почалася', 'після', 'тривалого', 'військового', 'нарощування', 'визнання', 'росією', 'терористичних', 'квазідержав', 'днр', 'лнр', 'державних', 'утворень', 'лютого', 'практично', 'одночасно', 'зс', 'рф', 'почали', 'неприховане', 'перекидання', 'військ', 'окуповані', 'території', 'донбасу'])
 })
 
 test('remove lithuanian stopwords', (t) => {