Pre-Processing Techniques on Abstractive Text Summarization for Gujarati Language

Pre-Processing Techniques on Abstractive Text Summarization for Gujarati Language | Research Square window.SnipcartSettings = { analytics: { enabled: false } }; (function() { var accessVector = localStorage.getItem('access_vector') || ''; window.dataLayer = window.dataLayer || []; if (accessVector) { window.dataLayer.push({ user: { profile: { profileInfo: { snid: accessVector } } } }); } })(); (function(w,d,s,l,i){w[l]=w[l]||[];w[l].push({'gtm.start':new Date().getTime(),event:'gtm.js'});var f=d.getElementsByTagName(s)[0],j=d.createElement(s),dl=l!='dataLayer'?'&l='+l:'';j.async=true;j.src='https://www.googletagmanager.com/gtm.js?id='+i+dl;f.parentNode.insertBefore(j,f);})(window,document,'script','dataLayer','GTM-K279D39R'); Browse Preprints In Review Journals COVID-19 Preprints AJE Video Bytes Research Tools Research Promotion AJE Professional Editing AJE Rubriq About Preprint Platform In Review Editorial Policies Our Team Advisory Board Help Center Sign In Submit a Preprint Cite Share Download PDF Research Article Pre-Processing Techniques on Abstractive Text Summarization for Gujarati Language Vipul Tailor, Dr. Purna Tanna This is a preprint; it has not been peer reviewed by a journal. https://doi.org/ 10.21203/rs.3.rs-7293942/v1 This work is licensed under a CC BY 4.0 License Status: Posted Version 1 posted You are reading this latest preprint version Abstract In the era of information overload, text summarization has become a crucial tool for extracting key information from vast amounts of text data. Abstractive summarization, which generates concise summaries while preserving the core meaning, is particularly challenging for languages like Gujarati due to its unique linguistic characteristics. This research paper focuses on the pre-processing phase of abstractive text summarization for Gujarati language, exploring various techniques such as noise removal, tokenization, stop-word removal, stemming/lemmatization, and sentence segmentation. By evaluating the impact of these pre-processing techniques on the quality of generated summaries using various evaluation scores, we aim to identify the most effective pre-processing methods for Gujarati text summarization. Our findings highlight the significance of pre-processing in improving summarization quality and provide insights for future research directions in this domain. Abstractive summarization Pre-processing Tokenization Stop-word removal Figures Figure 1 1 Introduction It is becoming more challenging to effectively interpret and get valuable insights from massive amounts of text data in the current digital era due to the exponential growth of information. In order to overcome this difficulty, abstractive text summarization has emerged as a useful technique that generates concise, well-organized summaries that capture the essential ideas of the source material.[ 8 ] Using efficient pre-processing methods is crucial for producing abstractive summaries of a high calibre, especially for languages with unique linguistic characteristics such as Gujarati.[ 16 ] Gujarati, an Indo-Aryan language spoken by over 50 million people, primarily in the Indian state of Gujarat, has received limited attention in the field of natural language processing compared to other major Indian languages [ 4 ]. The pre-processing phase, which involves techniques such as noise removal, tokenization, stop-word removal, and sentence segmentation, plays a vital role in preparing Gujarati text for abstractive summarization [ 14 ]. By evaluating the effectiveness of different pre-processing methods and their combinations, we seek to identify the most suitable techniques for enhancing the performance of Gujarati abstractive summarization systems. The preprocessing phase is crucial for abstractive summarization as it sets the foundation for generating concise and meaningful summaries by removing duplicate words and sentences, ensuring least redundancy. [ 17 ] In languages like Hindi, preprocessing involves techniques like stemming to reduce different grammatical forms and simplify the text for better understanding.[ 16 ] Additionally, the processing stage calculates sentence scores based on various statistical features, such as sentence paragraph position, to determine the importance of sentences in the document, aiding in effective summary generation.[ 1 ] Extractive text summarization techniques, like the text rank algorithm, rely on preprocessing steps like stemming to rank sentences and retain the most relevant ones for the summary.[ 4 ] Overall, the preprocessing phase plays a vital role in preparing the text for abstractive summarization by simplifying the language, identifying key information, and enhancing the efficiency of the summarization process. 2 Types of Summarizations based on Approach [ 1 ]. Extractive Extractive text summarization focuses on selecting and presenting specific segments of the original text without altering them. This approach is faster than abstractive methods, as it requires less time and does not demand a deep understanding of the language. However, it has drawbacks, such as potential inconsistencies, disruption of anaphoric references, and challenges in effectively managing sentence relationships. [ 17 ] [ 2 ]. Abstractive In contrast, abstractive summarization involves interpreting the original text and rewriting it in a condensed form, ensuring that the summary accurately reflects the core meaning of the content. [ 17 ] 3 Related Work Existing research on Gujarati text summarization has primarily focused on extractive approaches, which select important sentences or phrases from the original text to form a summary [ 10 ][ 11 ].However, abstractive summarization, which generates summaries by understanding and paraphrasing the content, has gained attention in recent years due to its ability to produce more human-like summaries [ 13 ]. Several studies have explored pre-processing techniques for Gujarati text in the context of various natural language processing tasks. Tikarya, A. B., Mayur, K., & Patel, P. H. (2014). [ 17 ] proposed a rule-based approach for Gujarati tokenization, while Desai, N., & Shah, P. (2016) and Tikarya, A. B., Mayur, K., & Patel, P. H. (2014) [ 17 ] [ 1 ] investigated a hybrid approach combining rule-based and statistical methods. Despite the progress in Gujarati text pre-processing, limited research has been conducted on the pre-processing techniques on the quality of abstractive summarization for Gujarati. This research gap motivates our study to analyze the effectiveness of different pre-processing methods and their combinations in enhancing Gujarati abstractive summarization performance. This review investigates the critical role of pre-processing techniques in enhancing abstractive text summarization for Gujarati text. Pre-processing serves as the foundation for effective summarization, preparing the raw text for subsequent stages that extract key information and generate concise summaries. Several studies emphasizes the importance of pre-processing in achieving efficient and accurate text summarization for Indian languages, including Gujarati. Pimpalshende, A., & Mahajan, A. R. (2016) [ 16 ] demonstrated a significant improvement in Hindi summarization efficiency (30% gain) by implementing a robust pre-processing pipeline. Similarly, Kevat, R., & Degadwala, S. (2024) [ 11 ] showcased the effectiveness of pre-processing for Gujarati summarization using an improved PageRank algorithm, which resulted in more concise and contextually relevant summaries. Research suggests a variety of pre-processing techniques that can significantly benefit Gujarati text summarization: • Sentence Boundary Identification : Accurate segmentation of text into sentences is crucial, as emphasized in studies on Punjabi and Marathi summarization (Giri et al., 2016 [ 5 ]; Gupta & Lehal, 2011, 2012 [ 6 ][ 7 ]). This applies to Gujarati text as well, ensuring that the system can properly analyze and extract important information from individual sentences. • Stop-word Removal : Studies by Pimpalshende and Mahajan (2016) [ 2 ], Tikarya et al. (2014) [ 17 ], and Widyassari et al. (2022) [ 18 ] highlight the importance of removing stop words (common words with little semantic meaning) for Hindi, Gujarati, and text summarization in general. Stop-word removal helps to streamline the text and focus on content-rich words that carry more weight in summarization. Patel et al. (2021) [ 14 ] contribute to this area by developing a dynamic stop-word list specifically tailored for the Gujarati language, addressing the need for language-specific resources. • Stemming/Normalization : Techniques like stemming (Pimpalshende et al., 2016 [ 16 ]; Giri, 2021 [ 4 ]) and normalization (Elbarougy et al., 2020) [ 3 ] can improve summarization quality by reducing words to their base forms. However, selecting the optimal stemming approach for Gujarati requires further investigation, as aggressive stemming might lead to loss of meaning. Dhawale et al. (2020) [ 2 ] propose a method for Marathi text summarization that incorporates additional pre-processing steps beyond the fundamentals. These include tokenization (breaking text into individual units), special symbol removal, and word frequency calculation. This approach suggests that exploring advanced pre-processing techniques for Gujarati summarization has the potential to yield further improvements. Pre-processing plays an undeniable role in achieving effective abstractive summarization for Gujarati text. Existing research provides valuable insights into beneficial techniques that can significantly improve the quality and efficiency of the summarization process. Further exploration of advanced pre-processing methods and their impact on Gujarati summarization quality is a promising direction for future research. This research can help to develop robust pre-processing pipelines that are specifically tailored to the intricacies of the Gujarati language. Table of Related work SR. NO. Paper Ref Language Approach Preprocessing technique 1 Desai et.al. [ 1 ] Hindi Extractive Segmentation, Tokenization, Stop words removal 2 Giri et.al. [ 4 ] Marathi Extractive words and Sentences boundary identification, Stop Word Elimination, Stemming, Normalization, Elimination of Duplicate Sentences 3. Pimpalshende et.al. [ 16 ] Hindi Extractive Segmentation, Tokenization, Stop word removal, Stemming, Elimination of duplicate sentences 4 Tikarya et.al. [ 17 ] Gujarati Extractive Lexical Analysis (digits, hyphens, and punctuation), remove punctuation marks, Stop Word Elimination, Stemmer For Nouns And Proper Nouns, Elimination of duplicate sentences 5 Jain et.al. [ 8 ] Punjabi Extractive Removal of Punctuation, Input Restriction, Sentence Tokenization, Word Tokenization, Stemming, Normalization, Elimination of Stop-Words 6. Dhawale et.al. [ 2 ] Marathi Extractive Tokenization, remove special characters or symbols 7 Gupta et.al. [ 7 ] Punjabi Extractive Remove Punctuation, Elimination of duplicate sentences, remove stop word, Stemmer 8 Pimpalshende et.al. [ 15 ] Devnagari - Indexing, stop word elimination, stemming 4 Gujarati Language Characteristics Gujarati is an Indo-Aryan language derived from Sanskrit and exhibits relatively free word order while maintaining an SOV (Subject-Object-Verb) structure [ 13 ]. Some key challenges in processing Gujarati text include: • Complex script: The Gujarati script consists of numerous characters, including vowels, consonants, and modifiers, making tokenization and normalization non-trivial tasks [ 10 ]. • Agglutinative nature: Gujarati is an agglutinative language, where words are formed by combining morphemes, leading to long and complex word structures [ 11 ]. 5 Pre-Processing Techniques The following pre-processing techniques are essential for improving the effectiveness and accuracy of abstractive text summarization in the Gujarati language. These methods address the unique linguistic characteristics and challenges of Gujarati, as identified in various research studies. The following text can be processed using pre-processing techniques. Row 1: {'id': 'international-52860599', 'url': ' https://www.bbc.com/gujarati/international-52860599 ', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે "રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે." international-52860599 😀😀 🧿સ્ત્રી ભણેલી સારી કે અભણ????😇😇💠 ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, "ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું." તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે. 5.1 Remove all the rows which has null values: If there are any rows in the dataset that contain null values, they should be removed. This is because null values can cause problems for the text summarization model. After removing rows with null values: Row 1: {'id': 'international-52860599', 'url': ' https://www.bbc.com/gujarati/international-52860599 ', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે "રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે." international-52860599 😀😀 🧿સ્ત્રી ભણેલી સારી કે અભણ?😇😇💠 ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, "ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું." તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે. } 5.2 Remove duplicates rows: If there are any duplicate rows in the dataset, they should be removed. This is because duplicate rows can waste the model's time and resources. After removing duplicate rows: Row 1: {'id': 'international-52860599', 'url': ' https://www.bbc.com/gujarati/international-52860599 ', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે "રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે." international-52860599 😀😀 🧿સ્ત્રી ભણેલી સારી કે અભણ?😇😇💠 ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, "ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું." તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે.} 5.3 Sentence Segmentation Sentence segmentation involves identifying sentence boundaries in a text, which is crucial for extracting meaningful units for summarization. Gujarati text often lacks explicit sentence boundary markers, such as periods, making sentence segmentation challenging (Giri et al., 2016 [ 5 ]; Gupta & Lehal, 2011, 2012 [ 6 ][ 7 ]). After Sentence Segmentation પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે "રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે. " international-52860599 😀😀 🧿સ્ત્રી ભણેલી સારી કે અભણ? 😇😇💠 ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, "ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા.નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા.દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું." તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા.ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે. 5.4 Remove special character(like space, tab ,numeric, html, emojis) Special characters like spaces, tabs, numbers, HTML tags, and emojis can clutter the text data, making it harder to analyze or process for natural language processing (NLP) tasks. Removing these elements helps to normalize the text and focus on the actual content. After Removing Special Characters: પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે. international સ્ત્રી ભણેલી સારી કે અભણ?. ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા.નિકાહ માર્ચની તારીખે પઢવામાં આવ્યા હતા.દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.તેઓ જણાવે છે કે માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા.ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે. 5.5 Remove punctuations: Punctuation marks are not necessary for the text summarization model, so they can be removed. This will make the text easier to process for the model.[ 17 ] After Removing Punctuation: પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે માર્ચે ભારતથી ગયા હતા તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે લોકો ત્યાં ફસાઈ ગયા છે ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે ઇશાકભાઈ જણાવે છે કે રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે international સ્ત્રી ભણેલી સારી કે અભણ ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતાનિકાહ માર્ચની તારીખે પઢવામાં આવ્યા હતાદુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતુંતેઓ જણાવે છે કે માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યાઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે 5.6 Stop Word Removal Removing common, insignificant words (stop words) helps streamline the text and focus on the most content-rich words. Patel, M. C. D., & Patel, J. M. (2021) [ 14 ] developed a rule-based approach to create a dynamic stop word list specifically for Gujarati, optimizing text summarization tasks. After Removing Stop Words: પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં લગ્નપ્રસંગમાં સામેલ થવા માર્ચે ભારતથી કહેવું માર્ચમાં ત્યાંથી પરત આવવાનું લૉકડાઉનને કારણે લોકો ફસાઈ ઇશાકભાઈ તેમની સાથેના અન્ય ભારતીય નાગરિકો ભારત પરત આવવા માગે તેમણે ભારત સરકારની મદદ માગી તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી હજી ઠોસ માહિતી મળી બીબીસીએ વાત કરવા ભારતીય વિદેશમંત્રાલયનો સંપર્ક હતો લખાઈ રહ્યું જવાબ મળી શક્યો ઇશાકભાઈ કહે અમૃતસરથી ગુજરાત આવવા તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ કરાવી લીધું અન્ય તમામ વ્યવસ્થા પાકિસ્તાનથી ભારત આવવા અટારીવાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી ગોધરાના પરિવારે રમઝાન ઈદ પાકિસ્તાનમાં ઊજવી ઇશાકભાઈ જણાવે રમઝાન ઈદ પરિવારથી દૂર પાકિસ્તાનમાં ઊજવી ઘરે જવું સ્ત્રી ભણેલી સારી અભણ ઇશાકભાઈ પોતાનાં પત્ની પુત્રી ભાણેજ અન્ય લોકો સાથે પાકિસ્તાનના કરાચીમાં તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચીનિકાહ માર્ચની તારીખે પઢવામાં આવ્યા દુલ્હા દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું બાકીના લોકો નિકાહમાં સામેલ થવા ભારતથી પાછું આવવાનું જણાવે માર્ચે જનતા કર્ફ્યુ જાહેર બૉર્ડર બંધ કરવામાં એટલે પાછા શક્યા ઇશાકભાઈ વધુમાં કહે પાકિસ્તાનમાં નવવિવાહિત દંપતી સાથે તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ 5.7 Tokenization Tokenization involves segmenting the text into smaller units, such as words or phrases, which are essential for further processing. This technique is fundamental in preparing the text for analysis and summary generation (Dhawale et al. 2020 [ 2 ]; Jain et al., 2021[ 8 ]). After Tokenization: ['','પાકિસ્તાનમાં', 'ફસાયેલા', 'ભારતીય', 'નાગરિકો', 'ખેડૂત', 'પરિવાર', 'સાથે', 'સંબંધ', 'ધરાવતા', 'ઇશાકભાઈ', 'બોકડા', 'પાકિસ્તાનના', 'કરાચીમાં', 'લગ્નપ્રસંગમાં', 'સામેલ', 'થવા', 'માર્ચે', 'ભારતથી', '','','કહેવું', 'માર્ચમાં', 'ત્યાંથી', 'પરત', 'આવવાનું', 'લૉકડાઉનને', 'કારણે', 'લોકો', 'ફસાઈ', '','', 'ઇશાકભાઈ', 'તેમની', 'સાથેના', 'અન્ય', 'ભારતીય', 'નાગરિકો', 'ભારત', 'પરત', 'આવવા', 'માગે', 'તેમણે', 'ભારત', 'સરકારની', 'મદદ', 'માગી', '','', 'તેમણે', 'બીબીસી', 'સાથે', 'વાતચીતમાં', 'કહ્યું', 'ઇસ્લામાબાદમાં', 'ભારતીય', 'હાઈકમિશનને', 'અરજી', 'હજી', 'ઠોસ', 'માહિતી', 'મળી', 'બીબીસીએ', 'વાત', 'કરવા', 'ભારતીય', 'વિદેશમંત્રાલયનો', 'સંપર્ક', 'હતો', 'લખાઈ', 'રહ્યું', 'જવાબ', 'મળી', 'શક્યો', '','', 'ઇશાકભાઈ', 'કહે', 'અમૃતસરથી', 'ગુજરાત', 'આવવા', 'તેમણે', 'ચાર', 'જૂનની', 'ટ્રેનની', 'ટિકિટનું', 'બુકિંગ', 'કરાવી', 'લીધું', 'અન્ય', 'તમામ', 'વ્યવસ્થા', 'પાકિસ્તાનથી', 'ભારત', 'આવવા', 'અટારીવાઘા', 'સરહદ', 'પાર', 'કરવાની', 'પરવાનગી', 'મળી', 'શકી', '','', 'ગોધરાના', 'પરિવારે', 'રમઝાન', 'ઈદ', 'પાકિસ્તાનમાં', 'ઊજવી', 'ઇશાકભાઈ', 'જણાવે', 'રમઝાન', 'ઈદ', 'પરિવારથી', 'દૂર', 'પાકિસ્તાનમાં', 'ઊજવી', 'ઘરે', 'જવું', '','', 'સ્ત્રી', 'ભણેલી', 'સારી', 'અભણ', '','', 'ઇશાકભાઈ', 'પોતાનાં', 'પત્ની', 'પુત્રી', 'ભાણેજ', 'અન્ય', 'લોકો', 'સાથે', 'પાકિસ્તાનના', 'કરાચીમાં', '','','તેમણે', 'કહ્યું', 'ગોધરાથી', 'વરરાજા', 'સાથે', 'લોકો', 'બારાતમાં', 'પાકિસ્તાનના', 'કરાચી', '','', 'નિકાહ', 'માર્ચની', 'તારીખે', 'પઢવામાં', 'આવ્યા', '','', 'દુલ્હા', 'દુલ્હનને', 'જરૂરી', 'દસ્તાવેજ', 'તૈયાર', 'કરીને', 'થોડો', 'સમય', 'પાકિસ્તાનમાં', 'રોકાવાનું', 'બાકીના', 'લોકો', 'નિકાહમાં', 'સામેલ', 'થવા', 'ભારતથી', 'પાછું', 'આવવાનું', '','', 'જણાવે', 'માર્ચે', 'જનતા', 'કર્ફ્યુ', 'જાહેર', 'બૉર્ડર', 'બંધ', 'કરવામાં', 'એટલે', 'પાછા', 'શક્યા', '','', 'ઇશાકભાઈ', 'વધુમાં', 'કહે', 'પાકિસ્તાનમાં', 'નવવિવાહિત', 'દંપતી', 'સાથે', 'તેમની', 'બારાતમાં', 'આવેલા', 'નવયુવાનોના', 'પરિવારો', 'ભારતમાં', 'તેમની', 'રાહ', 'જોઈ', ''] 6 Result and Discussion Impact without preprocessing:{'rouge': {'rouge1': np.float64(0.0), 'rouge2': np.float64(0.0), 'rougeL': np.float64(0.0), 'rougeLsum': np.float64(0.0)}, 'bleu': {'bleu': 0.12724395787153947, 'precisions': [0.4, 0.21428571428571427, 0.1076923076923077, 0.06666666666666667], 'brevity_penalty': 0.8078867967299912, 'length_ratio': 0.8241758241758241, 'translation_length': 75, 'reference_length': 91}, 'meteor': {'meteor': np.float64(0.31606161583356396)}, 'bertscore': {'precision': [0.7025949358940125, 0.6446667313575745, 0.8652035593986511, 0.9534356594085693, 0.8006891012191772], 'recall': [0.8146055936813354, 0.6561790704727173, 0.7137923836708069, 0.964703381061554, 0.7452118396759033], 'f1': [0.7544655799865723, 0.6503719091415405, 0.7822384834289551, 0.9590364098548889, 0.7719550728797913], 'hashcode': 'bert-base-multilingual-cased_L9_no-idf_version = 0.3.12(hug_trans = 4.52.2)'}} impact with preprocessing: {'rouge': {'rouge1': np.float64(0.0), 'rouge2': np.float64(0.0), 'rougeL': np.float64(0.0), 'rougeLsum': np.float64(0.0)}, 'bleu': {'bleu': 0.14904847953828188, 'precisions': [0.3333333333333333, 0.21052631578947367, 0.1267605633802817, 0.09090909090909091], 'brevity_penalty': 0.8838598318931834, 'length_ratio': 0.8901098901098901, 'translation_length': 81, 'reference_length': 91}, 'meteor': {'meteor': np.float64(0.3392246555618125)}, 'bertscore': {'precision': [0.6821118593215942, 0.6073029041290283, 0.7830628156661987, 0.9396334886550903, 0.7330659031867981], 'recall': [0.7970250844955444, 0.664631187915802, 0.7200478315353394, 0.9605268239974976, 0.6501375436782837], 'f1': [0.7351047396659851, 0.634675145149231, 0.7502344250679016, 0.9499652981758118, 0.6891157627105713], 'hashcode': 'bert-base-multilingual-cased_L9_no-idf_version = 0.3.12(hug_trans = 4.52.2)'}} The results demonstrate that applying preprocessing techniques to abstractive summarization in Gujarati significantly enhances the semantic quality of generated summaries. While ROUGE scores remain at 0.0 in both cases—indicating no n-gram overlap between generated and reference summaries—other evaluation metrics reveal the benefits of preprocessing: • BLEU : The score increases from 0.1272 to 0.1490 with preprocessing. Although n-gram precisions are similar, improvements in brevity penalty and length ratio suggest better structural alignment between the generated summaries and references. • METEOR : The score rises from 0.3161 to 0.3392 , indicating that preprocessing helps generate summaries more semantically aligned with reference texts, accounting for variations in word order and synonyms. • BERTScore : While the average F1 score slightly decreases from 0.7822 to 0.7502 , this reflects a trade-off between precision and recall. Preprocessing appears to produce more concise and contextually accurate summaries, even if token-level alignment is slightly reduced. In conclusion, despite no improvement in lexical overlap (ROUGE), preprocessing enhances both semantic coherence (METEOR) and contextual similarity (BERTScore). This underlines the importance of steps like punctuation removal, tokenization, and stopword elimination in improving abstractive summarization quality for Gujarati text. 7 Challenges and Considerations for Gujarati Text Pandya and Kalani (2021) [ 13 ] discuss the inherent complexities of Gujarati text processing, including word ambiguity and variations in sentence structure. These factors necessitate careful consideration when designing pre-processing pipelines for Gujarati summarization (Jain et al., 2021) [ 8 ]. For instance, Gujarati has regional variations that can lead to "multi-quasi words" with ambiguous meanings. Addressing these linguistic challenges through effective pre-processing is essential for accurate text analysis and summarization. Evaluating the impact of pre-processing techniques on abstractive text summarization for the Gujarati language presents a unique set of challenges, primarily due to the scarcity of standardized benchmarks and gold-standard datasets. One of the primary challenges in evaluating pre-processing techniques for Gujarati text summarization is the lack of a comprehensive, manually annotated dataset that can serve as a gold standard for evaluation. This limitation makes it difficult to ascertain the true effectiveness of pre-processing steps, as there is no universally accepted baseline for comparison. 8 Conclusion This research paper has explored the significant impact of various pre-processing techniques on the quality of abstractive text summarization for the Gujarati language. By thoroughly examining methods such as noise removal, tokenization, stop-word removal, and sentence segmentation, this study has highlighted the critical role of pre-processing in enhancing the efficiency and accuracy of summary generation. The findings demonstrate that pre-processing is not merely a preparatory step but a foundational element that directly influences the performance of summarization systems, especially for underrepresented languages like Gujarati. The experiments conducted have shown that the proper implementation of these techniques can significantly improve the coherence, relevance, and overall quality of the summaries generated. In particular, the combination of stop-word removal with sentence segmentation and tokenization has been found to yield the most promising results. These insights provide a valuable contribution to the field of natural language processing for Gujarati, paving the way for more robust and effective summarization systems. Declarations Author Contribution Vipul Tailor conceptualized the research idea, designed and implemented the preprocessing techniques, conducted experiments, and analyzed the results. He also prepared the initial draft of the manuscript.Dr. Purna Tanna provided supervision, guided the research methodology, contributed to the interpretation of the findings, and critically reviewed and revised the manuscript for important intellectual content.Both authors reviewed and approved the final version of the manuscript. Data Availability The datasets used in this study are publicly available as part of the ILSUM shared task on Indic language summarization. The dataset can be accessed at: https://ilsum.github.io/ilsum/2023/dataset.html References Desai, N., & Shah, P. (2016). Automatic text summarization using supervised machine learning technique for Hindi langauge. Int J Res Eng Technol , 5 (06), 361–367. Dhawale, A. D., Kulkarni, S. B., & Kumbhakarna, V. M. (2020). Automatic pre-processing of Marathi text for summarization. Int J Eng Adv Technol (IJEAT) , 10 (1). Elbarougy, R., Behery, G., & Khatib, E. (2020). A. A proposed natural language processing preprocessing procedures for enhancing arabic text summarization. Recent Advances in NLP: The Case of Arabic Language , 39–57. Giri, V. (2021). MTStemmer: A multilevel stemmer for effective word pre-processing in Marathi. Turkish Journal of Computer and Mathematics Education (TURCOMAT) , 12 (2), 1885–1894. Giri, V. V., Math, M. M., & Kulkarni, U. P. (2016). A survey of automatic text summarization system for different regional language in India. Bonfring International Journal of Software Engineering and Soft Computing , 6 , 52–57. Gupta, V., & Lehal, G. S. (2011). Preprocessing phase of Punjabi language text summarization. In International Conference on Information Systems for Indian Languages , (pp. 250–253). Berlin, Heidelberg: Springer Berlin Heidelberg. Gupta, V., & Lehal, G. S. (2012, December). Complete pre processing phase of Punjabi text extractive summarization system. In Proceedings of COLING 2012: Demonstration Papers , (pp. 199–206). Jain, A., Arora, A., Yadav, D., Morato, J., & Kaur, A. (2021). Text summarization technique for punjabi language using neural networks. Int Arab J Inf Technol , 18 (6), 807–818. Kevat, R., & Degadwala, S. (2023). A Comprehensive Review on Gujarati-Text Summarization Through Different Features. Kevat, R., & Degadwala, S. (2024). Developing Gujarati Article Summarization Utilizing Improved Page-Rank System. Kumar, Y., Kaur, K., & Kaur, S. (2021). Study of automatic text summarization approaches in different languages. Artificial Intelligence Review , 54 (8), 5897–5929. Mehta, H., Bharti, S. K., & Doshi, N. (2022, December). Automatic Text summarization in Gujarati language. In 2022 IEEE 2nd International Symposium on Sustainable Energy, Signal Processing and Cyber Security (iSSSC) , (pp. 1–6). IEEE. Pandya, S. S., & Kalani, N. B. (2021, April). Preprocessing phase of text sequence generation for gujarati language. In 2021 5th International Conference on Computing Methodologies and Communication (ICCMC) , (pp. 749–752). IEEE. Patel, M. C. D., & Patel, J. M. (2021). DYNAMIC STOP LIST FOR THE GUJARATI LANGUAGE USING RULE BASED APPROACH. Towards Excellence , 13 (1), 594–607. Pimpalshende, A., & Mahajan, A. R. (2017, September). Test model for stop word removal of devnagari text documents based on finite automata. In 2017 IEEE International Conference on Power, Control, Signals and Instrumentation Engineering (ICPCSI) , (pp. 672–674). IEEE. Pimpalshende, A., & Mahajan, A. R. (n.d.). Pre-processing phase of Hindi language text summarization System. International Journal of Computer Science and Information Security (IJCSIS) , 14 (5). Tikarya, A. B., Mayur, K., & Patel, P. H. (2014). Pre-processing phase of text summarization based on gujarati language. International Journal of Innovative Research in Computer Science & Technology , 2347–5552. Widyassari, A. P., Noersasongko, E., & Syukur, A. (2022, December). The 7-Phases Preprocessing Based On Extractive Text Summarization. In 2022 Seventh International Conference on Informatics and Computing (ICIC) , (pp. 1–8). IEEE. Additional Declarations No competing interests reported. Cite Share Download PDF Status: Posted Version 1 posted You are reading this latest preprint version Research Square lets you share your work early, gain feedback from the community, and start making changes to your manuscript prior to peer review in a journal. As a division of Research Square Company, we’re committed to making research communication faster, fairer, and more useful. We do this by developing innovative software and high quality services for the global research community. Our growing team is made up of researchers and industry professionals working together to solve the most critical problems facing scientific publishing. Also discoverable on Platform About Our Team In Review Editorial Policies Advisory Board Help Center Resources Author Services Accessibility API Access RSS feed Manage Cookie Preferences © Research Square 2026 | ISSN 2693-5015 (online) Privacy Policy Terms of Service Do Not Sell My Personal Information {"props":{"pageProps":{"initialData":{"identity":"rs-7293942","acceptedTermsAndConditions":true,"allowDirectSubmit":true,"archivedVersions":[],"articleType":"Research Article","associatedPublications":[],"authors":[{"id":531814706,"identity":"b4b286cb-e902-4cf0-8432-a52fb1d19e61","order_by":0,"name":"Vipul Tailor","email":"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAZAAAAAyAQMAAABI0h/eAAAABlBMVEX///8AAABVwtN+AAAACXBIWXMAAA7EAAAOxAGVKw4bAAAA8klEQVRIie2RsQrCMBRFXynoEttVF7+hUxAs7Ye4pATq5O4gEnFwdPUnXJ0cIgFd1K4FF7s46x/4Gqlbo6NgDjy4L9xDCAGwWH4RF+eqkzOTAGEVPigMh4AjsJmWijAr8FYAsKn0gVEJDq19m2EzbiohH9ssWi8wwCQc1CrKS7VCSCJ2q9uFb44JKvt0JGqUzpzQlwKJUEReOJWoOEJ9ofhFqZw5zQqz4ruV0ta3yIjmH27xXY/3WDAkJC/wLZIzikEyw1sa/mmX38f9bnM5LK53GcU0K8MkrFVeHxLMSbUmuslq65UC0/caG8sWi8XylzwBvIZg3RC5fEkAAAAASUVORK5CYII=","orcid":"","institution":"GLS University","correspondingAuthor":true,"prefix":"","firstName":"Vipul","middleName":"","lastName":"Tailor","suffix":""},{"id":531814707,"identity":"ae3afbd7-0448-4ef2-bf64-749503c1062a","order_by":1,"name":"Dr. Purna Tanna","email":"","orcid":"","institution":"GLS University","correspondingAuthor":false,"prefix":"Dr.","firstName":"Purna","middleName":"","lastName":"Tanna","suffix":""}],"badges":[],"createdAt":"2025-08-04 18:53:12","currentVersionCode":1,"declarations":"","doi":"10.21203/rs.3.rs-7293942/v1","doiUrl":"https://doi.org/10.21203/rs.3.rs-7293942/v1","draftVersion":[],"editorialEvents":[],"editorialNote":"","failedWorkflow":false,"files":[{"id":94116466,"identity":"31b6b595-08d8-45f5-a7f6-c14517e88f3f","added_by":"auto","created_at":"2025-10-22 14:31:59","extension":"doc","order_by":0,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":638464,"visible":true,"origin":"","legend":"","description":"","filename":"2.6.4withdeclarationPreProcessingTechniquesonAbstractiveTextSummarizationforGujaratiLanguage.doc","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/41aa49723c4e01d9997bea8f.doc"},{"id":94116462,"identity":"04d37452-a613-44ee-82bd-ac7910d2766f","added_by":"auto","created_at":"2025-10-22 14:31:59","extension":"json","order_by":1,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":4114,"visible":true,"origin":"","legend":"","description":"","filename":"d10b16cbae104c0ea57e19c5bb2dcce6.json","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/a1c2b80275c115a6a2b97fc9.json"},{"id":94116465,"identity":"565e4fa3-0575-460a-940d-f30d5746d272","added_by":"auto","created_at":"2025-10-22 14:31:59","extension":"xml","order_by":2,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":145677,"visible":true,"origin":"","legend":"","description":"","filename":"d10b16cbae104c0ea57e19c5bb2dcce61enriched.xml","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/2477dbc15267b2fef0a98a9f.xml"},{"id":94116463,"identity":"cb6d8eb2-8747-4a0a-8429-56ee2f691283","added_by":"auto","created_at":"2025-10-22 14:31:59","extension":"png","order_by":4,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":70997,"visible":true,"origin":"","legend":"","description":"","filename":"Onlinefloatimage1.png","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/33e11d9e6c40bb12429536f0.png"},{"id":94116469,"identity":"1cb6a079-919f-44cf-a80a-b74e3bea376d","added_by":"auto","created_at":"2025-10-22 14:32:00","extension":"xml","order_by":5,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":143841,"visible":true,"origin":"","legend":"","description":"","filename":"d10b16cbae104c0ea57e19c5bb2dcce61structuring.xml","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/56ac2b864049d65bfb3320c2.xml"},{"id":94116467,"identity":"c7e83d76-3630-4045-8afc-a78108ce9875","added_by":"auto","created_at":"2025-10-22 14:32:00","extension":"html","order_by":6,"title":"","display":"","copyAsset":false,"role":"acdc-reference","size":95932,"visible":true,"origin":"","legend":"","description":"","filename":"earlyproof.html","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/c97854cffbe282540e1abe80.html"},{"id":94116464,"identity":"9ea4517b-f64c-4c84-93bd-ee4137bfa989","added_by":"auto","created_at":"2025-10-22 14:31:59","extension":"jpeg","order_by":1,"title":"Figure 1","display":"","copyAsset":false,"role":"figure","size":287694,"visible":true,"origin":"","legend":"\u003cp\u003eUnnumbered image in the Result and Discussion\u003cstrong\u003e \u003c/strong\u003esection.\u003c/p\u003e","description":"","filename":"floatimage1.jpeg","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/d913b48336a1e647728cfe4b.jpeg"},{"id":95297977,"identity":"ed97aba4-0a9d-40df-b39e-e9b9ea11ad54","added_by":"auto","created_at":"2025-11-06 12:38:49","extension":"pdf","order_by":0,"title":"","display":"","copyAsset":false,"role":"manuscript-pdf","size":927957,"visible":true,"origin":"","legend":"","description":"","filename":"manuscript.pdf","url":"https://assets-eu.researchsquare.com/files/rs-7293942/v1/fbbe283c-4e85-4865-9c5e-ded8d9b44749.pdf"}],"financialInterests":"No competing interests reported.","formattedTitle":"Pre-Processing Techniques on Abstractive Text Summarization for Gujarati Language","fulltext":[{"header":"1 Introduction","content":"\u003cp\u003eIt is becoming more challenging to effectively interpret and get valuable insights from massive amounts of text data in the current digital era due to the exponential growth of information. In order to overcome this difficulty, abstractive text summarization has emerged as a useful technique that generates concise, well-organized summaries that capture the essential ideas of the source material.[\u003cspan citationid=\"CR8\" class=\"CitationRef\"\u003e8\u003c/span\u003e] Using efficient pre-processing methods is crucial for producing abstractive summaries of a high calibre, especially for languages with unique linguistic characteristics such as Gujarati.[\u003cspan citationid=\"CR16\" class=\"CitationRef\"\u003e16\u003c/span\u003e]\u003c/p\u003e\u003cp\u003eGujarati, an Indo-Aryan language spoken by over 50\u0026nbsp;million people, primarily in the Indian state of Gujarat, has received limited attention in the field of natural language processing compared to other major Indian languages [\u003cspan citationid=\"CR4\" class=\"CitationRef\"\u003e4\u003c/span\u003e]. The pre-processing phase, which involves techniques such as noise removal, tokenization, stop-word removal, and sentence segmentation, plays a vital role in preparing Gujarati text for abstractive summarization [\u003cspan citationid=\"CR14\" class=\"CitationRef\"\u003e14\u003c/span\u003e].\u003c/p\u003e\u003cp\u003eBy evaluating the effectiveness of different pre-processing methods and their combinations, we seek to identify the most suitable techniques for enhancing the performance of Gujarati abstractive summarization systems.\u003c/p\u003e\u003cp\u003eThe preprocessing phase is crucial for abstractive summarization as it sets the foundation for generating concise and meaningful summaries by removing duplicate words and sentences, ensuring least redundancy. [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e] In languages like Hindi, preprocessing involves techniques like stemming to reduce different grammatical forms and simplify the text for better understanding.[\u003cspan citationid=\"CR16\" class=\"CitationRef\"\u003e16\u003c/span\u003e] Additionally, the processing stage calculates sentence scores based on various statistical features, such as sentence paragraph position, to determine the importance of sentences in the document, aiding in effective summary generation.[\u003cspan citationid=\"CR1\" class=\"CitationRef\"\u003e1\u003c/span\u003e] Extractive text summarization techniques, like the text rank algorithm, rely on preprocessing steps like stemming to rank sentences and retain the most relevant ones for the summary.[\u003cspan citationid=\"CR4\" class=\"CitationRef\"\u003e4\u003c/span\u003e] Overall, the preprocessing phase plays a vital role in preparing the text for abstractive summarization by simplifying the language, identifying key information, and enhancing the efficiency of the summarization process.\u003c/p\u003e"},{"header":"2 Types of Summarizations based on Approach","content":"\u003cp\u003e\u003cstrong\u003e[\u003cspan citationid=\"CR1\" class=\"CitationRef\"\u003e1\u003c/span\u003e]. Extractive\u003c/strong\u003e\u003cp\u003eExtractive text summarization focuses on selecting and presenting specific segments of the original text without altering them. This approach is faster than abstractive methods, as it requires less time and does not demand a deep understanding of the language. However, it has drawbacks, such as potential inconsistencies, disruption of anaphoric references, and challenges in effectively managing sentence relationships. [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e]\u003c/p\u003e\u003c/p\u003e\u003cp\u003e\u003cstrong\u003e[\u003cspan citationid=\"CR2\" class=\"CitationRef\"\u003e2\u003c/span\u003e]. Abstractive\u003c/strong\u003e\u003cp\u003eIn contrast, abstractive summarization involves interpreting the original text and rewriting it in a condensed form, ensuring that the summary accurately reflects the core meaning of the content. [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e]\u003c/p\u003e\u003c/p\u003e"},{"header":"3 Related Work","content":"\u003cp\u003eExisting research on Gujarati text summarization has primarily focused on extractive approaches, which select important sentences or phrases from the original text to form a summary [\u003cspan citationid=\"CR10\" class=\"CitationRef\"\u003e10\u003c/span\u003e][\u003cspan citationid=\"CR11\" class=\"CitationRef\"\u003e11\u003c/span\u003e].However, abstractive summarization, which generates summaries by understanding and paraphrasing the content, has gained attention in recent years due to its ability to produce more human-like summaries [\u003cspan citationid=\"CR13\" class=\"CitationRef\"\u003e13\u003c/span\u003e].\u003c/p\u003e\u003cp\u003eSeveral studies have explored pre-processing techniques for Gujarati text in the context of various natural language processing tasks.\u003c/p\u003e\u003cp\u003eTikarya, A. B., Mayur, K., \u0026amp; Patel, P. H. (2014). [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e] proposed a rule-based approach for Gujarati tokenization, while Desai, N., \u0026amp; Shah, P. (2016) and Tikarya, A. B., Mayur, K., \u0026amp; Patel, P. H. (2014) [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e] [\u003cspan citationid=\"CR1\" class=\"CitationRef\"\u003e1\u003c/span\u003e] investigated a hybrid approach combining rule-based and statistical methods.\u003c/p\u003e\u003cp\u003eDespite the progress in Gujarati text pre-processing, limited research has been conducted on the pre-processing techniques on the quality of abstractive summarization for Gujarati. This research gap motivates our study to analyze the effectiveness of different pre-processing methods and their combinations in enhancing Gujarati abstractive summarization performance.\u003c/p\u003e\u003cp\u003eThis review investigates the critical role of pre-processing techniques in enhancing abstractive text summarization for Gujarati text. Pre-processing serves as the foundation for effective summarization, preparing the raw text for subsequent stages that extract key information and generate concise summaries.\u003c/p\u003e\u003cp\u003eSeveral studies emphasizes the importance of pre-processing in achieving efficient and accurate text summarization for Indian languages, including Gujarati. Pimpalshende, A., \u0026amp; Mahajan, A. R. (2016) [\u003cspan citationid=\"CR16\" class=\"CitationRef\"\u003e16\u003c/span\u003e] demonstrated a significant improvement in Hindi summarization efficiency (30% gain) by implementing a robust pre-processing pipeline. Similarly, Kevat, R., \u0026amp; Degadwala, S. (2024) [\u003cspan citationid=\"CR11\" class=\"CitationRef\"\u003e11\u003c/span\u003e] showcased the effectiveness of pre-processing for Gujarati summarization using an improved PageRank algorithm, which resulted in more concise and contextually relevant summaries.\u003c/p\u003e\u003cp\u003eResearch suggests a variety of pre-processing techniques that can significantly benefit Gujarati text summarization:\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eSentence Boundary Identification\u003c/b\u003e: Accurate segmentation of text into sentences is crucial, as emphasized in studies on Punjabi and Marathi summarization (Giri et al., 2016 [\u003cspan citationid=\"CR5\" class=\"CitationRef\"\u003e5\u003c/span\u003e]; Gupta \u0026amp; Lehal, 2011, 2012 [\u003cspan citationid=\"CR6\" class=\"CitationRef\"\u003e6\u003c/span\u003e][\u003cspan citationid=\"CR7\" class=\"CitationRef\"\u003e7\u003c/span\u003e]). This applies to Gujarati text as well, ensuring that the system can properly analyze and extract important information from individual sentences.\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eStop-word Removal\u003c/b\u003e: Studies by Pimpalshende and Mahajan (2016) [\u003cspan citationid=\"CR2\" class=\"CitationRef\"\u003e2\u003c/span\u003e], Tikarya et al. (2014) [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e], and Widyassari et al. (2022) [\u003cspan citationid=\"CR18\" class=\"CitationRef\"\u003e18\u003c/span\u003e] highlight the importance of removing stop words (common words with little semantic meaning) for Hindi, Gujarati, and text summarization in general. Stop-word removal helps to streamline the text and focus on content-rich words that carry more weight in summarization. Patel et al. (2021) [\u003cspan citationid=\"CR14\" class=\"CitationRef\"\u003e14\u003c/span\u003e] contribute to this area by developing a dynamic stop-word list specifically tailored for the Gujarati language, addressing the need for language-specific resources.\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eStemming/Normalization\u003c/b\u003e: Techniques like stemming (Pimpalshende et al., 2016 [\u003cspan citationid=\"CR16\" class=\"CitationRef\"\u003e16\u003c/span\u003e]; Giri, 2021 [\u003cspan citationid=\"CR4\" class=\"CitationRef\"\u003e4\u003c/span\u003e]) and normalization (Elbarougy et al., 2020) [\u003cspan citationid=\"CR3\" class=\"CitationRef\"\u003e3\u003c/span\u003e] can improve summarization quality by reducing words to their base forms. However, selecting the optimal stemming approach for Gujarati requires further investigation, as aggressive stemming might lead to loss of meaning.\u003c/p\u003e\u003cp\u003eDhawale et al. (2020) [\u003cspan citationid=\"CR2\" class=\"CitationRef\"\u003e2\u003c/span\u003e] propose a method for Marathi text summarization that incorporates additional pre-processing steps beyond the fundamentals. These include tokenization (breaking text into individual units), special symbol removal, and word frequency calculation. This approach suggests that exploring advanced pre-processing techniques for Gujarati summarization has the potential to yield further improvements.\u003c/p\u003e\u003cp\u003ePre-processing plays an undeniable role in achieving effective abstractive summarization for Gujarati text. Existing research provides valuable insights into beneficial techniques that can significantly improve the quality and efficiency of the summarization process. Further exploration of advanced pre-processing methods and their impact on Gujarati summarization quality is a promising direction for future research. This research can help to develop robust pre-processing pipelines that are specifically tailored to the intricacies of the Gujarati language.\u003c/p\u003e\u003cp\u003e\u003cb\u003eTable of Related work\u003c/b\u003e\u003c/p\u003e\u003cp\u003e\u003cdiv class=\"gridtable\"\u003e\u003ctable float=\"No\" id=\"Taba\" border=\"1\"\u003e\u003ccolgroup cols=\"5\"\u003e\u003cdiv align=\"left\" class=\"colspec\" colname=\"c1\" colnum=\"1\"\u003e\u003c/div\u003e\u003cdiv align=\"left\" class=\"colspec\" colname=\"c2\" colnum=\"2\"\u003e\u003c/div\u003e\u003cdiv align=\"left\" class=\"colspec\" colname=\"c3\" colnum=\"3\"\u003e\u003c/div\u003e\u003cdiv align=\"left\" class=\"colspec\" colname=\"c4\" colnum=\"4\"\u003e\u003c/div\u003e\u003cdiv align=\"left\" class=\"colspec\" colname=\"c5\" colnum=\"5\"\u003e\u003c/div\u003e\u003cthead\u003e\u003ctr\u003e\u003cth align=\"left\" colname=\"c1\"\u003e\u003cp\u003eSR. NO.\u003c/p\u003e\u003c/th\u003e\u003cth align=\"left\" colname=\"c2\"\u003e\u003cp\u003ePaper Ref\u003c/p\u003e\u003c/th\u003e\u003cth align=\"left\" colname=\"c3\"\u003e\u003cp\u003eLanguage\u003c/p\u003e\u003c/th\u003e\u003cth align=\"left\" colname=\"c4\"\u003e\u003cp\u003eApproach\u003c/p\u003e\u003c/th\u003e\u003cth align=\"left\" colname=\"c5\"\u003e\u003cp\u003ePreprocessing technique\u003c/p\u003e\u003c/th\u003e\u003c/tr\u003e\u003c/thead\u003e\u003ctbody\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e1\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eDesai et.al. [\u003cspan citationid=\"CR1\" class=\"CitationRef\"\u003e1\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eHindi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eSegmentation, Tokenization, Stop words removal\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e2\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eGiri et.al. [\u003cspan citationid=\"CR4\" class=\"CitationRef\"\u003e4\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eMarathi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003ewords and Sentences boundary identification, Stop Word Elimination, Stemming, Normalization, Elimination of Duplicate Sentences\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e3.\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003ePimpalshende et.al. [\u003cspan citationid=\"CR16\" class=\"CitationRef\"\u003e16\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eHindi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eSegmentation, Tokenization, Stop word removal, Stemming, Elimination of duplicate sentences\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e4\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eTikarya et.al. [\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eGujarati\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eLexical Analysis (digits, hyphens, and punctuation), remove punctuation marks, Stop Word Elimination, Stemmer For Nouns And Proper Nouns, Elimination of duplicate sentences\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e5\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eJain et.al. [\u003cspan citationid=\"CR8\" class=\"CitationRef\"\u003e8\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003ePunjabi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eRemoval of Punctuation, Input Restriction, Sentence Tokenization, Word Tokenization, Stemming, Normalization, Elimination of Stop-Words\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e6.\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eDhawale et.al. [\u003cspan citationid=\"CR2\" class=\"CitationRef\"\u003e2\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eMarathi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eTokenization, remove special\u003c/p\u003e\u003cp\u003echaracters or symbols\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e7\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003eGupta et.al. [\u003cspan citationid=\"CR7\" class=\"CitationRef\"\u003e7\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003ePunjabi\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003eExtractive\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eRemove Punctuation, Elimination of duplicate sentences, remove stop word, Stemmer\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003ctr\u003e\u003ctd align=\"left\" colname=\"c1\"\u003e\u003cp\u003e8\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c2\"\u003e\u003cp\u003ePimpalshende et.al. [\u003cspan citationid=\"CR15\" class=\"CitationRef\"\u003e15\u003c/span\u003e]\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c3\"\u003e\u003cp\u003eDevnagari\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c4\"\u003e\u003cp\u003e-\u003c/p\u003e\u003c/td\u003e\u003ctd align=\"left\" colname=\"c5\"\u003e\u003cp\u003eIndexing, stop word elimination, stemming\u003c/p\u003e\u003c/td\u003e\u003c/tr\u003e\u003c/tbody\u003e\u003c/colgroup\u003e\u003c/table\u003e\u003c/div\u003e\u003c/p\u003e"},{"header":"4 Gujarati Language Characteristics","content":"\u003cp\u003eGujarati is an Indo-Aryan language derived from Sanskrit and exhibits relatively free word order while maintaining an SOV (Subject-Object-Verb) structure [\u003cspan citationid=\"CR13\" class=\"CitationRef\"\u003e13\u003c/span\u003e]. Some key challenges in processing Gujarati text include:\u003c/p\u003e\u003cp\u003e\u0026bull; Complex script: The Gujarati script consists of numerous characters, including vowels, consonants, and modifiers, making tokenization and normalization non-trivial tasks [\u003cspan citationid=\"CR10\" class=\"CitationRef\"\u003e10\u003c/span\u003e].\u003c/p\u003e\u003cp\u003e\u0026bull; Agglutinative nature: Gujarati is an agglutinative language, where words are formed by combining morphemes, leading to long and complex word structures [\u003cspan citationid=\"CR11\" class=\"CitationRef\"\u003e11\u003c/span\u003e].\u003c/p\u003e"},{"header":"5 Pre-Processing Techniques","content":"\u003cp\u003eThe following pre-processing techniques are essential for improving the effectiveness and accuracy of abstractive text summarization in the Gujarati language. These methods address the unique linguistic characteristics and challenges of Gujarati, as identified in various research studies.\u003c/p\u003e\u003cp\u003eThe following text can be processed using pre-processing techniques.\u003c/p\u003e\u003cp\u003eRow 1: {'id': 'international-52860599', 'url': '\u003cspan class=\"ExternalRef\"\u003e\u003cspan class=\"RefSource\"\u003ehttps://www.bbc.com/gujarati/international-52860599\u003c/span\u003e\u003cspan address=\"https://www.bbc.com/gujarati/international-52860599\" targettype=\"URL\" class=\"RefTarget\"\u003e\u003c/span\u003e\u003c/span\u003e', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે \"રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે.\" international-52860599 \u0026#128512;\u0026#128512; \u0026#129535;સ્ત્રી ભણેલી સારી કે અભણ????\u0026#128519;\u0026#128519;\u0026#128160; ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, \"ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.\" તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે.\u003c/p\u003e\u003cdiv id=\"Sec6\" class=\"Section2\"\u003e\u003ch2\u003e5.1 Remove all the rows which has null values:\u003c/h2\u003e\u003cp\u003eIf there are any rows in the dataset that contain null values, they should be removed. This is because null values can cause problems for the text summarization model.\u003c/p\u003e\u003cp\u003eAfter removing rows with null values:\u003c/p\u003e\u003cp\u003eRow 1: {'id': 'international-52860599', 'url': '\u003cspan class=\"ExternalRef\"\u003e\u003cspan class=\"RefSource\"\u003ehttps://www.bbc.com/gujarati/international-52860599\u003c/span\u003e\u003cspan address=\"https://www.bbc.com/gujarati/international-52860599\" targettype=\"URL\" class=\"RefTarget\"\u003e\u003c/span\u003e\u003c/span\u003e', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે \"રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે.\" international-52860599 \u0026#128512;\u0026#128512; \u0026#129535;સ્ત્રી ભણેલી સારી કે અભણ?\u0026#128519;\u0026#128519;\u0026#128160; ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, \"ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.\" તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે. }\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec7\" class=\"Section2\"\u003e\u003ch2\u003e5.2 Remove duplicates rows:\u003c/h2\u003e\u003cp\u003eIf there are any duplicate rows in the dataset, they should be removed. This is because duplicate rows can waste the model's time and resources.\u003c/p\u003e\u003cp\u003eAfter removing duplicate rows:\u003c/p\u003e\u003cp\u003eRow 1: {'id': 'international-52860599', 'url': '\u003cspan class=\"ExternalRef\"\u003e\u003cspan class=\"RefSource\"\u003ehttps://www.bbc.com/gujarati/international-52860599\u003c/span\u003e\u003cspan address=\"https://www.bbc.com/gujarati/international-52860599\" targettype=\"URL\" class=\"RefTarget\"\u003e\u003c/span\u003e\u003c/span\u003e', 'title': 'લૉકડાઉન : પાકિસ્તાનમાં ફસાયેલા એ ગુજરાતીઓ જે ભારત પરત ફરવાની રાહ જોઈ રહ્યા છે', 'summary': 'ગુજરાતના ગોધરાના ઇશાકભાઈ બોકડા અઢી મહિનાથી પાકિસ્તાનમાં ફસાયેલા છે.', 'text': 'પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા. તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે. ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે. તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી. બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી. ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી. ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે. ઇશાકભાઈ જણાવે છે કે \"રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે.\" international-52860599 \u0026#128512;\u0026#128512; \u0026#129535;સ્ત્રી ભણેલી સારી કે અભણ?\u0026#128519;\u0026#128519;\u0026#128160; ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે. તેમણે કહ્યું, \"ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા. નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા. દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.\" તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા. ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે.}\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec8\" class=\"Section2\"\u003e\u003ch2\u003e5.3 Sentence Segmentation\u003c/h2\u003e\u003cp\u003eSentence segmentation involves identifying sentence boundaries in a text, which is crucial for extracting meaningful units for summarization. Gujarati text often lacks explicit sentence boundary markers, such as periods, making sentence segmentation challenging (Giri et al., 2016 [\u003cspan citationid=\"CR5\" class=\"CitationRef\"\u003e5\u003c/span\u003e]; Gupta \u0026amp; Lehal, 2011, 2012 [\u003cspan citationid=\"CR6\" class=\"CitationRef\"\u003e6\u003c/span\u003e][\u003cspan citationid=\"CR7\" class=\"CitationRef\"\u003e7\u003c/span\u003e]).\u003c/p\u003e\u003cp\u003eAfter Sentence Segmentation\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે 11 માર્ચે ભારતથી ગયા હતા.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે 26 લોકો ત્યાં ફસાઈ ગયા છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ જણાવે છે કે \"રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;\" international-52860599 \u0026#128512;\u0026#128512; \u0026#129535;સ્ત્રી ભણેલી સારી કે અભણ?\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;\u0026#128519;\u0026#128519;\u0026#128160; ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે કહ્યું, \"ગોધરાથી વરરાજા સાથે 26 લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;નિકાહ માર્ચની 14 તારીખે પઢવામાં આવ્યા હતા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું, પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;\" તેઓ જણાવે છે કે 22 માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે, પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે.\u0026lt;eof\u0026gt;\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec9\" class=\"Section2\"\u003e\u003ch2\u003e5.4 Remove special character(like space, tab ,numeric, html, emojis)\u003c/h2\u003e\u003cp\u003eSpecial characters like spaces, tabs, numbers, HTML tags, and emojis can clutter the text data, making it harder to analyze or process for natural language processing (NLP) tasks. Removing these elements helps to normalize the text and focus on the actual content.\u003c/p\u003e\u003cp\u003eAfter Removing Special Characters: \u0026lt;sos\u0026gt;પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે માર્ચે ભારતથી ગયા હતા.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે લોકો ત્યાં ફસાઈ ગયા છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ જણાવે છે કે રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026thinsp;\u0026gt;\u0026thinsp;international સ્ત્રી ભણેલી સારી કે અભણ?.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે.\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;નિકાહ માર્ચની તારીખે પઢવામાં આવ્યા હતા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;તેઓ જણાવે છે કે માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા.\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે.\u0026lt;eof\u0026gt;\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec10\" class=\"Section2\"\u003e\u003ch2\u003e5.5 Remove punctuations:\u003c/h2\u003e\u003cp\u003ePunctuation marks are not necessary for the text summarization model, so they can be removed. This will make the text easier to process for the model.[\u003cspan citationid=\"CR17\" class=\"CitationRef\"\u003e17\u003c/span\u003e]\u003c/p\u003e\u003cp\u003eAfter Removing Punctuation: \u0026lt;sos\u0026gt;પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં એક લગ્નપ્રસંગમાં સામેલ થવા માટે માર્ચે ભારતથી ગયા હતા\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમનું કહેવું છે કે માર્ચમાં જ તેમને ત્યાંથી પરત આવવાનું હતું, પરંતુ લૉકડાઉનને કારણે લોકો ત્યાં ફસાઈ ગયા છે\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ અને તેમની સાથેના અન્ય ભારતીય નાગરિકો પણ ભારત પરત આવવા માગે છે અને એ માટે તેમણે ભારત સરકારની મદદ પણ માગી છે\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું કે અમે ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી કરી છે, પરંતુ હજી સુધી કોઈ ઠોસ માહિતી નથી મળી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;બીબીસીએ આ અંગે વાત કરવા માટે ભારતીય વિદેશમંત્રાલયનો સંપર્ક કર્યો હતો, પરંતુ આ લખાઈ રહ્યું છે ત્યાં સુધી કોઈ જવાબ મળી શક્યો નથી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ કહે છે કે અમૃતસરથી ગુજરાત આવવા માટે તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ પણ કરાવી લીધું છે અને અન્ય તમામ વ્યવસ્થા થઈ ગઈ છે, પરંતુ પાકિસ્તાનથી ભારત આવવા માટે અટારી-વાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી નથી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ગોધરાના આ પરિવારે રમઝાન અને ઈદ પણ પાકિસ્તાનમાં ઊજવી છે\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ જણાવે છે કે રમઝાન અને ઈદ પણ અમે પરિવારથી દૂર અહીં પાકિસ્તાનમાં ઊજવી છે, પણ હવે ઘરે જવું છે\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026thinsp;\u0026gt;\u0026thinsp;international સ્ત્રી ભણેલી સારી કે અભણ\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ પોતાનાં પત્ની, પુત્રી, ભાણેજ અને અન્ય બે લોકો સાથે પાકિસ્તાનના કરાચીમાં છે\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચી ગયા હતા\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;નિકાહ માર્ચની તારીખે પઢવામાં આવ્યા હતા\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;દુલ્હા અને દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું હતું પરંતુ બાકીના લોકો જે નિકાહમાં સામેલ થવા માટે ભારતથી ગયા હતા તેમને પાછું આવવાનું હતું\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;તેઓ જણાવે છે કે માર્ચે જનતા કર્ફ્યુ જાહેર થયા પછી બૉર્ડર બંધ કરવામાં આવી હતી એટલે તેઓ પાછા ફરી ન શક્યા\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;ઇશાકભાઈ વધુમાં કહે છે કે પાકિસ્તાનમાં નવવિવાહિત દંપતી તો સાથે છે પરંતુ તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ રહ્યા છે\u0026lt;eof\u0026gt;\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec11\" class=\"Section2\"\u003e\u003ch2\u003e5.6 Stop Word Removal\u003c/h2\u003e\u003cp\u003eRemoving common, insignificant words (stop words) helps streamline the text and focus on the most content-rich words. Patel, M. C. D., \u0026amp; Patel, J. M. (2021) [\u003cspan citationid=\"CR14\" class=\"CitationRef\"\u003e14\u003c/span\u003e] developed a rule-based approach to create a dynamic stop word list specifically for Gujarati, optimizing text summarization tasks.\u003c/p\u003e\u003cp\u003eAfter Removing Stop Words: \u0026lt;sos\u0026gt;પાકિસ્તાનમાં ફસાયેલા ભારતીય નાગરિકો ખેડૂત પરિવાર સાથે સંબંધ ધરાવતા ઇશાકભાઈ બોકડા પાકિસ્તાનના કરાચીમાં લગ્નપ્રસંગમાં સામેલ થવા માર્ચે ભારતથી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;કહેવું માર્ચમાં ત્યાંથી પરત આવવાનું લૉકડાઉનને કારણે લોકો ફસાઈ\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ તેમની સાથેના અન્ય ભારતીય નાગરિકો ભારત પરત આવવા માગે તેમણે ભારત સરકારની મદદ માગી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે બીબીસી સાથે વાતચીતમાં કહ્યું ઇસ્લામાબાદમાં ભારતીય હાઈકમિશનને અરજી હજી ઠોસ માહિતી મળી બીબીસીએ વાત કરવા ભારતીય વિદેશમંત્રાલયનો સંપર્ક હતો લખાઈ રહ્યું જવાબ મળી શક્યો\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ કહે અમૃતસરથી ગુજરાત આવવા તેમણે ચાર જૂનની ટ્રેનની ટિકિટનું બુકિંગ કરાવી લીધું અન્ય તમામ વ્યવસ્થા પાકિસ્તાનથી ભારત આવવા અટારીવાઘા સરહદ પાર કરવાની પરવાનગી મળી શકી\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ગોધરાના પરિવારે રમઝાન ઈદ પાકિસ્તાનમાં ઊજવી ઇશાકભાઈ જણાવે રમઝાન ઈદ પરિવારથી દૂર પાકિસ્તાનમાં ઊજવી ઘરે જવું\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;સ્ત્રી ભણેલી સારી અભણ \u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;ઇશાકભાઈ પોતાનાં પત્ની પુત્રી ભાણેજ અન્ય લોકો સાથે પાકિસ્તાનના કરાચીમાં\u0026lt;eof\u0026thinsp;\u0026gt;\u0026thinsp;\u0026lt;\u0026thinsp;sos\u0026gt;તેમણે કહ્યું ગોધરાથી વરરાજા સાથે લોકો બારાતમાં પાકિસ્તાનના કરાચી\u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;નિકાહ માર્ચની તારીખે પઢવામાં આવ્યા \u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;દુલ્હા દુલ્હનને જરૂરી દસ્તાવેજ તૈયાર કરીને થોડો સમય પાકિસ્તાનમાં રોકાવાનું બાકીના લોકો નિકાહમાં સામેલ થવા ભારતથી પાછું આવવાનું \u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;જણાવે માર્ચે જનતા કર્ફ્યુ જાહેર બૉર્ડર બંધ કરવામાં એટલે પાછા શક્યા \u0026lt;eof\u0026gt;\u0026lt;sos\u0026gt;ઇશાકભાઈ વધુમાં કહે પાકિસ્તાનમાં નવવિવાહિત દંપતી સાથે તેમની બારાતમાં આવેલા નવયુવાનોના પરિવારો ભારતમાં તેમની રાહ જોઈ\u0026lt;eof\u0026gt;\u003c/p\u003e\u003c/div\u003e\u003cdiv id=\"Sec12\" class=\"Section2\"\u003e\u003ch2\u003e5.7 Tokenization\u003c/h2\u003e\u003cp\u003eTokenization involves segmenting the text into smaller units, such as words or phrases, which are essential for further processing. This technique is fundamental in preparing the text for analysis and summary generation (Dhawale et al. 2020 [\u003cspan citationid=\"CR2\" class=\"CitationRef\"\u003e2\u003c/span\u003e]; Jain et al., 2021[\u003cspan citationid=\"CR8\" class=\"CitationRef\"\u003e8\u003c/span\u003e]).\u003c/p\u003e\u003cp\u003eAfter Tokenization: ['\u0026lt;sos\u0026gt;','પાકિસ્તાનમાં', 'ફસાયેલા', 'ભારતીય', 'નાગરિકો', 'ખેડૂત', 'પરિવાર', 'સાથે', 'સંબંધ', 'ધરાવતા', 'ઇશાકભાઈ', 'બોકડા', 'પાકિસ્તાનના', 'કરાચીમાં', 'લગ્નપ્રસંગમાં', 'સામેલ', 'થવા', 'માર્ચે', 'ભારતથી', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;','કહેવું', 'માર્ચમાં', 'ત્યાંથી', 'પરત', 'આવવાનું', 'લૉકડાઉનને', 'કારણે', 'લોકો', 'ફસાઈ', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'ઇશાકભાઈ', 'તેમની', 'સાથેના', 'અન્ય', 'ભારતીય', 'નાગરિકો', 'ભારત', 'પરત', 'આવવા', 'માગે', 'તેમણે', 'ભારત', 'સરકારની', 'મદદ', 'માગી', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'તેમણે', 'બીબીસી', 'સાથે', 'વાતચીતમાં', 'કહ્યું', 'ઇસ્લામાબાદમાં', 'ભારતીય', 'હાઈકમિશનને', 'અરજી', 'હજી', 'ઠોસ', 'માહિતી', 'મળી', 'બીબીસીએ', 'વાત', 'કરવા', 'ભારતીય', 'વિદેશમંત્રાલયનો', 'સંપર્ક', 'હતો', 'લખાઈ', 'રહ્યું', 'જવાબ', 'મળી', 'શક્યો', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'ઇશાકભાઈ', 'કહે', 'અમૃતસરથી', 'ગુજરાત', 'આવવા', 'તેમણે', 'ચાર', 'જૂનની', 'ટ્રેનની', 'ટિકિટનું', 'બુકિંગ', 'કરાવી', 'લીધું', 'અન્ય', 'તમામ', 'વ્યવસ્થા', 'પાકિસ્તાનથી', 'ભારત', 'આવવા', 'અટારીવાઘા', 'સરહદ', 'પાર', 'કરવાની', 'પરવાનગી', 'મળી', 'શકી', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'ગોધરાના', 'પરિવારે', 'રમઝાન', 'ઈદ', 'પાકિસ્તાનમાં', 'ઊજવી', 'ઇશાકભાઈ', 'જણાવે', 'રમઝાન', 'ઈદ', 'પરિવારથી', 'દૂર', 'પાકિસ્તાનમાં', 'ઊજવી', 'ઘરે', 'જવું', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'સ્ત્રી', 'ભણેલી', 'સારી', 'અભણ', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'ઇશાકભાઈ', 'પોતાનાં', 'પત્ની', 'પુત્રી', 'ભાણેજ', 'અન્ય', 'લોકો', 'સાથે', 'પાકિસ્તાનના', 'કરાચીમાં', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;','તેમણે', 'કહ્યું', 'ગોધરાથી', 'વરરાજા', 'સાથે', 'લોકો', 'બારાતમાં', 'પાકિસ્તાનના', 'કરાચી', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'નિકાહ', 'માર્ચની', 'તારીખે', 'પઢવામાં', 'આવ્યા', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'દુલ્હા', 'દુલ્હનને', 'જરૂરી', 'દસ્તાવેજ', 'તૈયાર', 'કરીને', 'થોડો', 'સમય', 'પાકિસ્તાનમાં', 'રોકાવાનું', 'બાકીના', 'લોકો', 'નિકાહમાં', 'સામેલ', 'થવા', 'ભારતથી', 'પાછું', 'આવવાનું', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'જણાવે', 'માર્ચે', 'જનતા', 'કર્ફ્યુ', 'જાહેર', 'બૉર્ડર', 'બંધ', 'કરવામાં', 'એટલે', 'પાછા', 'શક્યા', '\u0026lt;eof\u0026gt;','\u0026lt;sos\u0026gt;', 'ઇશાકભાઈ', 'વધુમાં', 'કહે', 'પાકિસ્તાનમાં', 'નવવિવાહિત', 'દંપતી', 'સાથે', 'તેમની', 'બારાતમાં', 'આવેલા', 'નવયુવાનોના', 'પરિવારો', 'ભારતમાં', 'તેમની', 'રાહ', 'જોઈ', '\u0026lt;eof\u0026gt;']\u003c/p\u003e\u003c/div\u003e"},{"header":"6 Result and Discussion","content":"\u003cp\u003e\u003c/p\u003e\u003cp\u003eImpact without preprocessing:{'rouge': {'rouge1': np.float64(0.0), 'rouge2': np.float64(0.0), 'rougeL': np.float64(0.0), 'rougeLsum': np.float64(0.0)}, 'bleu': {'bleu': 0.12724395787153947, 'precisions': [0.4, 0.21428571428571427, 0.1076923076923077, 0.06666666666666667], 'brevity_penalty': 0.8078867967299912, 'length_ratio': 0.8241758241758241, 'translation_length': 75, 'reference_length': 91}, 'meteor': {'meteor': np.float64(0.31606161583356396)}, 'bertscore': {'precision': [0.7025949358940125, 0.6446667313575745, 0.8652035593986511, 0.9534356594085693, 0.8006891012191772], 'recall': [0.8146055936813354, 0.6561790704727173, 0.7137923836708069, 0.964703381061554, 0.7452118396759033], 'f1': [0.7544655799865723, 0.6503719091415405, 0.7822384834289551, 0.9590364098548889, 0.7719550728797913], 'hashcode': 'bert-base-multilingual-cased_L9_no-idf_version\u0026thinsp;=\u0026thinsp;0.3.12(hug_trans\u0026thinsp;=\u0026thinsp;4.52.2)'}}\u003c/p\u003e\u003cp\u003eimpact with preprocessing: {'rouge': {'rouge1': np.float64(0.0), 'rouge2': np.float64(0.0), 'rougeL': np.float64(0.0), 'rougeLsum': np.float64(0.0)}, 'bleu': {'bleu': 0.14904847953828188, 'precisions': [0.3333333333333333, 0.21052631578947367, 0.1267605633802817, 0.09090909090909091], 'brevity_penalty': 0.8838598318931834, 'length_ratio': 0.8901098901098901, 'translation_length': 81, 'reference_length': 91}, 'meteor': {'meteor': np.float64(0.3392246555618125)}, 'bertscore': {'precision': [0.6821118593215942, 0.6073029041290283, 0.7830628156661987, 0.9396334886550903, 0.7330659031867981], 'recall': [0.7970250844955444, 0.664631187915802, 0.7200478315353394, 0.9605268239974976, 0.6501375436782837], 'f1': [0.7351047396659851, 0.634675145149231, 0.7502344250679016, 0.9499652981758118, 0.6891157627105713], 'hashcode': 'bert-base-multilingual-cased_L9_no-idf_version\u0026thinsp;=\u0026thinsp;0.3.12(hug_trans\u0026thinsp;=\u0026thinsp;4.52.2)'}}\u003c/p\u003e\u003cp\u003eThe results demonstrate that applying preprocessing techniques to abstractive summarization in Gujarati significantly enhances the semantic quality of generated summaries. While ROUGE scores remain at 0.0 in both cases\u0026mdash;indicating no n-gram overlap between generated and reference summaries\u0026mdash;other evaluation metrics reveal the benefits of preprocessing:\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eBLEU\u003c/b\u003e: The score increases from \u003cb\u003e0.1272\u003c/b\u003e to \u003cb\u003e0.1490\u003c/b\u003e with preprocessing. Although n-gram precisions are similar, improvements in brevity penalty and length ratio suggest better structural alignment between the generated summaries and references.\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eMETEOR\u003c/b\u003e: The score rises from \u003cb\u003e0.3161\u003c/b\u003e to \u003cb\u003e0.3392\u003c/b\u003e, indicating that preprocessing helps generate summaries more semantically aligned with reference texts, accounting for variations in word order and synonyms.\u003c/p\u003e\u003cp\u003e\u0026bull; \u003cb\u003eBERTScore\u003c/b\u003e: While the average F1 score slightly decreases from \u003cb\u003e0.7822\u003c/b\u003e to \u003cb\u003e0.7502\u003c/b\u003e, this reflects a trade-off between precision and recall. Preprocessing appears to produce more concise and contextually accurate summaries, even if token-level alignment is slightly reduced.\u003c/p\u003e\u003cp\u003eIn conclusion, despite no improvement in lexical overlap (ROUGE), preprocessing enhances both semantic coherence (METEOR) and contextual similarity (BERTScore). This underlines the importance of steps like punctuation removal, tokenization, and stopword elimination in improving abstractive summarization quality for Gujarati text.\u003c/p\u003e"},{"header":"7 Challenges and Considerations for Gujarati Text","content":"\u003cp\u003ePandya and Kalani (2021) [\u003cspan citationid=\"CR13\" class=\"CitationRef\"\u003e13\u003c/span\u003e] discuss the inherent complexities of Gujarati text processing, including word ambiguity and variations in sentence structure. These factors necessitate careful consideration when designing pre-processing pipelines for Gujarati summarization (Jain et al., 2021) [\u003cspan citationid=\"CR8\" class=\"CitationRef\"\u003e8\u003c/span\u003e]. For instance, Gujarati has regional variations that can lead to \"multi-quasi words\" with ambiguous meanings. Addressing these linguistic challenges through effective pre-processing is essential for accurate text analysis and summarization.\u003c/p\u003e\u003cp\u003eEvaluating the impact of pre-processing techniques on abstractive text summarization for the Gujarati language presents a unique set of challenges, primarily due to the scarcity of standardized benchmarks and gold-standard datasets.\u003c/p\u003e\u003cp\u003eOne of the primary challenges in evaluating pre-processing techniques for Gujarati text summarization is the lack of a comprehensive, manually annotated dataset that can serve as a gold standard for evaluation. This limitation makes it difficult to ascertain the true effectiveness of pre-processing steps, as there is no universally accepted baseline for comparison.\u003c/p\u003e"},{"header":"8 Conclusion","content":"\u003cp\u003eThis research paper has explored the significant impact of various pre-processing techniques on the quality of abstractive text summarization for the Gujarati language. By thoroughly examining methods such as noise removal, tokenization, stop-word removal, and sentence segmentation, this study has highlighted the critical role of pre-processing in enhancing the efficiency and accuracy of summary generation. The findings demonstrate that pre-processing is not merely a preparatory step but a foundational element that directly influences the performance of summarization systems, especially for underrepresented languages like Gujarati.\u003c/p\u003e\u003cp\u003eThe experiments conducted have shown that the proper implementation of these techniques can significantly improve the coherence, relevance, and overall quality of the summaries generated. In particular, the combination of stop-word removal with sentence segmentation and tokenization has been found to yield the most promising results. These insights provide a valuable contribution to the field of natural language processing for Gujarati, paving the way for more robust and effective summarization systems.\u003c/p\u003e"},{"header":"Declarations","content":"\u003ch2\u003eAuthor Contribution\u003c/h2\u003e\u003cp\u003eVipul Tailor conceptualized the research idea, designed and implemented the preprocessing techniques, conducted experiments, and analyzed the results. He also prepared the initial draft of the manuscript.Dr. Purna Tanna provided supervision, guided the research methodology, contributed to the interpretation of the findings, and critically reviewed and revised the manuscript for important intellectual content.Both authors reviewed and approved the final version of the manuscript.\u003c/p\u003e\u003ch2\u003eData Availability\u003c/h2\u003e\u003cp\u003eThe datasets used in this study are publicly available as part of the ILSUM shared task on Indic language summarization. The dataset can be accessed at: https://ilsum.github.io/ilsum/2023/dataset.html\u003c/p\u003e"},{"header":"References","content":"\u003col\u003e\u003cli\u003e\u003cspan\u003eDesai, N., \u0026amp; Shah, P. (2016). Automatic text summarization using supervised machine learning technique for Hindi langauge. \u003cem\u003eInt J Res Eng Technol\u003c/em\u003e, \u003cem\u003e5\u003c/em\u003e(06), 361\u0026ndash;367.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eDhawale, A. D., Kulkarni, S. B., \u0026amp; Kumbhakarna, V. M. (2020). Automatic pre-processing of Marathi text for summarization. \u003cem\u003eInt J Eng Adv Technol (IJEAT)\u003c/em\u003e, \u003cem\u003e10\u003c/em\u003e(1).\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eElbarougy, R., Behery, G., \u0026amp; Khatib, E. (2020). A. A proposed natural language processing preprocessing procedures for enhancing arabic text summarization. \u003cem\u003eRecent Advances in NLP: The Case of Arabic Language\u003c/em\u003e, 39\u0026ndash;57.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eGiri, V. (2021). MTStemmer: A multilevel stemmer for effective word pre-processing in Marathi. \u003cem\u003eTurkish Journal of Computer and Mathematics Education (TURCOMAT)\u003c/em\u003e, \u003cem\u003e12\u003c/em\u003e(2), 1885\u0026ndash;1894.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eGiri, V. V., Math, M. M., \u0026amp; Kulkarni, U. P. (2016). A survey of automatic text summarization system for different regional language in India. \u003cem\u003eBonfring International Journal of Software Engineering and Soft Computing\u003c/em\u003e, \u003cem\u003e6\u003c/em\u003e, 52\u0026ndash;57.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eGupta, V., \u0026amp; Lehal, G. S. (2011). Preprocessing phase of Punjabi language text summarization. \u003cem\u003eIn International Conference on Information Systems for Indian Languages\u003c/em\u003e, (pp. 250\u0026ndash;253). Berlin, Heidelberg: Springer Berlin Heidelberg.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eGupta, V., \u0026amp; Lehal, G. S. (2012, December). Complete pre processing phase of Punjabi text extractive summarization system. \u003cem\u003eIn Proceedings of COLING 2012: Demonstration Papers\u003c/em\u003e, (pp. 199\u0026ndash;206).\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eJain, A., Arora, A., Yadav, D., Morato, J., \u0026amp; Kaur, A. (2021). Text summarization technique for punjabi language using neural networks. \u003cem\u003eInt Arab J Inf Technol\u003c/em\u003e, \u003cem\u003e18\u003c/em\u003e(6), 807\u0026ndash;818.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eKevat, R., \u0026amp; Degadwala, S. (2023). A Comprehensive Review on Gujarati-Text Summarization Through Different Features.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eKevat, R., \u0026amp; Degadwala, S. (2024). Developing Gujarati Article Summarization Utilizing Improved Page-Rank System.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eKumar, Y., Kaur, K., \u0026amp; Kaur, S. (2021). Study of automatic text summarization approaches in different languages. \u003cem\u003eArtificial Intelligence Review\u003c/em\u003e, \u003cem\u003e54\u003c/em\u003e(8), 5897\u0026ndash;5929.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eMehta, H., Bharti, S. K., \u0026amp; Doshi, N. (2022, December). Automatic Text summarization in Gujarati language. \u003cem\u003eIn 2022 IEEE 2nd International Symposium on Sustainable Energy, Signal Processing and Cyber Security (iSSSC)\u003c/em\u003e, (pp. 1\u0026ndash;6). IEEE.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003ePandya, S. S., \u0026amp; Kalani, N. B. (2021, April). Preprocessing phase of text sequence generation for gujarati language. \u003cem\u003eIn 2021 5th International Conference on Computing Methodologies and Communication (ICCMC)\u003c/em\u003e, (pp. 749\u0026ndash;752). IEEE.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003ePatel, M. C. D., \u0026amp; Patel, J. M. (2021). DYNAMIC STOP LIST FOR THE GUJARATI LANGUAGE USING RULE BASED APPROACH. \u003cem\u003eTowards Excellence\u003c/em\u003e, \u003cem\u003e13\u003c/em\u003e(1), 594\u0026ndash;607.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003ePimpalshende, A., \u0026amp; Mahajan, A. R. (2017, September). Test model for stop word removal of devnagari text documents based on finite automata. \u003cem\u003eIn 2017 IEEE International Conference on Power, Control, Signals and Instrumentation Engineering (ICPCSI)\u003c/em\u003e, (pp. 672\u0026ndash;674). IEEE.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003ePimpalshende, A., \u0026amp; Mahajan, A. R. (n.d.). Pre-processing phase of Hindi language text summarization System. \u003cem\u003eInternational Journal of Computer Science and Information Security (IJCSIS)\u003c/em\u003e, \u003cem\u003e14\u003c/em\u003e(5).\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eTikarya, A. B., Mayur, K., \u0026amp; Patel, P. H. (2014). Pre-processing phase of text summarization based on gujarati language. \u003cem\u003eInternational Journal of Innovative Research in Computer Science \u0026amp; Technology\u003c/em\u003e, 2347\u0026ndash;5552.\u003c/span\u003e\u003c/li\u003e\u003cli\u003e\u003cspan\u003eWidyassari, A. P., Noersasongko, E., \u0026amp; Syukur, A. (2022, December). The 7-Phases Preprocessing Based On Extractive Text Summarization. \u003cem\u003eIn 2022 Seventh International Conference on Informatics and Computing (ICIC)\u003c/em\u003e, (pp. 1\u0026ndash;8). IEEE.\u003c/span\u003e\u003c/li\u003e\u003c/ol\u003e"}],"fulltextSource":"","fullText":"","funders":[],"hasAdminPriorityOnWorkflow":false,"hasManuscriptDocX":true,"hasOptedInToPreprint":true,"hasPassedJournalQc":"","hasAnyPriority":false,"hideJournal":true,"highlight":"","institution":"","isAcceptedByJournal":false,"isAuthorSuppliedPdf":false,"isDeskRejected":"","isHiddenFromSearch":false,"isInQc":false,"isInWorkflow":false,"isPdf":false,"isPdfUpToDate":true,"isWithdrawnOrRetracted":false,"journal":{"display":true,"email":"[email protected]","identity":"researchsquare","isNatureJournal":false,"hasQc":true,"allowDirectSubmit":true,"externalIdentity":"","sideBox":"","snPcode":"","submissionUrl":"/submission","title":"Research Square","twitterHandle":"researchsquare","acdcEnabled":true,"dfaEnabled":false,"editorialSystem":"","reportingPortfolio":"","inReviewEnabled":false,"inReviewRevisionsEnabled":true},"keywords":"Abstractive summarization, Pre-processing, Tokenization, Stop-word removal","lastPublishedDoi":"10.21203/rs.3.rs-7293942/v1","lastPublishedDoiUrl":"https://doi.org/10.21203/rs.3.rs-7293942/v1","license":{"name":"CC BY 4.0","url":"https://creativecommons.org/licenses/by/4.0/"},"manuscriptAbstract":"\u003cp\u003eIn the era of information overload, text summarization has become a crucial tool for extracting key information from vast amounts of text data. Abstractive summarization, which generates concise summaries while preserving the core meaning, is particularly challenging for languages like Gujarati due to its unique linguistic characteristics. This research paper focuses on the pre-processing phase of abstractive text summarization for Gujarati language, exploring various techniques such as noise removal, tokenization, stop-word removal, stemming/lemmatization, and sentence segmentation. By evaluating the impact of these pre-processing techniques on the quality of generated summaries using various evaluation scores, we aim to identify the most effective pre-processing methods for Gujarati text summarization. Our findings highlight the significance of pre-processing in improving summarization quality and provide insights for future research directions in this domain.\u003c/p\u003e","manuscriptTitle":"Pre-Processing Techniques on Abstractive Text Summarization for Gujarati Language","msid":"","msnumber":"","nonDraftVersions":[{"code":1,"date":"2025-10-22 14:31:55","doi":"10.21203/rs.3.rs-7293942/v1","editorialEvents":[{"type":"communityComments","content":0}],"status":"published","journal":{"display":true,"email":"[email protected]","identity":"researchsquare","isNatureJournal":false,"hasQc":true,"allowDirectSubmit":true,"externalIdentity":"","sideBox":"","snPcode":"","submissionUrl":"/submission","title":"Research Square","twitterHandle":"researchsquare","acdcEnabled":true,"dfaEnabled":false,"editorialSystem":"","reportingPortfolio":"","inReviewEnabled":false,"inReviewRevisionsEnabled":true}}],"origin":"","ownerIdentity":"e15c8530-4d9c-476f-a0bc-2f5dbe72a945","owner":[],"postedDate":"October 22nd, 2025","published":true,"recentEditorialEvents":[],"rejectedJournal":[],"revision":"","amendment":"","status":"posted","subjectAreas":[],"tags":[],"updatedAt":"2025-11-06T12:38:36+00:00","versionOfRecord":[],"versionCreatedAt":"2025-10-22 14:31:55","video":"","vorDoi":"","vorDoiUrl":"","workflowStages":[]},"version":"v1","identity":"rs-7293942","journalConfig":"researchsquare"},"__N_SSP":true},"page":"/article/[identity]/[[...version]]","query":{"redirect":"/article/rs-7293942","identity":"rs-7293942","version":["v1"]},"buildId":"8U1c8b4HqxoKbykW_rLl7","isFallback":false,"isExperimentalCompile":false,"dynamicIds":[84888],"gssp":true,"scriptLoader":[]}