Image caption and hashtags generation using deep learning approach

Abstract

Sosyal medya, insanlar arasında bilgi ve fikir oluşturdukları, paylaştıkları ve/veya değiş tokuş ettikleri etkileşim araçlarını ifade etmektedir. İnsanlar sosyal medyayı arkadaşları ve aileleriyle bağlantıda kalmak, plan yapmak ve birbirlerinin günlük aktivitelerini takip etmek için kullanmaktadırlar. Sosyal medyanın kullanıldığı diğer bir yol, ürün veya hizmetlerin reklamını yapmaktır. Bu tür pazarlama 1800'lerden beri vardır. Aslında, yalnızca Facebook'ta aylık 2.934 milyar aktif kullanıcı bulunmaktadır. Sosyal medya platformları, kullanıcılarının deneyimini etkileşimli hale getirmek, yazıların yanı sıra başlıklar ve hashtag eklemeleri gerektiğini de istemektedir. Ancak, bireysel kullanıcıların bir başlık ve hashtag bulması her zaman kolay veya mümkün değildir. Sosyal medya platformları, gönderileri daha ilginç hale getirmek için altyazılara ve hastag'lere ihtiyaç duymaktadır. Bu iki temel unsuru bulmak oldukça zordur. Bu altyazıları ve hastag'leri oluşturanların, gönderilerinin gözden kaçmaması veya diğer gönderiler arasında kaybolmaması için yaratıcı olması ve sosyal medya trendlerini takip etmesi gerekiyor. Bu araştırmada Facebook, Instagram gibi sosyal medya platformları ve bu iki unsura bağlı diğer platformlar için bu platformlarda kullanılan görsel veya gönderilerden yola çıkarak uygun metinler ve hashtagler oluşturabilen bir sistem geliştirilmiştir. Bu araştırmada, facebook ve instagram gibi sosyal medya platformlarında gönderi gibi kullanılan görsellere dayalı metinler ve hashtagler oluşturmak için bir teknik geliştirilmiştir. Tekniğimiz dört ana aşamadan oluşmaktadır. birinci. aşama kaliteli veri toplamaktır. ikinci. aşama, toplanan verilerin önceden işlenmesidir. üçüncü aşama, Konvolüsyonel Sinir Ağları (CNN) ve derin öğrenme yaklaşımını kullanarak metinler (altyazılar) ve hashtag oluşturma modeli geliştirmektir. Bu çalışmada, VGG16 ve LSTM gibi farklı NN mimarileri kullanılmıştır. Ardından hashtag oluşturmak için tekniğimize doğal dil işleme süreci NLP yöntemi eklenmiştir. Son aşama olarak da değerlendirme aşaması eklenmiştir. En iyi modeli elde etmek için birçok yöntem denenmiş, Bu nedenle (metin ve hashtag'ler) kullanılan görüntüler arasında en yüksek doğruluk ve eşleşme yüzdesini elde etmek için birçok test gerçekleştirilmiştir. Elde edilen deneysel sonuçlar tablo şeklinde sunulmuştur.

Social media refers to the means of interactions among people in which they create, share, and/or exchange information and ideas. People use social media to stay connected with friends and family, to make plans, and to keep track of each other's day-to-day activities. Another way that social media is used is to advertise products or services. This type of marketing has been around since the 1800s. In fact, there were 2.934 billion monthly active users on Facebook alone. Social media platforms want to make the experience of their users interactive, so they need to include captions and hashtags with posts. Individual users, on the other hand, do not always find it easy or possible to come up with captions and hashtags. Social media platforms are in need of captions and hashtags to make posts more interesting. There is a struggle when it comes to finding those two key elements. Whoever creates those captions and hashtags needs to be creative and keep up with social media trends in order for their posts not to be overlooked or lost among other posts in their feed. In this research, we have developed a system capable of creating appropriate texts and hashtags for social media platforms such as Facebook, Instagram, and other platforms that depend on these two elements based on the images or posts that are used on these platforms. In this study, we built a way for generating text and hashtags based on images used as postings on social media networks such as Facebook, Instagram, etc. Our method is divided into four major stages. The first step is to obtain high-quality data. The acquired data is preprocessed in the second step. The third step is creating a text (caption) and hashtag generation technique utilizing Conventional Neural Network (CNN) and deep learning (DL) techniques. In this study, we look at several NN architectures like as VGG-16, VGG-19, and LSTM. Then, to construct the hashtag, we integrate natural language processing (NLP) to our technique. The evaluation phase is the final stage of this work. We carried out experiments multiple times to find the best model, thus we run several tests to see which one had the highest accuracy and matching percentage between the text and hashtags and the images chosen.