AraBERT : Pre-training BERT for Arabic Language Understanding

by | Feb 28, 2020 | NLP | 49,868 comments

Authors: Wissam Antoun, Fady Baly, Hazem Hajj

 

AraBERT is an Arabic pretrained language model based on Google’s BERT architecture. AraBERT uses the same BERT-Base config. More details are available in the AraBERT PAPER and in the AraBERT Meetup

There is two versions of the model AraBERTv0.1 and AraBERTv1, with the difference being that AraBERTv1 uses pre-segmented text where prefixes and suffixes were split using the Farasa Segmenter.

The model was trained on ~70M sentences or ~23GB of Arabic text with ~3B words.

Source Code Repository: https://github.com/aub-mind/arabert
Paper: https://www.aclweb.org/anthology/2020.osact-1.2.pdf

 

Results (Accuracy)

We evaluate both AraBERT models on different downstream tasks and compare it to mBERT, and other state of the art models (To the extent of our knowledge). The Tasks were Sentiment Analysis on 6 different datasets (HARD, ASTD-Balanced, ArsenTD-Lev, LABR, ArSaS), Named Entity Recognition with the ANERcorp, and Arabic Question Answering on Arabic-SQuAD and ARCD

Task prev. SOTA mBERT AraBERTv0.1 AraBERTv1
HARD 95.7 ElJundi et.al. 95.7 96.2 96.1
ASTD 86.5 ElJundi et.al. 80.1 92.2 92.6
ArsenTD-Lev 52.4 ElJundi et.al. 51 58.9 59.4
AJGT 93 Dahou et.al. 83.6 93.1 93.8
LABR 87.5 Dahou et.al. 83 85.9 86.7
ANERcorp 81.7 (BiLSTM-CRF) 78.4 84.2 81.9
ARCD mBERT EM:34.2 F1: 61.3 EM:51.14 F1:82.13 EM:54.84 F1: 82.15

Model Weights and Vocab Download

Models AraBERTv0.1 AraBERTv1
TensorFlow Drive Link Drive Link
PyTorch Drive_Link Drive_Link

You can find the PyTorch models in HuggingFace’s Transformer Library under the aubmindlab username

If you used this model please cite us as:

@inproceedings{antoun2020arabert,
  title={AraBERT: Transformer-based Model for Arabic Language Understanding},
  author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
  booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
  pages={9}
}

Acknowledgments

Thanks to TensorFlow Research Cloud (TFRC) for the free access to Cloud TPUs, couldn’t have done it without this program, and to the AUB MIND Lab Members for the continous support. Also thanks to Yakshof and Assafir for data and storage access. Another thanks for Habib Rahal (https://www.behance.net/rahalhabib), for putting a face to AraBERT.

Contacts

Wissam Antoun: Linkedin | Twitter | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com

Fady Baly: Linkedin | Twitter | Github | fgb06@mail.aub.edu | baly.fady@gmail.com

We are looking for sponsors to train BERT-Large and other Transformer models, the sponsor only needs to cover to data storage and compute cost of the generating the pretraining data

49,868 Comments

← Older Comments
Newer Comments →
  1. biznas on March 19, 2025 at 9:11 pm

    إذا كنت تبحث عن كنب يجمع بين الراحة والفخامة، فإن اختيار الكنب المناسب يُعد خطوة أساسية في تحويل منزلك إلى مساحة أنيقة ومريحة. في هذا المقال، سنستعرض أفضل أنواع الكنب التي تناسب جميع الأذواق، مع التركيز على الكنب الرمادي، الكنب الدائري، الكنب الأمريكي، وكنب الصالة. تابع القراءة لتكتشف كيف يمكن لهذه الأنواع أن تضيف لمسة من الأناقة إلى ديكور منزلك. كنب زاوية

    Reply
  2. Online web tools on March 19, 2025 at 9:21 pm

    Toolhubpro Free Online Web Tools 300+ Free Online Web Tools & SEO Tools. We work hard to offer you the most up-to-date and extensive selection Online web tools

    Reply
  3. saad shahid on March 19, 2025 at 9:25 pm

    One of the best features of 8KBET is the ability to watch live events while placing bets, creating an immersive experience. 8KBET

    Reply
  4. RAJACABE88 on March 19, 2025 at 9:45 pm

    RAJACABE88 Guest Blogging: Contribute to reputable blogs in your niche
    Link Here https://cafemagick.com/

    Reply
  5. saad shahid on March 19, 2025 at 9:45 pm

    Customer support on 8KBET is top-notch, with friendly representatives available 24/7 to assist with any issues. 8KBET

    Reply
  6. Download latest version 2026 on March 19, 2025 at 10:10 pm

    I think this is an informative post and it is very useful and knowledgeable. therefore, I would like to thank you for the efforts you have made in writing this article. Download latest version 2026

    Reply
  7. primebiome on March 19, 2025 at 10:37 pm

    I am really happy with articles quality and presentation. Thanks a lot for keeping great stuff. I am very much thankful for this website. PrimeBiome

    Reply
  8. SPLive on March 20, 2025 at 12:56 am

    SPLive là nơi cập nhật link xem bóng đá và highlight chất lượng, đồng thời là không gian kết nối những người yêu môn thể thao vua. Dù bạn cổ vũ cho đội bóng nào, nơi đây luôn có những thông tin hữu ích, lịch thi đấu chi tiết và cập nhật kèo đấu hấp dẫn. Hãy đồng hành cùng SP Live, sống trọn đam mê bóng đá theo cách riêng của bạn.

    Reply
  9. Villa in kalkan on March 20, 2025 at 12:57 am

    Stay in a stunning villa in Kalkan, where luxury meets breathtaking sea views. Enjoy a private pool, modern interiors, and a peaceful atmosphere on Turkey’s beautiful Turquoise Coast. Perfect for families, couples, or groups, these villas offer the ultimate getaway. Book your dream Kalkan villa today for an unforgettable stay!

    https://villatunaturkey.com/villas-in-kalkan/

    Reply
  10. SPLive on March 20, 2025 at 1:04 am

    SPLive là sân vận động thu nhỏ ngay trong tầm tay bạn, nơi mọi trận cầu đỉnh cao diễn ra theo cách sống động nhất. Từ những cuộc đối đầu nảy lửa ở Ngoại Hạng Anh, Champions League đến những giải đấu ít người biết, tất cả đều hội tụ với chất lượng hình ảnh sắc nét, âm thanh chân thực và tốc độ ổn định. SP Live không chỉ mang đến link xem trực tiếp mà còn tạo nên không gian bóng đá thực thụ, giúp bạn đắm chìm trong từng đường bóng, từng khoảnh khắc gay cấn mà không lo gián đoạn hay bỏ lỡ bất kỳ phút giây nào.

    Reply
  11. DA88 on March 20, 2025 at 1:15 am

    DA88là nền tảng chơi game trực tuyến hàng đầu, cung cấp trải nghiệm giải trí tuyệt đỉnh với các trò chơi thể thao, trò chơi slot và nhiều trò khác. Uy tín, an toàn và cung cấp các chương trình khuyến mãi hấp dẫn, DA88 là sự lựa chọn hoàn hảo dành cho bạn!

    Reply
  12. seo on March 20, 2025 at 1:21 am

    Inflectiv simplifies data ownership, validation, & monetization. A structured, decentralized data ecosystem ensuring high-quality, trust-certified datasets for AI, businesses, and blockchain networks.infleciv.ai

    Reply
  13. sarim on March 20, 2025 at 1:27 am

    Hello88 là nền tảng giải trí trực tuyến hàng đầu châu Á, mang đến trải nghiệm đỉnh cao với đa dạng trò chơi như bắn cá, vòng quay may mắn và trò chơi trực tiếp. Giao dịch nhanh chóng, hỗ trợ 24/7, tặng ngay +100k cho người mới! HELLO88

    Reply
  15. sarim on March 20, 2025 at 1:32 am

    Hello88 là nền tảng giải trí trực tuyến hàng đầu châu Á, mang đến trải nghiệm đỉnh cao với đa dạng trò chơi như bắn cá, vòng quay may mắn và trò chơi trực tiếp. Giao dịch nhanh chóng, hỗ trợ 24/7, tặng ngay +100k cho người mới! HELLO88

    Reply
  16. sarim on March 20, 2025 at 1:35 am

    Hello88 là nền tảng giải trí trực tuyến hàng đầu châu Á, mang đến trải nghiệm đỉnh cao với đa dạng trò chơi như bắn cá, vòng quay may mắn và trò chơi trực tiếp. Giao dịch nhanh chóng, hỗ trợ 24/7, tặng ngay +100k cho người mới! HELLO88

    Reply
  18. Game bài đổi thưởng on March 20, 2025 at 1:49 am

    Game bài đổi thưởng là trang web mang đến dịch vụ giải trí trực tuyến với độ tin cậy hàng đầu, nhận được sự yêu mến từ người chơi nhờ chất lượng dịch vụ ấn tượng, hệ thống bảo mật thông tin vững chắc, quá trình thanh toán nhanh gọn và sự công bằng tuyệt đối trong mỗi ván chơi.

    Reply
  22. Game bài đổi thưởng on March 20, 2025 at 2:17 am

    Game bài đổi thưởng là nền tảng giải trí trực tuyến hàng đầu, mang đến trải nghiệm chơi game chất lượng cao cho người dùng. Với giao diện thân thiện, hệ thống vận hành ổn định và nhiều tính năng hấp dẫn, trang web luôn nhận được sự tin tưởng từ cộng đồng game thủ.

    Reply
  23. Muhammad Zubair on March 20, 2025 at 2:18 am

    Finding a professional massage therapist in Istanbul can be a game-changer for relaxation and well-being. If you’re looking for expert services, Masöz İstanbul offers top-quality massage therapy to help you unwind and relieve stress. Whether you need a deep tissue massage or a soothing relaxation session, experienced therapists ensure a rejuvenating experience. Prioritizing self-care through professional massage can enhance both physical and mental health, making it an essential part of a balanced lifestyle.

    Reply
  24. Muhammad Zubair on March 20, 2025 at 2:21 am

    Bodrum is a beautiful coastal city known for its stunning beaches, vibrant nightlife, and luxurious experiences. For those seeking exclusive companionship, Escort Bodrum services offer a premium and discreet experience. Whether you’re looking for a charming companion for a dinner date or someone to enhance your vacation, professional escorts in Bodrum provide elegance, sophistication, and unforgettable moments. Make your time in Bodrum even more special with the right company by your side.

    Reply
  26. robert james on March 20, 2025 at 2:27 am

    Informative post. Anyone interested in Fabric Printing Machine, should definitely visit Orangeotec.

    Reply
  28. Muhammad Zubair on March 20, 2025 at 2:31 am

    Finding the perfect companion in Antalya has never been easier with Konyaalti escort services, offering a luxurious and discreet experience. Whether you’re looking for a relaxing evening or a memorable night out, professional escorts in Konyaalti ensure the highest level of satisfaction. With a variety of choices, you can find someone who matches your preferences and guarantees a stress-free, enjoyable time. Indulge in an unforgettable experience with trusted and high-class escort services in Konyaalti.

    Reply
  30. https://789p.town/ on March 20, 2025 at 2:35 am

    https://789p.town/ – cung cấp đa dạng trò chơi hấp dẫn, tỷ lệ thưởng cao và giao dịch nhanh chóng. Bảo mật an toàn, minh bạch, mang đến trải nghiệm cá cược chuyên nghiệp. Tham gia ngay để khám phá cơ hội thắng lớn!

    Reply
  38. FM88 on March 20, 2025 at 3:19 am

    FM88 đã khẳng định vị thế là một trong những thương hiệu cá cược trực tuyến uy tín và được yêu thích nhất tại châu á. Với kho game phong phú, dịch vụ chuyên nghiệp, bảo mật an toàn cùng nhiều chương trình khuyến mãi hấp dẫn, nhà cái mang đến cho người chơi những trải nghiệm giải trí đỉnh cao.

    Reply
  44. williamseo on March 20, 2025 at 4:11 am

    Xem thống kê giải đặc biệt VIP mới nhất để cập nhật thông tin về kết quả, tần suất và các xu hướng dự đoán chính xác. Tìm hiểu chi tiết về các giải thưởng và cơ hội thắng lớn trong các kỳ quay số đặc biệt VIP! https://thongkegiaidacbiet.vip/

    Reply
  46. HAMAD on March 20, 2025 at 4:25 am

    I require the majority of the records, Have a preference for seriously favored, We really wish for addiitional information and facts over it, while it is definitely rather great., L8rs used only for documenting. کازینو آنلاین

    Reply
  48. HAMAD on March 20, 2025 at 4:27 am

    I require the majority of the records, Have a preference for seriously favored, We really wish for addiitional information and facts over it, while it is definitely rather great., L8rs used only for documenting. کازینو آنلاین

    Reply
  50. Minna on March 20, 2025 at 4:33 am

    Thank you for the good writeup. It in truth used to be a leisure
    account it. Glance advanced to far added agreeable
    from you! However, how can we communicate?

    Also visit my web-site Visit here

    Reply
← Older Comments
Newer Comments →

Submit a Comment

Your email address will not be published. Required fields are marked *