AKABI

AKABI

Services et conseil en informatique

Itzig, Luxembourg 5 176 abonnés

We deliver digital, with challenge & passion.

Suivre

À propos

AKABI is a young and entrepreneurial IT consultancy company specialized in Business Intelligence, Software Development, Cloud and IT Infrastructure. We started our activities in 2011 in Luxembourg, and in 2012, we expanded our business to Belgium. In June 2019, we launched AKABI France with a headoffice in Paris. We assist our clients with all their Digital Transformations by investing in our people. We're continuously bringing value to our customers for more than 10 years now, driven by two main objectives: quality and client's satisfaction. AKA means red in Japanese, which relates to challenge and passion, that’s why we focus on quality and long-term relationships.

Site web
https://akabi.eu
Secteur
Services et conseil en informatique
Taille de l’entreprise
51-200 employés
Siège social
Itzig, Luxembourg
Type
Société civile/Société commerciale/Autres types de sociétés
Fondée en
2011
Domaines
Business intelligence, Data Warehousing, IT Consultancy, Databases, Dig Data, AI et Data Science

Lieux

Employés chez AKABI

Voir tous les employés

Nouvelles

  • Voir la page d’organisation pour AKABI, visuel
    AKABI

    5 176  abonnés

    We are happy to announce that AKABI has just been recognized EUROPE’s Best Workplaces 2024! 🎉🎉 This is a great achievement, for three consecutive years at the European level! This incredible accomplishment wouldn’t have been possible without the dedication of our amazing teams in Belgium, Luxembourg, and France. Thank you all for making AKABI such a fantastic place to work! 🌟 #Bestworkplaces #GPTW #Europe2024 #BestinEurope #certified

    • Best Workplaces Europe 2024
  • Voir la page d’organisation pour AKABI, visuel
    AKABI

    5 176  abonnés

    | PART 2️⃣ | Here’s the long-awaited follow-up! After sharing their insights from the first two days of Dataminds Connect 2024, our consultants now reveal the highlights of the final day. 👨🏻💻 Which sessions caught their attention? What key takeaways did they gather from this must-attend event in the world of data? You’ll find out everything in this new article, packed with analysis and firsthand experiences. 🌟 Don’t miss this second part full of valuable insights! 👉🏻https://lnkd.in/euWgjcU4 Thanks again to the organizers for this wonderful event! 🔥 #DataMindsConnect #technology #innovation #data

    • AKABI’s consultants share insights from Dataminds Connect 2024: part 2
  • Voir la page d’organisation pour AKABI, visuel
    AKABI

    5 176  abonnés

    𝐋𝐚 𝐪𝐮𝐚𝐧𝐭𝐢𝐳𝐚𝐭𝐢𝐨𝐧 𝐝𝐞 𝐥’𝐞𝐱𝐭𝐫𝐞̀𝐦𝐞🧬! 𝑩𝒊𝒕𝑵𝒆𝒕 propose une quantification extrême qui réduit considérablement la taille mémoire des modèles et promet de faire tourner un modèle comme 𝑀𝑒𝑡𝑎-𝐿𝑙𝑎𝑚𝑎-3-8𝐵 en 𝘍𝘗16 sur un seul GPU de 16 Go ! 🔎 𝑩𝒊𝒕𝑵𝒆𝒕 : Qu'est-ce que c'est ? BitNet est une architecture de transformers qui représente chaque paramètre avec seulement trois valeurs : -1, 0 et 1. Cela équivaut à une précision de 1,58 bits par paramètre (log₂(3)). 🧠 𝐏𝐨𝐮𝐫𝐪𝐮𝐨𝐢 𝐞𝐬𝐭-𝐜𝐞 𝐚𝐬𝐭𝐮𝐜𝐢𝐞𝐮𝐱 ? Lorsque les poids d'une matrice sont quantifiés avec ces trois valeurs, cela simplifie énormément les opérations de multiplication matricielle car :  ➖ Une multiplication par -1 revient à effectuer une soustraction. ➕ Une multiplication par 1 est équivalente à une addition. 🚫 Une multiplication par 0 ne nécessite aucune opération. Les additions et soustractions sont des opérations bien moins gourmandes en calcul par rapport aux multiplications traditionnelles en FP32 ou FP16. Résultat, une réduction du temps de calcul, de la consommation d'énergie, et une charge mémoire allégée puisque la quantité de données à transférer est réduite à seulement 1,58 bits par paramètre. 📏 𝐀𝐧𝐚𝐥𝐲𝐬𝐞 𝐭𝐡𝐞́𝐨𝐫𝐢𝐪𝐮𝐞 𝐝𝐞 𝐥'𝐢𝐦𝐩𝐚𝐜𝐭 𝐬𝐮𝐫 𝐮𝐧 𝐦𝐨𝐝𝐞̀𝐥𝐞 𝐌𝐞𝐭𝐚-𝐋𝐥𝐚𝐦𝐚𝟑 𝟖𝐁  Prenons le modèle 𝑀𝑒𝑡𝑎-𝐿𝑙𝑎𝑚𝑎-3-8𝐵 avec 8 milliards de paramètres.  En FP16 : 8 milliards de paramètres * 2 octets = 16 Go nécessaires pour stocker les poids. Avec la quantification à 1,58 bits : 8 milliards de paramètres * 1,58 bits = 12,64 milliards de bits ; 12,64 milliards de bits / 8 ≈1,58 Go. 🎯𝐑𝐞́𝐬𝐮𝐥𝐭𝐚𝐭 : La taille mémoire des poids passe de 16 Go (en FP16) à environ 1,58 Go avec 𝑩𝒊𝒕𝑵𝒆𝒕 à 1,58 bits par paramètre. Un seul GPU avec 16 Go de mémoire (comme le NVIDIA RTX 3080) pourrait potentiellement charger un modèle 𝑀𝑒𝑡𝑎-𝐿𝑙𝑎𝑚𝑎-3-8𝐵 dans sa version quantifiée à l’extrême : 𝙷𝙵𝟷𝙱𝚒𝚝𝙻𝙻𝙼/𝙻𝚕𝚊𝚖𝚊𝟹-𝟾𝙱-𝟷.𝟻𝟾-𝟷00𝙱-𝚝𝚘𝚔𝚎𝚗𝚜 ! à tester dans un notebook Jupyter ! 🤓💻 📚 Sources :  - [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits (https://arxiv.org/): https://lnkd.in/djXTYJ-U - Fine-tuning LLMs to 1.58bit: extreme quantization made easy: https://lnkd.in/ew4wX5pS

    • Article IA - La quantization de l'extrème
  • Voir la page d’organisation pour AKABI, visuel
    AKABI

    5 176  abonnés

    From October 7 to 9, 2024, several of our consultants participated in Dataminds Connect in Belgium. An essential event for anyone looking to stay at the forefront of the latest advancements in the world of data! 👩🏻💻 In the first article, our consultants reflect on the sessions from the first two days, sharing their impressions, discoveries, and best practices they gained from it. 🌟 Dive into their feedback to catch up on the key topics discussed during this major event. Discover the first article filled with valuable insights right away! 📖👇 https://lnkd.in/eA_3RzYZ And stay tuned, as a second article about the final day of the event is coming soon… 👀 #DataMindsConnect #technology #innovation

    • AKABI's consultants share insights from Dataminds Connect 2024: part 1

Pages similaires