Kiedy艣 gdy pracowa艂em jeszcze w Pradze (jak ten czas leci), dosta艂em jako zupe艂ny junior ciekawe zadanie. Mia艂em wtedy skonfigurowa膰 ca艂y ELK, czyli Elastic Search. M贸j znajomy zaledwie p贸艂 roku wcze艣niej straszy艂 mnie, 偶e w robocie dostan臋 czarne okno terminala i rad藕 sobie - wygl膮da艂o to troch臋 podobnie.
8 lat p贸藕niej natrafi艂em na temat Lucene, kt贸ry jest bibliotek膮 programistyczn膮 stworzon膮 przez Apache.
Lucene oferuje mechanizmy wyszukiwania wektorowego HNSW, (Hierarchical Navigable Small World), s艂u偶膮ce do efektywnego przeszukiwania embedding贸w.
Na Lucene opieraj膮 si臋 takie wyszukiwarki, jak ElasticSearch i OpenSearch.
Lucene jest u偶ywane tak偶e w AI do:
- Tokenizacji
- Stemmingu i lematyzacji tekstu
- Usuwaniu nieistotnych s艂贸w
- U偶ywa si臋 go tak偶e jako pami臋膰 d艂ugotrwa艂膮 dla agent贸w AI
Azure oferuje p艂atn膮 us艂ug臋 AI Search, gdzie Lucene dzia艂a sobie tam pod spodem. AI Search umo偶liwia wykorzystanie Lucene Query Syntax.
Brak komentarzy:
Prze艣lij komentarz