Most AI projects still fail, are too costly, or don't provide the value they hoped to gain. The root cause is nothing new: it's non-optimized models or code that runs the logic behind your AI Apps. The solution is also not new: tuning the system based on insights from Observability! To learn more about the state of AI Observability, we invited back Nir Gazit, CEO and Co-Founder of traceloop, the company behind OpenLLMetry, the open source observability standard that is seeing exponential adoption growth! Tune in and learn how OpenLLMetry became such a successful open source project, which problems it solves, and what we can learn from other AI project implementations that successfully launched their AI Apps and Agents Links we discussed Nir's LinkedIn: https://www.linkedin.com/in/nirga/ OpenLLMetry: https://github.com/traceloop/openllmetry Traceloop Hub LLM Gateway: https://www.traceloop.com/docs/hub

Monitor LLM performance with open-source observability

Origin

Traceloop's observability tool for LLM applications is now generally available. The company also announced a $6.1 million seed funding round.

Laminar 소개 Laminar는 LLM 기반 애플리케이션의 복잡한 관측 및 분석을 위한 오픈소스 솔루션입니다. OpenTelemetry를 활용한 자동 계측 기능을 제공하며, LLM 호출 및 벡터 DB 호출을 몇 줄의 코드로 추적할 수 있습니다. 또한, 백엔드에서 실행되는 LLM 파이프라인의 결과를 분석하여 다양한 메트릭을 제공합니다. Rust로 작성되었으며, RabbitMQ, Postgres, Clickhouse 등 최신 스택을 활용하여 확장성과 성능을 극대화했습니다. Laminar는 Laminar Cloud(lmnr.ai) 또는 Docker compose를 사용한 직접 호스팅, Python 코드 내에 삽입하여 사용할 수 있습니다. 자세한 사용 방법은 GitHub 저장소 또는 공식 문서를 참고해주세요. Laminar의 주요 기능 OpenTelemetry 기반 계측: LLM 및 벡터 DB 호출을 자동으로 계측합니다. 이벤트 기반 분석: 백그라운드 작업 대기열을 통해 L...

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺 소개 LLM 애플리케이션에 대한 완벽한 통합 가시성(Observability)을 제공 내부적으로 OpenTelemetry 기반이기 때문에 Datadog, New Relic, Grafana Tempo, Splunk 같은 기존 솔루션과도 연동 가능 ✅ Traceloop ✅ Dynatrace ✅ Datadog ✅ New Relic ✅ Honeycomb ✅ Grafana Tempo ✅ HyperDX ✅ SigNoz ✅ Splunk ✅ Ope...

From Dev to Ops to DevSecOps, day-2-ops and Observability Chaos with eBPF and AI - learn together with dnsmichi