Talent.com
MCP & Tools Python Developer - Agent Evaluation Infrastructure
MCP & Tools Python Developer - Agent Evaluation InfrastructureMindrift • AT
MCP & Tools Python Developer - Agent Evaluation Infrastructure

MCP & Tools Python Developer - Agent Evaluation Infrastructure

Mindrift • AT
Vor 11 Tagen
Anstellungsart
  • Homeoffice
  • Quick Apply
Stellenbeschreibung

This opportunity is only for candidates currently residing in the specified country. Your location may affect eligibility and rates. Please submit your resume in English and indicate your level of English proficiency.

At Mindrift , innovation meets opportunity. We believe in using the power of collective human intelligence to ethically shape the future of AI.

What we do

The Mindrift platform, launched and powered by Toloka , connects domain experts with cutting-edge AI projects from innovative tech clients. Our mission is to unlock the potential of GenAI by tapping into real-world expertise from across the globe.

Who we're looking for

Calling all security researchers, engineers, and penetration testers with a strong foundation in problem-solving, offensive security, and AI-related risk assessment.

If you thrive on digging into complex systems, uncovering hidden vulnerabilities, and thinking creatively under constraints, join us!

We’re looking for someone who can bring a hands-on approach to technical challenges, whether breaking into systems to expose weaknesses or building secure tools and processes. We value contributors with a passion for continuous learning, experimentation, and adaptability.

About the project

We’re on the hunt for hands-on Python engineers for a new project focused on developing Model Context Protocol (MCP) servers and internal tools for running and evaluating agent behavior. You’ll implement base methods for agent action verification, integrate with internal and client infrastructures, and help fill tooling gaps across the team.

What you’ll be doing :

  • Developing and maintaining MCP-compatible evaluation servers
  • Implementing logic to check agent actions against scenario definitions
  • Creating or extending tools that writers and QAs use to test agents
  • Working closely with infrastructure engineers to ensure compatibility
  • Occasionally helping with test writing or debug sessions when needed

Although we’re only looking for experts for this current project, contributors with consistent high-quality submissions may receive an invitation for ongoing collaboration across future projects.

How to get started :

Apply to this post, qualify, and get the chance to contribute to a project aligned with your skills, on your own schedule. Shape the future of AI while building tools that benefit everyone.

Requirements

The ideal contributor will have :

  • 4+ years of Python development experience, ideally in backend or tools
  • Solid experience building APIs, testing frameworks, or protocol-based interfaces
  • Understanding of Docker, Linux CLI, and HTTP-based communication
  • Ability to integrate new tools into existing infrastructures
  • Familiarity with how LLM agents are prompted, executed, and evaluated
  • Clear documentation and communication skills - you’ll work with QA and writers
  • We also value applicants who have :

  • Experience with Model Context Protocol (MCP) or similar structured agent-server interfaces
  • Knowledge of FastAPI or similar async web frameworks
  • Experience working with LLM logs, scoring functions, or sandbox environments
  • Ability to support dev environments (devcontainers, CI configs, linters)
  • JS experience
  • Benefits

  • Get paid for your expertise, with  rates that can go up to $50 / hour  depending on your skills, experience, and project needs.
  • Take part in a flexible, remote, freelance project that fits around your primary professional or academic commitments.
  • Participate in an advanced AI project and gain valuable experience to enhance your portfolio.
  • Influence how future AI models understand and communicate in your field of expertise.
  • Jobalert für diese Suche erstellen

    Python Developer • AT

    Ähnliche Stellen
    DevSecOps Engineer (m / w / d)

    DevSecOps Engineer (m / w / d)

    voestalpine AG • Zeltweg, AT
    Jenkins, Argo CD, GitLab CI / CD, Docker, Kubernetes) • Kenntnisse in Sicherheits-Frameworks und Standards (z.OWASP) • Erfahrung mit SAST / DAST-Tools und Vulnerability-Management (z.Die tatsächlic...Mehr anzeigen
    Zuletzt aktualisiert: vor 22 Tagen • Gesponsert
    Freelance Agent Evaluation Analyst

    Freelance Agent Evaluation Analyst

    Mindrift • AT
    Homeoffice
    Quick Apply
    This opportunity is only for candidates currently residing in the specified country.Your location may affect eligibility and rates. Please submit your resume in English and indicate your level of En...Mehr anzeigen
    Zuletzt aktualisiert: vor 9 Tagen
    Software Support Engineer (m / w / d)

    Software Support Engineer (m / w / d)

    LISEC Holding GmbH • Seitenstetten, AT
    Software Support Engineer (m / w / d) Seitenstetten Einsteiger Vollzeit smart bewerben DEINE AUFGABEN • Während der Einarbeitungsphase arbeitest du als Dispatcher im 1st L...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    COPILOT Studio Developer

    COPILOT Studio Developer

    Axiom Software Solutions Limited • AT
    Homeoffice
    Quick Apply
    Job Title : COPILOT Studio Developer.We are seeking an innovative and skilled COPILOT Studio Developer specializing in .The ideal candidate will be responsible for designing, developing, and im...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen
    Htl -trainees (all Genders)

    Htl -trainees (all Genders)

    Energie AG Oberösterreich • oberösterreichweit, Österreich gesamt
    Die Energie AG Oberösterreich bietet jungen Menschen die Möglichkeit, ihre Kompetenzen in einen innovativen, nachhaltigen Konzern einzubringen. Bei uns findest du vielfältige Möglichkeiten zur weite...Mehr anzeigen
    Zuletzt aktualisiert: vor 13 Tagen • Gesponsert
    ICT Sales - AI Infrastructure (w / m / d) (m / w / d)

    ICT Sales - AI Infrastructure (w / m / d) (m / w / d)

    A1 Telekom Austria AG • Österreich, AT
    ICT Sales - AI Infrastructure (w / m / d) Als ICT Sales AI unterstützt du die Vertriebsmitarbeiter : innen partnerschaftlich beim erfolgreichen, konvergenten Verkauf von Lösungen rund um das Thema A...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Consultant für digitale Bank / Versicherungs-Projekte (m / w / d) in Digitaler Beratungs-Boutique

    Consultant für digitale Bank / Versicherungs-Projekte (m / w / d) in Digitaler Beratungs-Boutique

    Finnoconsult GmbH • Österreich, AT
    EINSTELLUNG Vollzeit EINSTIEGSDATUM ab sofort GESELLSCHAFT FInno Consult GmbH Wien ANSPRECHPARTNER Christian Berger EINSATZORT Österreich / Deutschland / Schweiz Consultan...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Expert Software Engineering (m / w / d)

    Expert Software Engineering (m / w / d)

    LISEC Holding GmbH • Seitenstetten, AT
    Patensystem • Betriebskantine mit Frischküche • Zuschuss zum Mittagessen • Familiäres Betriebsklima • Raum für neue Ideen • Parkmöglichkeiten vor dem Firmengebäude • Betriebsarzt • Fi...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    ICT Sales - Cloud Services (w / m / d) (m / w / d)

    ICT Sales - Cloud Services (w / m / d) (m / w / d)

    A1 Telekom Austria AG • Österreich, AT
    ICT Sales - Cloud Services (w / m / d) Als ICT Sales unterstützt du die Vertriebsmitarbeiter : innen partnerschaftlich beim erfolgreichen, konvergenten Verkauf von Lösungen rund um das Thema Cloud- ...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Electrical Engineer with Python Experience - Freelance AI Trainer

    Electrical Engineer with Python Experience - Freelance AI Trainer

    Mindrift • AT
    Homeoffice
    Quick Apply
    This opportunity is only for candidates currently residing in the specified country.Your location may affect eligibility and rates. Please submit your resume in English and indicate your level of En...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen
    IT Applications Specialist (all gender) (m / w / d)

    IT Applications Specialist (all gender) (m / w / d)

    Hendrickson Commercial Vehicle Systems Europe • Fohnsdorf, AT
    Als wachsender Global Player in der kommerziellen Transportbranche beliefern wir Produzenten von Schwerfahrzeugen für besonders fordernde Einsatzzwecke mit Radaufhängungssystemen, Fahrwerkskomponen...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Consultant (all genders) SAP S / 4HANA Cloud Transformation (m / w / d)

    Consultant (all genders) SAP S / 4HANA Cloud Transformation (m / w / d)

    Deloitte • Österreich, AT
    Das gelingt uns mit unseren rund 1.Mitarbeiterinnen und Mitarbeitern an 17 Standorten, die Unternehmen und Institutionen in verschiedenen Bereichen betreuen. Wir schätzen die Vielfalt unserer Mitarb...Mehr anzeigen
    Zuletzt aktualisiert: vor 14 Tagen • Gesponsert
    AI Agent Engineer (Python & Azure)

    AI Agent Engineer (Python & Azure)

    CROWDCONSULTANTS • Austria, AT
    Quick Apply
    This job operates on a hybrid model, requiring you to be based and work from within Bulgaria.AI-powered agents and workflows. Python, LLMs, and frameworks such as.Azure ML, Cognitive Services, Azure...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen
    Security Engineer Automation (w / m / d) (m / w / d)

    Security Engineer Automation (w / m / d) (m / w / d)

    A1 Telekom Austria AG • Österreich, AT
    Security Engineer Automation (w / m / d) Cyber Security Center SIEM SOAR • Du erfasst Kundenanforderungen und konzipierst die SOC as a Service-Implementierung. Du definierst die Hardware- un...Mehr anzeigen
    Zuletzt aktualisiert: vor 9 Tagen • Gesponsert
    Senior Consultant (all genders) SAP S / 4HANA Cloud Transformation Expert (m / w / d)

    Senior Consultant (all genders) SAP S / 4HANA Cloud Transformation Expert (m / w / d)

    Deloitte • Österreich, AT
    Das gelingt uns mit unseren rund 1.Mitarbeiterinnen und Mitarbeitern an 17 Standorten, die Unternehmen und Institutionen in verschiedenen Bereichen betreuen. Wir schätzen die Vielfalt unserer Mitarb...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Manager (all genders) SAP S / 4HANA Cloud Transformation Architect (m / w / d)

    Manager (all genders) SAP S / 4HANA Cloud Transformation Architect (m / w / d)

    Deloitte • Österreich, AT
    Das gelingt uns mit unseren rund 1.Mitarbeiterinnen und Mitarbeitern an 17 Standorten, die Unternehmen und Institutionen in verschiedenen Bereichen betreuen. Wir schätzen die Vielfalt unserer Mitarb...Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Microsoft Business Central (Al) Entwickler (M / W / D) - €63.000 - €74.200 Pro Jahr

    Microsoft Business Central (Al) Entwickler (M / W / D) - €63.000 - €74.200 Pro Jahr

    4PS Bausoftware GmbH • Judenburg, Republic Of Austria, AT
    Es werden Kenntnisse in AL und anderen Programmiersprachen erwartet.Mehr anzeigen
    Zuletzt aktualisiert: vor über 30 Tagen • Gesponsert
    Cloud Erp Software Architect (Human)

    Cloud Erp Software Architect (Human)

    All for One Group SE • Republic Of Austria, AT
    In den letzten 20 Jahren ist NETCONOMY von einem Startup zu einem 500-köpfigen Team herangewachsen, welches an 10 Standorten in Europa zusammenarbeitet. Agilität und interdisziplinäre Zusammenarbeit...Mehr anzeigen
    Zuletzt aktualisiert: vor 27 Tagen • Gesponsert