InterviewHack.ai
Empezar gratis
Vacantes / Duolingo

Proctor Quality and Learning Manager, Scaling Operations

Duolingo·London, Englandsenior

En corto

  • →Liderazgo en calidad y formación de supervisores de pruebas de inglés en tiempo real.
  • →Gestión de estándares de decisión, calibración y entrenamiento continuo para mantener integridad académica.
  • →Papel clave en la alineación entre humanos, IA y procesos de seguridad en un sistema global de alta exigencia.

Proficiency in English required.

Postularme en la empresa ↗Compartir por WhatsApp

En ~1 minuto te damos: quién te entrevista, las preguntas probables con respuestas desde tu CV, y tu CV adaptado a esta vacante. Gratis, sin tarjeta.

Las preguntas que te van a hacer

1. ¿Cómo diseñarías un sistema de calibración para nuevos casos de trampas ambiguas en sesiones de proctoring?

2. ¿Qué métricas usarías para evaluar el impacto de un nuevo entrenamiento en la calidad de decisión de proctores?

3. ¿Cómo garantizarías que las actualizaciones del producto no afecten negativamente la consistencia de las decisiones humanas?

🔒 +7 preguntas más

Sin tarjeta. Subís tu CV y en ~1 minuto tenés el dossier completo.

🎧¿Llegás a la entrevista? Llevá el copiloto. Nuestra extensión escucha la entrevista en vivo y te muestra anclas de 3-4 palabras desde tu CV y tu preparación — mirás, conectás, hablás. Gratis. Ver la extensión →

💵 USD · Remote · No visa

¿No encontrás lo que buscás? Probá Micro1

Micro1 te ubica directo en empresas de EE. UU. que pagan en USD. Un solo proceso de vetting, múltiples ofertas — sin aplicar en frío.

Que Micro1 te matchee →
📬Vacantes elegidas para TU CV, cada mañana por WhatsApp. Gratis: escribí “vacantes” y el bot te manda tus matches del día. Suscribirme →

¿Qué piden?

  • ✓5+ años en desarrollo de evaluaciones o calidad de juicios complejos.
  • ✓Experiencia en calibración, adjudicación y estándares de decisión en entornos de alto impacto.
  • ✓Capacidad para crear y mantener guías, rubricas y procesos auditables.
  • ✓Habilidades para analizar datos de calidad y diseñar intervenciones basadas en evidencia.
  • ✓Colaboración con equipos multidisciplinarios (psicometría, seguridad, producto, ingeniería).
  • ✓Experiencia en liderar equipos de especialistas o entrenadores en entornos operativos.

¿No cumplís todo? Es lo normal — tu dossier gratis te dice qué gaps tenés y cómo cubrirlos en la entrevista.

PsychometricsSecurityOperationsProductEngineeringAI-assisted workflowsCalibrationAdjudicationTraining SpecialistsProctoring Operations

¿A quién escribirle en Duolingo?

Tu dossier gratis identifica a las personas que te entrevistarían — con su background, qué valoran y cómo escribirles para destacar antes de aplicar.

Our mission at Duolingo is to develop the best education in the world and make it universally available. It’s a big mission, and that’s where you come in! At Duolingo, you’ll join a team that cares about educating our users, experimenting with big ideas, making fact-based decisions, and finding innovative solutions to complex problems. You’ll have limitless learning opportunities and daily collaborations with world-class minds — while doing work that’s both meaningful and fun. Join our life-changing mission to develop education for our half a billion (and growing!) learners around the world. Read our blog to learn more. About the role... The Duolingo English Test (DET) is a high-stakes assessment used by institutions around the world. Its integrity depends on proctors making accurate, consistent, and defensible decisions — even when sessions present ambiguous evidence or new forms of cheating. As the Proctor Quality and Learning Manager (L3) in Scaling Operations, you will own the end-to-end quality standard and learning system that keep our global proctor network aligned and effective as security threats, technology, and workflows evolve. You’ll define what “correct” looks like, run our calibration and adjudication program, and build ongoing training that measurably improves decision quality. You will partner with Psychometrics, Security, Operations, Product, and Engineering to ensure our human and AI-assisted workflows meet rigorous accuracy standards before and after deployment. This is an individual-contributor role within DET Proctoring Operations, with functional leadership over Training Specialists and adjudicators executing the program. 🧠 You will... • Own the DET proctoring quality standard — maintain rubrics, decision rules, examples, and guidance that define accurate decisions across routine and difficult edge cases. • Lead calibration and adjudication — operate recurring Proctor Certification Test cycles, resolve disputed decisions, identify patterns of disagreement, and ensure outcomes are consistent and auditable. • Build and run an ongoing learning program — publish a forward-looking training calendar, deliver monthly interventions, and launch targeted training in response to quality signals, threats, or workflow changes. • Measure effectiveness — use calibration results, audits, and performance trends to identify learning needs, evaluate training impact, and decide when to clarify standards, retrain, or update guidance. • Guide specialist execution — set expectations for Training Specialists and adjudicators, assign deliverables, review outputs, and operate onboarding and certification that ramp new specialists quickly. • Maintain durable sources of truth — keep calibration, adjudication, and training runbooks current so critical processes are documented and auditable. • Evolve quality alongside proctoring — translate new threats and workflow changes into clear standards, training, and quality controls in partnership with Psychometrics, Security, Operations, Product, and Engineering. • Represent the proctoring craft — bring frontline proctor evidence into product experiments and workflow decisions; assess whether launched changes preserve decision quality. • Connect human and technology-assisted quality — establish benchmarks for AI-assisted workflows and validate automated capabilities against real sessions before deployment. ✅ You have... • 5+ years in assessment development, scoring/rater quality, certification, quality assurance, or a field involving complex, consequential judgments; experience aligning reviewers to a sh

¿Buscando algo parecido?

Dejá tu email y te avisamos cuando salgan vacantes que coincidan con tu perfil.

No apliques sin prepararte

Investigamos quién te entrevista, adaptamos tu CV y te ensayamos en vivo — gratis la primera.

InterviewHack.ai

Preparate para la entrevista exacta: quién te entrevista, tu CV a medida y coach real.

Producto

VacantesEmpresas contratandoRevisar CV (ATS) gratis¿Cómo suena tu inglés?¿Te pagan bien?Respuesta STAR gratisVeredicto de CV (Jev)Reporte de sueldos LATAMCursos gratisBlogCV a medidaPráctica habladaEs gratis

Empleos remotos

ReactPythonFull-StackLATAMArgentinaMéxicoVer todas →

Preparate

Práctica habladaFrontendBackendAI EngineerPor empresaVendete con tu CV

Empresa

Buscás talentoAcerca deContactoPrivacidadTérminos

© 2026 InterviewHack.ai · Tu CV es tuyo. Nunca se usa para entrenar nada. · Un producto de IA-PTY

Vacantes similares activas

Proctor Quality and Learning Manager, Scaling Operations

Duolingo · New York, NY; Pittsburgh, PA

→

Ad Sales Lead, Programmatic

Duolingo · New York, NY

→

Senior Creative, Social

Duolingo · Pittsburgh, PA

→

Senior Creative, Social

Duolingo · New York, NY

→